MultinomialNB

[morenol]

Implement MultinomialNB as stated in #14

References:

1. https://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html
2. https://scikit-learn.org/stable/modules/naive_bayes.html#multinomial-naive-bayes

[VolodymyrOrlov]

LGTM. Can you please add this test? Once the test is there feel free to merge this PR.

#[test]
    fn multinomial_nb_scikit_parity() {
        let x = DenseMatrix::<f64>::from_2d_array(&[
            &[2., 4., 0., 0., 2., 1., 2., 4., 2., 0.],
            &[3., 4., 0., 2., 1., 0., 1., 4., 0., 3.],
            &[1., 4., 2., 4., 1., 0., 1., 2., 3., 2.],
            &[0., 3., 3., 4., 1., 0., 3., 1., 1., 1.],
            &[0., 2., 1., 4., 3., 4., 1., 2., 3., 1.],
            &[3., 2., 4., 1., 3., 0., 2., 4., 0., 2.],
            &[3., 1., 3., 0., 2., 0., 4., 4., 3., 4.],
            &[2., 2., 2., 0., 1., 1., 2., 1., 0., 1.],
            &[3., 3., 2., 2., 0., 2., 3., 2., 2., 3.],
            &[4., 3., 4., 4., 4., 2., 2., 0., 1., 4.],
            &[3., 4., 2., 2., 1., 4., 4., 4., 1., 3.],
            &[3., 0., 1., 4., 4., 0., 0., 3., 2., 4.],
            &[2., 0., 3., 3., 1., 2., 0., 2., 4., 1.],
            &[2., 4., 0., 4., 2., 4., 1., 3., 1., 4.],
            &[0., 2., 2., 3., 4., 0., 4., 4., 4., 4.]]);
        let y = vec![2., 2., 0., 0., 0., 2., 1., 1., 0., 1., 0., 0., 2., 0., 2.];
        let nb = MultinomialNB::fit(&x, &y, Default::default()).unwrap();        

        let y_hat = nb.predict(&x).unwrap();

        assert!(nb.inner.distribution.class_priors.approximate_eq(&vec!(0.46, 0.2, 0.33), 1e-2));
        assert!(nb.inner.distribution.feature_prob[1].approximate_eq(&vec!(0.07, 0.12, 0.07, 0.15, 0.07, 0.09, 0.08, 0.10, 0.08, 0.11), 1e-1));
        assert!(y_hat.approximate_eq(&vec!(2.0, 2.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0), 1e-5));
    }

[morenol]

Hi @VolodymyrOrlov, Github says this to me: Merging can be performed automatically once the requested changes are addressed.

I guess that I need the approve in order to be able to merge this