誤変換を集める

[tokuhirom]

なにか誤変換が起きるケースがあれば集めましょう

[tokuhirom]

集めましょう
集め    動詞,自立,*,*,一段,連用形,集める,アツメ,アツメ
ましょ  助動詞,*,*,*,特殊・マス,未然ウ接続,ます,マショ,マショ
う      助動詞,*,*,*,不変化型,基本形,う,ウ,ウ
EOS

助動詞をまとめて学習しておいたほうが良さそう。「助動詞+助動詞」をまとめて登録すべきか？

[tokuhirom]

集め/魔性 になるケースもある。

[tokuhirom]

「集めましょう」は複合語化されているのだが、「集めましょう」のコーパス内での頻度が少なすぎるために語彙に登録されていない。どうしたらいいかなぁ。手動で一旦コーパスに登録すれば解決はするんだけど。

[tokuhirom]

https://github.com/tokuhirom/akaza/blob/master/akaza-data/corpus/should.txt コーパスに足して解決。。

[tokuhirom]

既/すんで 2452 になっていて、妙に頻度が高い。
「既製品」などが「既/すんで 製品/せいひん」になっている。

unidic だと「既製品」は「既製/きせー 品/ひん」 になっていて問題がない。
http://www4414uj.sakura.ne.jp/Yasanichi1/unicheck/

mecab-user-dict.csv に追加が必要かも

[tokuhirom]

既に解決済み 52d927a

[tokuhirom]

青空文庫に出てくるキャラクターの名前っぽい。こういうのは除外しないとダメだなぁ。
ただ、こういうのが出てきたとて、ニナ/がして より に/流して のほうが通りそうなもんなんだよなぁ。
このへんのスコアがどうなってるかの調査をちゃんとすぐにできるようにする必要がある。

[tokuhirom]

ニナ、のようなカタカナの2文字のものに関してはノイズになっている可能性が高いので、明示的に除外するほうが良さそう。
ipadic かなにかと突き合わせて、登録されていないものは除外する、とか。
例えば、「タイ」は国名なので登録されていてもいいと思うので。

[tokuhirom]

二文字のカタカナを一旦除外するヒューリスティックをいれた

[tokuhirom]

再現せず。

[omasanori]

昔の日本語能力試験の出題基準からカタカナ語リストを抽出している人が。

http://www7a.biglobe.ne.jp/nifongo/data/index.html

[omasanori]

Wiktionaryのダンプデータは使い道がありそう。

[tokuhirom]

アグリゲーション、は unidic にものっていたので良いかも。
unidic はライセンスが BSD なので。

[tokuhirom]

カタカナ語は一般的にSKK辞書には登録されていない。
辞書に登録されていないと、トライに入らないので文節区切りの候補にならないので候補に入れる必要がある。

[tokuhirom]

#156 で対応済み。

[tokuhirom]

https://ja.wikipedia.org/wiki/%E3%83%8F%E3%83%BC%E3%83%A9%E3%83%AB3%E4%B8%96_(%E3%83%87%E3%83%B3%E3%83%9E%E3%83%BC%E3%82%AF%E7%8E%8B)
で、雌鳥王（ヘン[[2]](https://ja.wikipedia.org/wiki/%E3%83%8F%E3%83%BC%E3%83%A9%E3%83%AB3%E4%B8%96_(%E3%83%87%E3%83%B3%E3%83%9E%E3%83%BC%E3%82%AF%E7%8E%8B)#cite_note-Morby97-2)、[デンマーク語](https://ja.wikipedia.org/wiki/%E3%83%87%E3%83%B3%E3%83%9E%E3%83%BC%E3%82%AF%E8%AA%9E): Hen） という表記があるので、これを拾ってそう。

[tokuhirom]

tokuhirom/jawiki-kana-kanji-dict@0750c90 で対応済み。そのうち取り込まれるでしょう。

[tokuhirom]

jawiki-kana-kanji-dict をそもそも読まないことにしたので問題解決した。

[tokuhirom]

出せたらいいよな
出せ    動詞,自立,*,*,一段,連用形,出せる,ダセ,ダセ
たら    助動詞,*,*,*,特殊・タ,仮定形,た,タラ,タラ
いい    形容詞,自立,*,*,形容詞・イイ,基本形,いい,イイ,イイ
よ      助詞,終助詞,*,*,*,*,よ,ヨ,ヨ
な      助詞,終助詞,*,*,*,*,な,ナ,ナ
EOS

mecab+ipadic ではこうなる。

[tokuhirom]

形容詞+助詞(終助詞)+助詞(終助詞) を複合語化した方が良さそう。

[tokuhirom]

それはそれとして、一旦コーパスに入れて解決。