THE長文日記

長文とか短文とかのクレームは一切受け付けません

自然言語解析にLSTM

 なんかLSTMってあるじゃないですか。

 結構前からはやってるやつ。


 あれを応用したらスパム判定とか文章の特徴ベクトルとか判別できるんじゃね?と前々から色んな人に言ってたんだけど、どうも機械学習を勉強した人は「そんなもんダメだろ」と思うらしい。


 そうかなあ、そうでもない気がするなあ、と思ってkerasのサンプルみたらLTSM使ってセンチメント分析してるじゃん。しかもかなり高い精度でてるじゃん。やっぱあってんじゃん。


 Word2vecを使ってドキュメントをベクトル化すると、中に入っている単語はわかるものの単語同士の関係はわからない。でもLSTMでベクトル化すれば前後関係も学習できるからいけるじゃん。


 というわけで深層学習ではアタマで判断する前に身体で覚えようという法則がまたひとつ


 しかし自然言語解析ってみんなやりたがるよね。

 でも自然言語解析は深層学習を使ってないことがほとんどなので、深層学習でやる自然言語解析と従来の自然言語解析を区別するような新しい名称が必要だな