【技術書店にて出版】自然言語解析、トピックモデルについて徹底解説！

宜しくお願いします。

技術書店っていうのはですね、もう第5回になるイベントなんですけれども、エンジニアが自分の好きなテーマを好きに本を書いて売りまくるという同人誌のイベントです。

そうですね。コミケのエンジニア版だと考えて頂ければと。

でもどんどん大きくなって、第5回は1万人来場と。もうね、異様な熱気で、盛り上がりで。

エンジニアしかいないっすね。スポンサーもすごいんすよ。

そうですね。ゴールドスポンサーはメルカリとリクルートです。

そうなんですよ。まぁ、1万人のエンジニアにプロモーションできるとしたら、安いもんなんでしょう。

もう、いろんな本が売ってました。

いやもう、いっぱいありますよ。マイニングとかブロックチェーン系の話もあれば、AR・VRとか、そういう最新の技術もあれば、普通にFirebase（サーバーサイド・・・簡単に開発できるGoogleのサービス）でアプリケーションを作りましたみたいな本もあれば、いろんな本があります。

そうですね。もう自分の好きな分野をとことん本が並んでたりとか。

面白かったのは、あれもありましたね。純肉培養っていう。

肉を培養するためにはどうやったらいいのか？というキットを1万円で売ってて、そのキットの使い方みたいな本を売ってたブースもありましたね。

そういう方向もあったんですよ。異彩を放ってましたね。

あれは面白かったですね。

あーそうですね。なにかの記事で読んだんですけど。1キロの肉を培養するのに、何万円っていうお金がかかっちゃって、スーパーで買えば、100gで300～400円なので、数百倍しちゃうらしい。

今はコストが全く合わない、けど、これがどんどん下がってくるらしいです。

そしたらすごい世界ですよね。

そうですね。・・・っていう本もあったりして。実は僕も本を出したんですよ。「橋下徹さんのメルマガを解析した」っていう。

橋下徹さんのメルマガをいままで119号とか出ているんですけど、僕はそれを全部とっているので、それを自然言語解析っていって、データにしてPythonでね、自然言語解析するんですよ。

自然言語解析は、人間が日常的に使っている言語をコンピュータに処理させる技術です。Step1は、文章を意味のある最小単位に落としますと。品詞とか、そういうレベルに落としていく。

例えば「僕がのがっちと話しています。」っていう文章があったとしたら、「僕」「が」「のがっち」みたいな、品詞レベルでの意味の分かる最小単位に落としますと。

そうです。それで、助詞には意味がないので、削ってしまい、名詞とか形容詞とか動詞とか、重要な品詞のみに絞って抽出します。

そうです。重要な品詞だけ絞って、その後、数値ベクトル、数値の羅列に変換します。この数値への変換方法方は色々あるのですが、今回は使ったのは単純に単語の頻度表現に変換しました。つまり、「私」っていうカラム（列）があって、「のがっち」っていうカラムがあって、それらの単語が何回出現したかという回数をまとめていくんです。そうすると、メルマガ第○号は[0,2,3,0,0]みたいに、数値ベクトルで表すことが出来るようになる。

で、数字にさえしてしまえばもうこっちのもんで、いろんなアルゴリズムを適応することもできますし、そこから色々と解析ができる、と。

そうです。

そうですね。数値ベクトルにさえ落としてしまえば、アルゴリズムに適用できる。

僕が今回使ったのは、LDAっていう教師なし学習です。

Latent Dirichlet Allocationっていうアルゴリズムで、一種のクラスタリングみたいなもの。

そうです。ある文章の中からこの文章は、どういうトピックについて話しているのか？という確率分布を計算してくれるアルゴリズム。

で、このLDA使っていたりするスマニュー（スマートニュース）さんとかがよく使ってる技術で、いろんな記事をクローリングしてきて、この記事はビジネスについて話しているとか、この記事はテクノロジーについて話しているだとか、そういうのを分類してくれるアルゴリズムなので。

で、橋下徹さんのメルマガ119号を32個のトピックに分類して、各メルマガはどのトピックに所属しているのか？っていうのを、出したっていう。そんな本になっています。

そうです。

例えば、「橋下徹のトランプ論」。このトピックに所属しているメルマガでは、「インテリ」とか、「トランプ」っていう単語がこのトピックの特徴単語として挙がっています。

そうですね。トランプはこういう改革をしようとしたけど、インテリがそれを批判するみたいなという話が出てきますね。

そう。メルマガをトピックに分類したあと、各メルマガはどこのトピックに分類されるのか、っていうのを所属確率を算出します。

そうなんです。クラスタリングですね。

そうそう。マーケティングとかでよく使われるのは、こういう行動をしているとクラスタAとかいうふうに分類すると思うんですけど、それの自然言語解析バージョン。

その橋下徹のトランプ論っていうトピックだったら、メルマガナンバー18とかいろんなところで所属しているのが分かります、っていうトピックが出せるんですよね。

そうなんです、トランプさん話題を振りまいてくれますから、いろんなメルマガでトランプさんの話題が出てる。

そういうことです。

面白いの、後はですね。あるトピックでは、安倍さん（安倍総理）の対応ミスっていうトピック名を付けたモノがあります。

そうです。

特徴的な単語は「組織」「森友学園」「挽回」っていった単語になってます。

そうですね、ここら辺の単語がこのトピックを構成する上での特徴単語。

これは、安倍さんがこの一年通じて加計問題もそうだし森友学園問題もそうだし、財務省の対応のところでもそうだし、いろんなところで、こうすればもっとこう不満がすぐに収まったのにっていう、対応ミスだったっていうふうに橋下さんがよく論じてたんですよ。

「加計」はなかったですかね。

論じてました。で、それはどのメルマガ号で論じていたかというと、その所属確率はこんな感じで出せますと。

あと、一個しか所属しないトピックもあります。

イタリアって第二世界大戦の失敗の時にムッソリーニが悪かったという話で、今政党が20個とか30個とかちっちゃい政党がいっぱいあって、誰も意思決定できないみたいな感じになっているらしいんですよ。

全く違うんですよ。これでは暴君は生まれないけれども何も決定できない困った状態。

そして投票率が低くて政治が機能しない。なので、小さい政党の中で1番になった政党に全権委ねようよ、というのが五つ星運動です。しかし、それでは第二次世界大戦と同じ失敗をすることになるということで、棄却されたんですけど。

そうなんです。それがイタリア五つ星運動ですね。

おっしゃる通りです。そういうことですね。

githubにコードは上げているので、cloneして、すぐに使えますので、興味ある方は試してみてください^^