AIの技術に触れてみよう(形態素解析)
弊社のブログでもたびたび取り上げているプログラミング言語「Python（パイソン）」
Pythonと聞くと多くの方は「人工知能・AI（Artificial Intelligence）」を連想するのではないでしょうか。
AIと聞くとお堅いイメージを持つ方もいらっしゃるかもしれませんが、そんなことはありません。
Googleで検索すると欲しい情報がすぐに見つかるのを不思議に感じたことはありませんか？
実はここでは「自然言語処理・NLP（Natural Language Processing）」というAI技術が使われており、このおかげで無限ともいえるネットの海から私たちは欲しい情報を瞬時に手に入れられるのです。
このように、すでにAIは私たちの生活に身近で必要不可欠な存在となっています。
AIに思考が読まれているようで怖いと感じる方もいるかもしれませんが、大丈夫です。AIの仕組みが分かってしまえば怖くありません。
今回はNLPのAIを支えている技術のひとつである「形態素解析」に触れてみましょう。
形態素解析とは？
形態素解析とは、日常で使用している言葉を「形態素」にまで分割し、それらが品詞としてどれに当たるのか分類する文字列抽出法です。
例えば「株式会社キャンバスは富山にヘッドオフィスを構えるIT企業です」
という文章を形態素に分解するとこのようになります。
形態素まで言葉を分割することにより、コンピュータが単語を処理してユーザーの求める結果を出力してくれるようになります。
さらに、形態素解析から構文解析と意味解析、文脈解析を経て自然言語は機械言語へと変換され、データとして利用されます。
今回は形態素解析の仕組みについての解説になりますので、構文解析、意味解析、文脈解析については割愛します。
それでは、形態素解析のサンプルコードを参考に、どのような処理を行なっているのか実際に確認してみましょう。
形態素解析のサンプルコードを触ってみよう
百聞は一見に如かず。
Webブラウザ上でPythonを使用できるサービス「GoogleColaboratory」でサンプルコードを用意しました。まずはぜひ体験してみてください。
https://colab.research.google.com/drive/1VATGJxrgU-NMqbbLgXmk0no3GsGfaBNV#scrollTo=Ax-fNICkr-Oi
※GoogleColaboratoryを使用するには、Googleアカウントのログインが必要です。
使い方は簡単3ステップ
1. ［接続］をクリック ➝ 画像のようにチェックマークが付けばOK
2. ［ランタイム］➝［すべてのセルを実行］をクリック
3． コードが走るので、形態素解析を行ってみたい文章を入力
どうでしょうか？意図したとおりの単語に分解された結果が表示されたでしょうか？
体験いただいたように、文章を単語に分解し、品詞を分類する手法を形態素解析といいます。
まとめ
AIが私たちの文章を読み解くことができるのは、単語の組み合わせや出現頻度など、さまざまな要素といくつものステップを経て判断しているからです。今回は判断基準となる単語への分解を担う、最も川上のプロセス「形態素解析」を体験していただきました。
刻一刻と進化し続けるAIですが、形態素解析のような手間やいくつものステップを介さずとも、文章を見ただけで意味を理解できる人間の脳の性能に改めて感心する瞬間も多々あります。
AIの技術を理解することで、AIに任せられること、人間の方が向いていることを適切に見極めてうまく共存していきたいですね。
