文脈依存

{ELMo（Embeddings from Language Models）は、文脈に応じて単語の意味を理解することを可能にする自然言語処理技術です。従来の単語分散表現では、例えば「銀行」という単語は、「お金を預けるところ」という意味でしか捉えられませんでした。しかし、言葉は文脈によって意味を変えることがあります。「銀行」という言葉も、「川の岸辺」という意味で使われる場合があります。ELMoは、このような文脈に依存した単語の意味を捉えることができます。具体的には、大量のテキストデータから学習した言語モデルを用いることで、文中の単語が持つさまざまな意味合いをベクトル表現として獲得します。例えば、「銀行」という単語を含む文が与えられたとき、ELMoは文全体の意味を解析し、「銀行」が「金融機関」と「川の岸辺」のどちらの意味で使われているかを判断します。そして、それぞれの意味に対応するベクトル表現を生成します。このように、ELMoは文脈に応じて単語の意味を柔軟に解釈することで、従来の手法よりも高精度な自然言語処理を可能にします。