TF-IDF(Term Frequency-Inverse Document Frequency)とは？意味をわかりやすく簡単に解説

text: XEXEQ編集部

TF-IDF(Term Frequency-Inverse Document Frequency)とは

TF-IDF(Term Frequency-Inverse Document Frequency)は、情報検索や自然言語処理の分野で広く使用されている重要な指標です。文書内の単語の重要度を数値化することで、文書の特徴を表現することができます。

TF-IDFは、TF(Term Frequency)とIDF(Inverse Document Frequency)の二つの指標を組み合わせたものです。TFは文書内における単語の出現頻度を表し、IDFは単語の希少性を表しています。

TFは、ある文書内で特定の単語がどれだけ頻繁に出現するかを示す指標となります。一方、IDFは、ある単語が複数の文書にまたがってどれだけ出現するかを示す指標です。

TF-IDFは、TFとIDFを掛け合わせることで算出されます。つまり、ある文書内で頻出する単語であっても、複数の文書に共通して出現する単語であれば、そのTF-IDF値は低くなるということです。

TF-IDFを用いることで、文書内の単語の重要度を定量的に評価することが可能となります。これにより、文書の特徴を数値化し、文書間の類似度を計算したり、文書のクラスタリングやカテゴリ分類を行ったりすることができるのです。

※上記コンテンツはAIで確認しておりますが、間違い等ある場合はコメントよりご連絡いただけますと幸いです。

「AI」に関するコラム

「AI」に関するニュース

ALL

トピックス