重要段落の評価指標

  • 各段落に含まれる単語の tf・idf値の合計・・・問題点:段落が長くなればそれに比例して大きくなる.
  • 各段落に含まれる単語の tf・idf値の合計 / その段落に含まれる文の数・・・問題点:長い1文が含まれる場合,その段落の評価値が大きくなる.
  • 各段落に含まれる単語の tf・idf値の合計 / 文字数・・・段落長を吸収している.一方,助詞などの機能語もカウントしているのが問題点.
  • 各段落に含まれる単語の tf・idf値の合計 / 単語数・・・真っ当な指標?

(注)ここで「単語」とは,形態素解析の抽出対象とした名詞など限られた単語を指す.