2009-10-18 重要段落の評価指標 Web辞書 各段落に含まれる単語の tf・idf値の合計・・・問題点:段落が長くなればそれに比例して大きくなる. 各段落に含まれる単語の tf・idf値の合計 / その段落に含まれる文の数・・・問題点:長い1文が含まれる場合,その段落の評価値が大きくなる. 各段落に含まれる単語の tf・idf値の合計 / 文字数・・・段落長を吸収している.一方,助詞などの機能語もカウントしているのが問題点. 各段落に含まれる単語の tf・idf値の合計 / 単語数・・・真っ当な指標? (注)ここで「単語」とは,形態素解析の抽出対象とした名詞など限られた単語を指す.