3方式の数値は直接比較できません。MeCabは語の出現回数、TF-IDFは資料群の中での語の重み、埋め込みは文章の意味に基づく近さを示します。関連候補は各方式の上位5件です。
01 · LEGACY & BASELINE
現行MeCab
現行APIが返した語
既存グラフのコメント由来ノードをそのまま保存。順位・重みはありません。
現行実装の注意点
解析文字列・解析結果を資料間で引き継ぐ箇所と、固有名詞のIDに別の変数を使う箇所があります。この結果は比較基準として保存し、ここでは修正していません。原文にない語も表示される可能性があります。
独立解析の名詞頻度
同じ辞書・名詞3文字以上。資料ごとに状態を初期化した試験用基準で、現行APIの再現値ではありません。
関連資料(名詞頻度のコサイン類似度)
02 · WORD WEIGHT
TF-IDF
独立MeCabと同じ単語列を使用。34資料全体で特徴的な語を重み付けします。
上位10語
関連資料(コサイン類似度)
03 · SEMANTIC SIMILARITY
埋め込み
multilingual-e5-smallをサーバー内で計算。文章を外部AI APIには送信していません。
特徴語
この方式は特徴語を直接生成しません。意味の近さから関連資料を探します。
関連資料(コサイン類似度)
類似度は正しさの確率ではありません。少数・短文の資料群なので、人による妥当性の確認が必要です。
この資料の評価メモ
評価はこのブラウザー内に保存します。共有する場合はJSONを書き出してください。
試験条件・再現情報・出力データ
対象はJASS大会版の現行APIと同じ公開資料集合(削除フラグ0、作成日2025-01-01以降)。タイトル等の同一内容は重複を除き、コメントと等重みで結合します。現在のデータには長文要旨が含まれないため、長文性能の評価は未実施です。資料追加・重み変更で結果も変わります。
現行APIの語と新方式は入力条件が異なるため、そのまま優劣を判定できません。独立MeCab・TF-IDF・埋め込みの関連順位は同じ入力文章で比較できます。正解ラベルによる精度評価は、評価メモを集めた後に行います。