← アーカイブ一覧

JASS · FEATURE LAB

文章の特徴と、資料のつながりを比べる

実データの固定スナップショットを使った比較試験。既存サイトの検索・グラフ・登録内容には反映されません。

結果を読み込み中…

元の資料を開く ↗

解析に使用した原文とコメント

3方式の数値は直接比較できません。MeCabは語の出現回数、TF-IDFは資料群の中での語の重み、埋め込みは文章の意味に基づく近さを示します。関連候補は各方式の上位5件です。

01 · LEGACY & BASELINE

現行MeCab

現行APIが返した語

既存グラフのコメント由来ノードをそのまま保存。順位・重みはありません。

現行実装の注意点

解析文字列・解析結果を資料間で引き継ぐ箇所と、固有名詞のIDに別の変数を使う箇所があります。この結果は比較基準として保存し、ここでは修正していません。原文にない語も表示される可能性があります。

独立解析の名詞頻度

同じ辞書・名詞3文字以上。資料ごとに状態を初期化した試験用基準で、現行APIの再現値ではありません。

関連資料(名詞頻度のコサイン類似度)

02 · WORD WEIGHT

TF-IDF

独立MeCabと同じ単語列を使用。34資料全体で特徴的な語を重み付けします。

上位10語

関連資料(コサイン類似度)

03 · SEMANTIC SIMILARITY

埋め込み

multilingual-e5-smallをサーバー内で計算。文章を外部AI APIには送信していません。

特徴語

この方式は特徴語を直接生成しません。意味の近さから関連資料を探します。

関連資料(コサイン類似度)

類似度は正しさの確率ではありません。少数・短文の資料群なので、人による妥当性の確認が必要です。

この資料の評価メモ

評価はこのブラウザー内に保存します。共有する場合はJSONを書き出してください。

試験条件・再現情報・出力データ

対象はJASS大会版の現行APIと同じ公開資料集合(削除フラグ0、作成日2025-01-01以降)。タイトル等の同一内容は重複を除き、コメントと等重みで結合します。現在のデータには長文要旨が含まれないため、長文性能の評価は未実施です。資料追加・重み変更で結果も変わります。

現行APIの語と新方式は入力条件が異なるため、そのまま優劣を判定できません。独立MeCab・TF-IDF・埋め込みの関連順位は同じ入力文章で比較できます。正解ラベルによる精度評価は、評価メモを集めた後に行います。

比較結果JSONをダウンロード · モデルの説明 · TF-IDFの仕様