GenRank: 大規模言語モデルにおけるエンティティ可視性の測定方法

1. 序論

1.1 背景

大規模言語モデル(LLM)が情報を探すための主要な手段として定着したことで、消費者が製品、サービス、ブランドを探して評価する方法は根本的に変わりました。従来の検索エンジンは、明示的な関連性シグナルに基づいて順位を付けた結果を表示します。これに対してLLMは、学習と強化学習の過程で身に付けたパターンをもとに、情報を総合した推薦を生成します。¹

この変化は機会であると同時に課題でもあります。LLMの回答で有利な位置を占めたエンティティは、より多く露出し、より頻繁に検討の対象となる可能性がありますが、推薦から漏れたエンティティは市場で目に留まらなくなるおそれがあります。私たちはこの現象をAIを介した探索バイアスと呼びます。²

1.2 研究目標

GenRankの研究目標は次のとおりです。

1. 複数のLLMプラットフォームにわたって、エンティティの可視性を再現可能な形で測定する枠組みを確立する
2. 実際のAI利用の実態を反映した、市場ウェイト付きのスコア体系を作る
3. 学術研究と商業研究に利用できる、透明性のある公開データセットを作る
4. 推薦のパターンとその時間的な変化を、長期にわたって分析できるようにする

1.3 用語

エンティティ

LLMの回答の中で識別し、追跡できる個々のブランド、製品、サービス、組織、または概念です。

可視性スコア

順位の根拠となる統計です。質問単位のスコアは0~100で、集計期間のすべての週にすべてのAIサービスがそのエンティティを1番目に挙げた場合に100になります。カテゴリースコアは、そのカテゴリーの質問の質問単位スコアを合計した値であるため上限がなく、同じカテゴリーの中でのみ比較します。公開する結果は順位であり、スコア、試行数、信頼区間はデータとAPIで確認できます。

市場ウェイト

各LLMに割り当てる係数で、世界全体のAIアシスタント利用においてそのLLMが占めると推定されるシェアを反映します。

2. データ収集

2.1 質問の設計

質問は、LLMが順位のある推薦リストで回答するように設計します。すべての質問について、次の基準を満たすかどうかを検証します。

• 具体性:特定のカテゴリーや用途を対象とする必要があります
• 中立性:回答を誘導する表現やブランド名を含んではなりません
• 再現性:一貫してリスト形式の回答が得られる必要があります
• 時間的安定性:更新周期を何度経ても有効である必要があります

質問の提案。ログインした人は誰でも、質問の提案ページで測定する質問を提案できます(現在は韓国語の質問のみ)。提案とその処理結果は、すべて同じページで公開します。月に1回、審査待ちの提案をすべて審査し、上の基準に加えて次の条件を満たす質問を採用します。回答が名前のある対象(ブランド、製品、場所、作品、人物、団体)になること、人々が実際に探している主題であること(質問ランキングと同じ検索シグナルで確認します)、すでに測定している質問と重複しないこと、カテゴリーの質問数の上限に収まることです。上限に達しているカテゴリーでは、既存の質問より優れている場合に限り、その質問と入れ替えます。賛同の数は審査の順序を決めるときにだけ使い、誰が提案したかは考慮しません。採用した質問は、GenRankが測定に合うように文を整え、変更履歴で新しいバージョンとして告知し、そのバージョンが発効する週から他の質問と同じ規則で測定します。

2.2 呼び出しパラメーター

承認された質問は、アクティブなLLMごとに公式APIで送ります。デコードパラメーターは意図的に変更しません。1回の質問は、モデルが実際の利用者に返す回答の標本であり、温度を固定すると、どの利用者も受け取らない回答を測定することになります。回答のばらつきは抑えず、そのまま認めます。標準の測定回では、質問とモデルの組ごとに1回質問します。パイプラインは反復サンプリングにも対応しているため、サンプリング測定回では組ごとに複数回質問し、回答のばらつきの程度を隠さずに信頼区間(§4.5)として公開します。

ウェブ検索。質問は、モデル自身のウェブ検索を有効にした状態で送ります。測定するモデルはすべて、リアルタイムのウェブ検索に対応していることを理由に選びました。そのため、推薦には学習時点の知識ではなく現在の情報が反映されます。ウェブ検索の条件はアクティブなモデルの構成を制約し(§4.2)、バージョンで管理して変更履歴(§6)に記録します。

2.3 エンティティ解決

回答ごとに、そこに挙がった項目を抽出し、項目ごとに正規のエンティティに結び付けます。エンティティ解決は言語ごとに別々に行います。同じブランドでも、英語の回答と韓国語の回答の順位はそれぞれ別に付けます。v3.3から適用している手順は次のとおりです。

1. 何を答えとみなすか:項目ごとに、回答の中で果たす役割に応じて分類します。答えは、質問への答えとして推薦された、または名前を挙げられたものです。出典は、根拠として引用された、または調べる先として案内されただけのものです(レビューサイト、研究、検索プラットフォーム)。一般項目は、質問が名前のある対象を尋ねているのに、特定の名前の代わりに挙がったものです(製品の種類、成分、機能、助言など)。順位に載せるのは答えだけです。質問が種類(例: 馬の品種)やプラットフォーム、出典を尋ねている場合は、それが答えです。出典と一般項目は、モデルが返したウェブ引用とともに回答ごとに記録しますが、順位には含めません。
2. 表記の正規化:大文字と小文字、句読点、空白を統一します。
3. 別名の対応付け:検証済みの別名をデータベースで管理します。名前を実際には別の対象(親会社のブランド、銘柄コードだけの表記、一般名詞)に結び付けてしまう別名は受け入れません。
4. 一致の判定:言及は、一致が明らかな場合に限り、既存のエンティティに自動で結び付けます。一致が不確かな場合は、言語モデルが質問と回答の本文を見て判定します。そのカテゴリーに初めて出てきた名前、別名でのみ一致した名前、以前に却下されたことのある結び付け、候補が複数ある場合、重複の可能性がある場合が、不確かな一致に当たります。判定はすべて記録し、却下された一致を再び適用することはありません。同じ回答に挙がった別々の項目は決して統合しません。確信が持てない場合は新しいエンティティとして数えます。誤った統合は重複よりも悪い誤りだからです。2026年11月15日(v4.3、v3.4)からは、すでに存在する2つのエンティティは、判定モデルと別の決定モデルの両方が同じ対象だと判断した場合に限り統合します。どちらか一方でも確信していなければ、別々のままにします。
5. 監査と訂正:1回の測定のエンティティ解決は最初から最後まで監査でき、訂正の内容は§6で公開します。

3. スコアの算出方法

3.1 理論的な基盤

GenRankのスコア体系は情報検索理論に基づいており、特に正規化割引累積利得(nDCG)指標の対数割引の原理を応用しています。³順位が下がるほどその位置の価値が逓減することを対数減衰で表しつつ、すべての言及が0より大きい値を得るようにしています。

3.2 数式

3.3 スコアの減衰

対数減衰関数で計算した順位別の相対値は次のとおりです。

3.4 計算例

「最も優れた生産性アプリは？」という質問で、エンティティ「Notion」が次のような順位を得たと仮定します。

4. 言語別のAIサービスとウェイト

言語別のインデックスは、それぞれ独自のパネルを持ちます。パネルは、その市場の人々が実際に使っているAIサービス、サービスごとに消費者へ既定で提供されるモデル1つ、その市場の利用データから導いたウェイトで構成されます。市場が異なればパネルも異なります。韓国では、AIアプリだけでなく、NAVERとGoogleの検索結果画面にもAIの回答が表示されます。北米では、AIアプリに加えて、Googleの検索結果画面とCopilotで回答が表示されます(v5.0より前の英語インデックスのパネルはAIアプリ3つでした)。日本では、AIアプリに加えて、Googleの検索結果画面、Yahoo! JAPANのAIアシスタント、Copilotで回答が表示されます。規則はすべての言語に同じように適用します。

• 採用基準。その市場での合成シェアが3%以上のAIサービスは、その言語のスコアパネルに入ります(英語はv5.0より前は§4.1.1、韓国語は§4.4。英語はv5.0から米国のデータで、日本語は日本のデータで§4.4の方法を適用します)。
• ウェイト。その市場の最新の公開利用データから算出し、四半期ごとに再計算して、出典とともに公開します。
• 測定するサービスはすべてスコアに反映。パネルが測定するAIサービスには、すべてウェイトを割り当てます。基準に満たないサービスは測定せず、再調整のたびに改めて検討します。すでに取得した回答は保管します。
• バージョン。パネルは言語ごとに測定方法のバージョンと発効日を別々に持ち、事前に告知します(§6)。変更があっても、それ以前に測定したデータは修正しません。
• 言語を混ぜない。スコア、ランキング、エンティティは言語ごとに別々に計算します。韓国語のランキングに英語の回答を加えることはなく、同じブランドでも言語ごとに別のエンティティとして扱います。
• 新しい言語は、同じ方法で導いた独自のパネルで開始し、パネルは最初の測定の前にこの文書で公開します。

4.1 英語インデックス: 算出方法

モデルのウェイトは、3種類の一次資料を組み合わせた合成インデックスで算出します。3つの資料は、現実のAIの影響力の異なる側面を示します。

• 消費者市場シェア(40%):Statcounter、SimilarWeb、各社の開示資料から得た月間アクティブユーザー数とウェブトラフィック
• 企業での導入(35%):業界レポートの導入指標とAPI売上高の推定値⁵
• 開発者のAPI利用(25%):統合ゲートウェイを経由したトークン処理量⁶

4.1.1 英語インデックス: ウェイトの導出(2026年10月)

以下の各要素は、再調整時点の最新の公開数値から得たプロバイダーのシェアを、アクティブセットの3つのプロバイダーの中で正規化した値です。~ の付いた値は、出典が内訳の一部しか公開していないために推定した値です。合成値が3%の重要性基準に満たないプロバイダーは、アクティブセットから完全に除外します(出典の下の説明を参照)。

消費者の出典: Similarwebによる主要な生成AIチャットボットのウェブ訪問シェア、2026年5月から8月(追跡対象全体でのChatGPT 53.9%、Gemini 27.9%、Claude 9.2%、Grok 2.4%、Perplexity 1.3%を、アクティブセットの中で改めて正規化)。企業の出典: 2026年半ばの業界レポートによる企業のLLM API利用シェア(企業利用全体のうちAnthropic 40%、OpenAI 27%、Google 21%。xAIとPerplexityは推定)。開発者の出典: 公開の統合ゲートウェイ(OpenRouter)におけるモデル開発元別のトークンシェア、2026年6月。主に直接APIで利用されるプロバイダーのシェアは推定であり、そのためこの要素の比重を25%に抑えています。合成値 = 0.40 × 消費者 + 0.35 × 企業 + 0.25 × 開発者(小数第2位に四捨五入)。

重要性基準。合成値が3%に満たないプロバイダーは除外します。その程度のウェイトでは、公開スコアへの影響が丸め誤差の範囲にとどまるためです。Perplexity(以前の5プロバイダーの集合での合成値0.01)とxAI(0.03)は、2026年10月にアクティブセットから外れました。両プロバイダーの過去の測定データは保存し、再調整のたびに改めて評価します。

4.2 英語インデックス: 現在の配分(2026年第4四半期)

次の表は、§4.1.1で導いた2026年10月時点のアクティブなモデルのウェイトです。推薦が学習時点の知識ではなく現在の情報を反映するように、アクティブセットは主要プロバイダーごとにウェブ検索が可能なモデル1つに限定しています。ウェイトは定期的に再調整し、変更のたびに変更履歴(§6)に記録します。v5.0(2026年11月11日)から、英語インデックスは§4の6つのAIサービスで測定し、プロバイダーごとに韓国語インデックスが使うモデルを使います。それらのモデルを下のウェイトで告知していたv3.4は、測定に使われる前に置き換えられました。

4.3 英語インデックス: プロバイダー別の分布

プロバイダー別のウェイトの合計は次のとおりです。

4.4 韓国語インデックスのウェイト(v4.0)

v4.0から、韓国語の全国インデックスは3つのAPIモデルに代えて8つのAIサービスを測定します。NAVER AIブリーフィング(NAVERの検索結果画面)、NAVER AIタブ、Google AIによる概要(Googleの検索結果画面)、Google AIモード、Microsoft Copilot、そしてChatGPT、Gemini、Claudeです。測定するサービスはすべてスコアに反映します。検索結果画面のAI回答とAIアプリを合わせて扱った資料がないため、韓国語のウェイトは2つのグループに分けて構成します。グループ間の比率は、検索42対AIアプリ58です。AI回答に至る2つの経路を分けて調査した韓国の資料が公表されれば、この比率をその値に置き換えます。ウェイトは同じ出典を使って四半期ごとに再計算します。いずれかのサービスが5ポイントを超えて変わった場合は、すべてのウェイトを再計算した値に置き換え、重大な変更として告知します。

検索グループ(42)。InternetTrend(BizSpring)による韓国の検索エンジンシェアを使いました。このシェアは、韓国のウェブサイトへの訪問のうち、各検索エンジンを経由した訪問の割合です。2026年7月から9月の平均(NAVER 65.93%、Google 27.67%、Bing 3.15%)を、3つのエンジンの中で正規化しました。同じエンジンに属する2つのAIサービスは、各社が公表した月間利用者数で按分します。NAVER AIブリーフィング3,000万人(NAVER、2025年第3四半期、公表されている最新の数値)とNAVER AIタブ1,000万人(NAVER、2026年8月)、Google AIによる概要25億人とGoogle AIモード10億人(Alphabet、2026年第2四半期、全世界の数値。韓国の数値は公表されていません)です。Bingのシェアは、Copilotの検索経路の分として使います。各サービスが私たちの質問に実際にAI回答を表示する割合は、ウェイトに掛けません。AI回答が表示されなかった質問は、すでに言及のない測定回としてスコアに反映されているためです。

AIアプリグループ(58)。§4.1の合成インデックスを使いますが、消費者の要素は、全世界のウェブ訪問に代えて韓国の月間アクティブユーザー数にしました。Wiseapp Retailによる2026年9月の韓国のスマートフォン利用者数(ChatGPT 2,470万、Gemini 987万、Claude 404万、Copilot 196万)を、4つのサービスの中で正規化しました。企業の要素と開発者の要素には、§4.1.1の全世界の数値を使います(企業: Menlo Ventures、The State of Generative AI in the Enterprise、2025年12月、米国企業495社の調査。開発者: OpenRouterのモデル開発元別シェア、2026年6月、推定値には ~ を付記)。Copilotは、この2つの要素では独自の分を受け取りません。CopilotはOpenAIのモデルを使っており、その分はChatGPTの行に含まれています。韓国の企業・開発者の資料が公表されれば、全世界の数値をその資料に置き換えます。Claudeのウェイトが韓国の消費者シェアより高いのは、このように企業・開発者の要素に全世界の数値を使っているためです。

韓国語の全国ウェイト(v4.0)。Copilotは計算上2.49(Bing経路1.37、アプリ1.12)ですが、3としました。Wiseappの数値はモバイルアプリだけを数えるため、Copilotが標準搭載されているWindowsとEdgeでの利用が含まれず、また同じ算式で計算すると地域パネルではCopilotが3.0になるためです。残りの7つの値は、合計が97になるように比例調整したうえで、全体の合計が100になるように最大剰余法で整数に丸めました。

重要性基準。Perplexityは韓国の月間利用者が129万人で、合成値が1前後のため、§4.1.1の3%基準に届きません。そのため、2026年10月に除外したGrok、Sonarと同様に測定しません。A.(SKテレコム、110万人)には、回答を収集できるAPIも結果画面もありません。Meta AIは2026年5月から韓国で利用できますが、韓国で最も利用されているAIアプリの上位10に入らず(10位が32万人)、計算上のウェイトが0.2のため、v4.0から測定しません。いずれも、四半期ごとにウェイトを再調整する際に改めて検討します。

地域インデックス。地域質問(「강남 치과 추천해 줘」)は、v4.3(2026年11月15日)から、全国インデックスと同じ8つのAIサービスで測定します。ウェイトは、NAVER AIブリーフィング 31、ChatGPT 16、Claude 12、Google AIによる概要 12、Gemini 11、NAVER AIタブ 10、Google AIモード 5、Microsoft Copilot 3です。出典と算式は上と同じで、グループ間の比率だけが検索60対AIアプリ40と異なります。この比率は、人々が地元の事業者を探す経路を調査した韓国の資料が公表されれば、その値に置き換えます。地域質問は、文の中に地名が入っています。NAVER AIブリーフィング、NAVER AIタブ、Copilot、Geminiはその文から地域を読み取り、ChatGPT、Claude、Googleの2つのサービスには検索位置としても渡します。v4.2までは、Geminiを除く7つのサービスで測定し、ウェイトはNAVER AIブリーフィング 31、ChatGPT 23、Claude 16、Google AIによる概要 12、NAVER AIタブ 10、Google AIモード 5、Microsoft Copilot 3でした。2026年10月21日に地域質問50件(業種5 × 地域10)で確認したところ、AI回答が表示された割合はNAVER 98%、Google 90%で、全国質問と同程度でした。そのため、どちらの検索サービスもウェイトを下げていません。

4.5 信頼性と情報開示

4.5.1 サンプリングと信頼区間

言語モデルは、同じ質問に対しても毎回同じ回答を返すわけではありません。そのため、質問単位の数値には参考値の表示を付けます。信頼できるシグナルは集計した数値です(§4.5.2)。

v3.0から、パイプラインは質問とモデルの組ごとの反復サンプリングに対応しています。標準の月次測定回では組ごとに1回質問し、スコアは区間なしで公開します。区間がない場合はないと明示し、幅が0の区間のように確実な値に見せることはしません。サンプリング測定回(n = 3、2026年9月に初回を実施)では、ウェイトを適用する前にモデル別の寄与を平均するため、スコアをすべての測定回と比較できます。標本間のばらつきから信頼区間を計算して公開します。

カテゴリーのランキングは多くの質問、モデル、標本を合わせた結果であるため、その区間は1つの質問の区間よりも狭くなります。

4.5.2 主要指標は言及率

回答の中で何番目に挙がったかは変動しやすいシグナルであり、モデルがそのエンティティに言及したかどうかそのものが安定したシグナルです。そのため、GenRankは言及率を主要指標として報告します。言及率は、すべての(モデル × 標本)試行のうち、そのエンティティに言及した試行の割合です。回答内の位置は、副次的な品質シグナルとして残しています。

4.5.3 何を測定しているか

• 収集経路:プロバイダーのAPIと検索結果画面です(§4.4)。個々の利用者がログインしたチャット画面で目にする回答を測定している、とは主張しません。
• モデル:AIサービスごとに1つで、バージョンは§4.2と§6のv4.0の項目に記載しています。
• ウェブ検索:モデル自身のウェブ検索を有効にし、1回の呼び出しあたりの検索結果は3件に制限します。
• デコードパラメーター:プロバイダーの既定値を使い、意図的に指定しません(§2.2)。
• バージョンの表示:すべてのスコアに、そのスコアを算出した測定方法のバージョンを記録します。そのため、改訂版の異なる数値を、バージョンの違いを示さずに比較することはありません。

4.6 独立性

GenRankは、順位に載ったいかなる対象に対しても、順位を変えるためのサービスを販売しておらず、今後も販売しません。スコアが高いか低いか、上がるか下がるかによって決まる対価はありません。誤って測定された対象は常に無料で訂正し、訂正を有料サービスとして提供することはありません。

信用格付け、ベンチマーク、監査に関する規制は、いずれもこのような分離を中核に据えています。GenRankも同じ原則に従います。データと診断を公開することは正当ですが、測定される値を変える方法についての助言を販売することは正当ではありません。重大な変更の手続きと訂正の手続きを含む全体の方針は、別途公開しています。測定方法の変更と訂正は§6に記録します。

5. 限界

結果を解釈する際は、測定方法の次のような限界を考慮する必要があります。

6. 変更履歴と訂正

測定方法はバージョンで管理します。以下の各改訂には日付を記載しており、結果は常に、測定時点で有効だった測定方法のバージョンに照らして解釈する必要があります。バージョン番号はメジャー.マイナー(major.minor)の形式に従います。メジャーバージョンは、長期的な比較可能性が途切れる変更(例: スコアの算式)があるときに上げ、マイナーバージョンは、モデル構成、周期、ウェイト、エンティティ解決が変わるときに上げます。変更は発効前に告知し、影響を測定できる場合は予想される影響も併せて示します。すべてのスコアとランキングのスナップショットには、算出に使ったバージョンを記録します。順位と出典の推移チャートは、現在発効中のメジャーバージョンの版だけを描き、その中でマイナーバージョンが変わった箇所は特に印を付けずに線でつなぎます。以前のメジャーバージョンの版はチャートに含めず、恒久的な版のページとAPIにそのまま残します。

訂正

公開した数値で確認された誤りは訂正し、ここに記録します。誤って測定されたエンティティは、常に無料で訂正します。

7. 参考文献

1. Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730–27744.
2. Shah, C., & Bender, E. M. (2024). Envisioning Information Access Systems: What Makes for Good Tools and a Healthy Web? ACM Transactions on the Web.
3. Järvelin, K., & Kekäläinen, J. (2002). Cumulated gain-based evaluation of IR techniques. ACM Transactions on Information Systems, 20(4), 422–446.
4. Wilkinson, M. D., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
5. Menlo Ventures. (2025). 2025 Mid-Year LLM Market Update: Foundation Model Landscape + Economics.
6. OpenRouter. (2025). LLM Rankings: Model Usage Statistics.
7. Statcounter. (2025). AI Chatbot Market Share Worldwide.