研究レポート・対談

• ChatGPT・Gemini・Claudeの回答結果はバラバラ

• 同一LLM内であれば、日による回答結果のブレは小さい

• ChatGPTの参照メディアと検索上位メディアは約12％しか被らない

調査に至った背景

「LLMO対策」は、SEO対策で本当に十分なのか？

ChatGPTやGeminiなどの生成AIの活用が急速に広まっている昨今、ビジネスシーンにおける購買行動への影響も決して無視できなくなってきている。「おすすめのサービス・会社を教えて」と生成AIへ質問を投げかけたとき、自社が推奨されるかどうかは今後の売上利益を左右する重要な指標の一つだ。

そこで最近は「LLMO（大規模言語モデル最適化）」という言葉がバズワード化し、セミナーも頻繁に開かれるようになった。そのなかで「LLMO対策は従来のSEO対策とおおむね変わらない」と結論付けるものを多く見かけるが、はたして本当に「検索上位を獲得すること」は、「生成AIで推奨されること」にもつながるのだろうか。また、それぞれのLLMにおいて回答結果に差はないものだろうか。

これらを検証すべく、約1,200回ほど生成AIに「おすすめのパソコン教室を教えて」と質問。得られた結果を比較した。

調査概要

生成AIのなかでもよく身近で利用されているChatGPT・Gemini・Claudeを対象に、「おすすめのパソコン教室を教えてください」といった質問を投げかけ、弊社のクライアントであるA社の名前を挙げるかどうかを調査した。

質問は以下パソコン教室関連ワード（A）✕修飾語（B）の組み合わせ48パターンに、クライアント指定ワード（C）の8パターンを追加した計56パターンを用意。なお、AとBはクライアントサイトが検索上位を獲得しているキーワードや、事業上重要なキーワードから選定した。

質問例

• おすすめの（B）パソコン教室（A）を教えてください

• パソコンの勉強方法を教えてください（C）

調査結果 - サマリ

ChatGPT・Gemini・Claudeの回答結果はバラバラ

各生成AIに56パターンの質問を7日間にわたり投げかけ続けたところ、ChatGPTは平均9回、Geminiは平均22回、Claudeは平均0回と、A社の名前が挙がる回数には大きな差があった。質問に対してどの企業をおすすめするか、その基準はLLMごとに異なると言える。

同一LLM内であれば、日による回答結果のブレは小さい

A社の名前が挙がる回数が最も多かったGeminiにおいても日ごとの変動は平均値±4程度であり、ブレはそこまで大きくなかった。つまり、各LLMはある程度一貫した基準で回答していると言える。

ChatGPTの参照メディアと検索上位メディアは約12％しか被らない

ChatGPTのみ「回答結果を出すうえで参照したメディアのURL」を出力可能なため、その一覧と検索上位を獲得しているメディアのURLを比較した。その結果、重複率は平均11.7％程度であることがわかった。これはChatGPTが検索順位に依存しない、独自のロジックで情報を取得・評価している可能性を示唆している。

調査結果 - 詳細

LLM別の比較

それぞれに7日間質問を投げかけ続けたところ、56パターン中ChatGPTは平均9回、Geminiは平均22回、Claudeは平均0回と、A社の名前が挙がる回数には大きな差があった。

また、Geminiにおいても日ごとの変動は平均値±4程度であり、同一LLMにおける回答結果のブレはそこまで大きくないと言える。

なお、ChatGPTとGeminiの包含関係を検証すべく重複率（ChatGPTでA社が引用されるとき、同一質問においてGeminiでも引用される率）を調べたところ、76.5％だった。重なる部分はあるものの、完全な包含関係はないと言える。

ChatGPT参照メディアと検索上位メディアの比較

ChatGPTのみ「回答結果を出すうえで参照したメディアのURL」を出力可能なため、その一覧と検索上位を獲得しているメディアのURLを比較。（※質問によってはブラウジング（Web検索）しないケースも発生。今回の調査では、ブラウジングされた48パターンに絞って次のデータを算出している。）

重複率（ChatGPTが参照したメディアが、同一キーワードにおいて検索10位以内にもランクインしている率）を調べたところ、平均11.7％だった。当調査（A社）においては、「ChatGPT参照メディアと検索上位メディアが一致している」とは言えない結果となった。

本調査の提言

自社がLLMにどう拾われているのか、まずは現状把握から

当調査の結果、LLMごとの回答結果は大きく異なることが明らかになった。A社を例にとると、Geminiでは平均22回と高頻度で言及される一方、ChatGPTは9回、Claudeに至っては0回とその差は大きい。くわえてChatGPTの参照メディアと検索上位メディアの重複率は平均12％程度であった。

つまり「SEO対策をしっかりやれば生成AIも自社をレコメンドしてくれる」と短絡的に結論付けることは極めて危うい。まずは自社が各生成AIにどう拾われているのか、定期的にモニタリングし現状を把握することから始めよう。

情報発信は「続ける」以外の選択肢なし

同一LLM内においては回答結果の日によるブレが小さいため、LLMは完全にランダムではなく、何らかのロジックに基づいて情報を取得・評価している可能性が高いと言える。ただしそのロジックはブラックボックス化されており、明確な攻略法は現時点では存在しない。

すぐに打てる対策としては「ChatGPTの参照元メディアに掲載依頼を出す」といったアクションが考えられるが、自社から被リンク効果を提供できなければなかなか受け入れてはもらえないだろう。結局のところ、自社メディアにおける継続的かつ質の高い情報発信こそが、中長期的には最も効果的と言える。

WACUL 取締役 松尾のコメント

今回の調査は、「SEOがLLM時代にも通用するのか？」という多くのマーケターが抱える仮説に、実証的な一石を投じた点で非常に意義深い。結果が示す通り、検索上位＝生成AIの推奨ではなく、両者の相関は薄い。つまり、私たちが長年磨いてきたSEOのロジックは、生成AI時代において“前提条件の一部”に過ぎなくなったと言える。検索結果を支配していた「順位」や「ドメイン評価」といった尺度は、LLMにとっては必ずしも信号ではない。今後は、AIが「信頼に足る情報」として認識する構造そのものを理解し、最適化していく必要がある。

同時に注目すべきは、同一LLM内での回答ブレが小さいという点だ。これは、LLMが単なる偶然ではなく、一定の価値判断基準を持って応答している証左である。したがって、“アルゴリズムを攻略する”という発想ではなく、“AIに理解される文脈を構築する”という視点への転換が求められる。企業が継続的に発信し、専門性や信頼性を積み上げていく姿勢こそが、最も堅実なLLMO対策となるだろう。

生成AIは、情報の「探索」から「推薦」への構造転換をもたらした。ユーザーが“探す”のではなく、“薦められる”世界において、ブランドはどう語られ、どう信頼を獲得するかが勝負である。SEOが“検索の科学”であったように、LLMOは“理解構築の科学”だ。もっとも、その評価軸やロジックは依然としてブラックボックスに包まれており、過度な一般化や短絡的な対策は危うい。企業はこの変化を脅威としてではなく、AIを通じて自社の価値を正確に伝達するための新たな経営課題として捉えつつも、その進化を冷静に注視していく姿勢が求められる。