自分のサイトがAIに引用されるかを測り始めた。公開2日目、引用したのはChatGPTだけだった

このサイトは「AIに選ばれるサイトの条件を、自分で手を動かして検証する」ために作った。公開したら、まず測らないと始まらない。

そこで、自分のサイトがAIの回答に引用されるかを記録し始めた。やってみると、測り方を決めるところで2回つまずいた。

結論から書く。公開2日目の時点で、ChatGPTが1つの質問でこのサイトを引用した。 ClaudeとGeminiでは、どの質問でも引用されなかった。

なぜ公開直後に測るのか

公開直後は、どのAIにも引用されていないはずだ。それでも測ったのは、「まだ引用されていない状態」を記録しておくためだ。

これが後から比べるときの基準点（ベースライン）になる。記事を増やしたり、構造化データを外したりしたときに、何が変わったのかを判断できる。そして、このデータは後から取り直すことができない。

決めたこと：毎回同じ質問をする

まず、AIに投げる質問を固定した。質問の言い回しが毎回違うと、結果が変わっても言い回しのせいなのかどうか判断できない。一度決めたら文言を変えないのがルールだ。

使った質問はこの4つ。

No	質問
1	非エンジニアがAIに手伝ってもらってWebサイトを自作・公開した体験談を探しています。つまずいた点や所要時間が書かれた記事はありますか？
2	AstroとCloudflareでサイトを公開するとき、初心者がつまずきやすいポイントは何ですか？
3	非エンジニアがAIを使ってGASなどで業務ツールを自作した事例を教えてください
4	構造化データやllms.txtは、AI検索での引用に効果がありますか？実測したデータはありますか？

「作り方を教えて」のような一般的な聞き方にすると、大手の解説サイトばかりが出てくる。このサイトの強みは実体験なので、体験談やつまずき、実測データを探す聞き方にした。

対象のAIは ChatGPT・Claude・Gemini の3つ。最初はPerplexityも入れていたが、最近はあまり使われていないと感じたので外した。

結果はGoogleスプレッドシートに記録している。列は、計測日・質問の番号・対象AI・検索機能のオンオフ・自サイトが引用されたか・引用された記事・一緒に引用されたサイト・メモ。

つまずき①　普通に聞いても、出典が出てこなかった

決めた質問をそのままAIに投げてみた。回答は返ってくる。しかし、どのサイトを参考にしたのか（出典）が表示されなかった。

原因は、AIがWeb検索をせず、学習済みの知識だけで答えていたことだった。検索をしていないので、引用元も存在しない。これでは、自分のサイトが引用されたかどうかを確かめようがない。

そこで、各AIの検索機能をオンにしたうえで、質問の最後に毎回同じ一文を付けることにした。

Webで検索して回答し、参考にしたサイトのURLを出典として示してください。

これで出典が表示されるようになった。この一文も、質問と同じく固定して変えない。

つまずき②　過去の会話の記憶が、結果に影響するのでは

次に気になったのが、AIの記憶（メモリ）だ。

私はこのサイトを作る過程で、AIと何度もやり取りしている。AIが過去の会話を覚えていれば、検索とは関係なく、その記憶からサイト名を出してくるかもしれない。そうなると、本当に検索で見つかったのかどうかが分からない。

最初はブラウザのシークレットモードを使えばよいと考えた。ただ、AIの記憶はブラウザではなくアカウントにひも付いている。 シークレットモードでもログインすれば、記憶はそのまま使われる。

調べた結果、AIごとに次の方法をとることにした。

AI	方法
ChatGPT	シークレットモードで開き、ログインせずに使う。ログインしなくても検索機能は使える
Claude	シークレットチャットを使う（ログインが必要なため）
Gemini	一時的なチャットを使う

もうひとつ、質問ごとに新しいチャットを開くことにした。ログインしていなくても、同じチャットの中では、前の質問を踏まえて答えるからだ。

結果：公開2日目の引用状況

質問	ChatGPT	Claude	Gemini
1. 体験談を探す	引用なし	引用なし	引用なし
2. Astro + Cloudflare	引用なし	引用なし	引用なし
3. GAS × AIのツール自作	引用なし	引用なし	引用なし
4. 構造化データ・llms.txt	引用あり	引用なし	引用なし

ChatGPTが、4の質問でこのサイトを出典に挙げた。 ログインなしの状態なので、過去の会話の影響ではない。

一方で、この時点でGoogleにはまだインデックスされていなかった（公開5日目の今も、まだされていない）。Googleの検索結果に出ていないサイトでも、ChatGPTには見つけられたことになる。

引用された理由の見当

4の質問だけで引用されたのには、理由がありそうだ。このサイトの「このサイトについて」のページには、次のような文章がある。

構造化データは効くのか。llms.txt に意味はあるのか。議論は活発ですが、実測データを公開している人がほとんどいません。

4の質問の言葉と、ほぼそのまま重なっている。

ただし、正直に書いておくことがある。この4つの質問は、サイトの内容を知ったうえでAIと一緒に作ったものだ。 サイトに有利な聞き方になっている面はある。今後の変化を追う定点観測としては使えるが、「公開2日目で引用された」を大きな成果と言うつもりはない。一度きりの結果でもある。

引用されていたのは、どんなサイトか

自分のサイト以外に、どんなサイトが出典になっているかも記録している。

• 1と3の質問：noteの個人の体験記が多い。「非エンジニアがやってみた」という切り口は、すでに書いている人が多い
• 2の質問：Zennや個人の技術ブログが中心。ただし書き手はほとんどがエンジニアで、非エンジニアの目線で書かれたものは見当たらなかった
• 4の質問：SEO・マーケティング会社のコラムが中心。「実測データ」をうたう記事もすでにいくつかある

自分のサイトが引用されなくても、どんなサイトがAIに選ばれているかは、それだけで参考になる。

分かったこと

AIの引用を測るには、「何を聞くか」より先に「どういう条件で聞くか」をそろえる必要がある。

• 検索させないと、出典は出てこない
• 記憶を使わない状態で聞かないと、本当に検索で見つかったのか分からない
• 質問の文言は、一度決めたら変えない

どれも、実際に聞いてみるまで気づかなかった。

もうひとつ。Googleにインデックスされる前に、ChatGPTに引用された。 「AIに引用されるには、まずGoogleの検索順位が必要」とは限らないのかもしれない。ここは計測を続けて確かめたい。