下書きに「買っていない御朱印帳」が書かれていた

いま私は、Claude Code（クロード・コード）というAIに、毎朝ブログの下書きを作ってもらっています。AIが過去の記事を読み、題材を選び、下書きをWordPressに入れておく。私はそれを読んで、直して、公開するかどうかを決める、という分担です。

10月24日の下書きは、相模國六社（さがみのくにろくしゃ）をすべて参拝して分かったことをまとめる記事でした。読んでいくと、冒頭にこんな流れが書かれていました。

• 寒川神社で「相模六社の御朱印帳」を買った
• それまで六社のことは知らなかった

どちらも事実ではありません。私は六社の御朱印帳を買っていませんし、六社のことは、延喜式内社（えんぎしきないしゃ）を調べていく中で知っていました。

原因を調べると、AIは2017年に書いた寒川神社の記事をWebページから読み込み、その「要約」をもとに体験を組み立てていました。要約の段階で、本文にない話が入り込んでいたわけです。

記事は冒頭・本文・結びを書き直し、ファイルの先頭には訂正のメモを残しました。

そもそもAIの「要約」は、なぜ間違えるのか

AIの文章は、「意味を理解して正確に縮めている」というより、「それらしい続きの言葉を選んでいる」に近い仕組みで作られています。そのため、元の文章になくても、話の流れとして自然なことを付け足してしまうことがあります。この現象は「ハルシネーション（幻覚）」と呼ばれます。

厄介なのは、間違いがとても自然に見えることです。神社に行った記事なら「御朱印帳を買った」はいかにもありそうな話で、文章としても違和感がありません。明らかにおかしな間違いより、ありそうな間違いのほうが見落としやすいのだと、このとき実感しました。

もう一つ、今回の件で分かったのは、AIが「要約したもの」を、さらに別のAIの作業の材料にすると、間違いがそのまま「事実」として次に引き継がれてしまうことです。下書きを書いたAIは、要約を元の記事そのものだと思って使っていました。

2つ目の失敗：記事タイトルの地名が変わっていた

じつは、この記事を作っている最中にも、似たことが起きました。

下書きを作るとき、AIは私のブログの過去記事を検索して、題材がかぶっていないか、リンクできる記事がないかを確かめます。WordPressには、記事の一覧をデータとして取り出せる「REST API」という仕組みがあり、そこからタイトルとURLの一覧を取ってきます。

日本語の部分は、データの中では 根岸 のような記号の並びになっています。そこでツールに「読みやすい日本語に直して一覧にして」と頼んだところ、根岸八幡神社の記事のタイトルが「横浜市港北区」になっていました。

正しくは「横浜市磯子区」です。念のため、データを「何も変えずにそのまま出して」と頼み直すと、そちらは磯子区になっていました。つまり、間違えたのはブログではなく、途中で「読みやすく直した」ツールのほうでした。

タイトルの一覧をそのまま内部リンクの表に写していたら、存在しない地名の記事を紹介するところでした。

原文で確かめるために決めた3つの習慣

2つの失敗を受けて、AIへの手順書と、私自身の確認のしかたを少し変えました。

習慣1：「動機」と「行動」は、要約をそのまま使わない

「何を買った」「なぜ始めた」「何を知らなかった」といった、その人の動機や行動を表す事実は、要約から取らないことにしました。使うときは、元の記事の該当する文を引用させて確かめる。引用できなければ、本文に【要確認】と書かせます。

神社の記事でいえば、参拝した日や御朱印の種類は記事に書いてあることが多いのですが、「どういう気持ちで行ったか」は、案外はっきり書いていません。そこをAIが補うと、作り話になってしまいます。

習慣2：固有名詞と数字は「元のデータ」と照らし合わせる

地名・神社名・日付・本数などは、一文字違うだけで意味が変わります。AIが整理した一覧を使う前に、加工していない元のデータ（APIの生のデータや、記事の本文そのもの）と照らし合わせるようにしました。

今回の「磯子区」と「港北区」も、元のデータを見ればすぐに分かる違いでした。逆にいえば、加工済みの一覧しか見ていなければ、気づく手がかりがありません。

習慣3：下書きの冒頭に「材料」と「【要確認】の数」を書かせる

毎朝の下書きの先頭には、「何を材料にしたか」と「【要確認】がいくつあるか」を書いてもらっています。これは以前から決めていたルールですが、今回の件で、その大切さを改めて感じました。

材料に「過去記事の要約」と書いてあれば、そこは特に注意して読む。【要確認】が0か所なのに体験談がたくさん書いてあれば、それ自体を疑う。下書きを読む順番を決めておくだけで、確認がずいぶん楽になります。

「AIに任せる」と「AIを信じる」は別のこと

長年Webの仕事をしてきて、データの「写し間違い」には何度も泣かされてきました。お客様からいただいた原稿を打ち直すときも、CSVを別のシステムに移すときも、間違いが起きるのは決まって「人の手で写したところ」でした。

AIはその「写す作業」をとても速くやってくれます。ただ、写すついでに、もっともらしく「書き足す」こともある。そこが人間の写し間違いとは少し違うところだと思います。

ChatGPTが話題になったころから、AIの答えは確かめて使うものだと分かっていたつもりでした。それでも、自分のブログの、自分の体験のことになると、つい「自分の記事を読んだのだから合っているだろう」と思ってしまっていました。

今回の2つの失敗で、私の中のルールは「AIに任せてもいいが、信じるのは原文」になりました。作業はAIに任せて、最後に事実を確かめるのは人間。この分担が、いまのところ一番うまくいっています。

まとめ

AIに過去の記事を読ませて文章を作るときに、実際に起きたことと、決めたことをまとめます。

• 起きたこと1：要約をもとに、買っていない御朱印帳を「買った」と書かれた
• 起きたこと2：タイトル一覧を「読みやすく直した」ら、地名が別の区に変わっていた
• 習慣1：動機や行動の事実は、原文を引用して確かめるか【要確認】にする
• 習慣2：固有名詞と数字は、加工していない元のデータと照らし合わせる
• 習慣3：下書きの冒頭に「材料」と「【要確認】の数」を書かせ、そこから読む

AIの要約はとても便利で、私も毎日使っています。だからこそ、「要約は入口、事実は原文」と覚えておくと、安心して任せられる範囲が広がると思います。これからAIで文章を作ってみたい方の参考になればうれしいです。