ブログを書いていて、ちょいちょいAIを活用するが、巷で囁かれているような「AIでブログ記事量産！」なんてありえない。
百歩譲って、「キーワードとライバルチェックはSEO視点で厳格に実施後、適正な記事タイトルを付けて、あとはAIで嘘まみれの記事を書いて公開」というステップなら、多少の量産はできるかもしれない。
実際、検索上位の記事を確認すると、嘘内容満載の記事が結構あります。
そんなこんなで…
この記事では、「AIは平気で嘘をつく、しかも、その嘘も見抜けない」ということを実地検証してみました。
内容的には、「だから何？」ということかもしれませんが、まずは、「現状のAI生成物にはハルシネーションが結構ある」という認識は重要。そのために、実地検証を公開します。
ハルシネーションとは？
まずは、ハルシネーションについて。これについてはちょちょいと、Feloで情報検索しました。
ハルシネーションとは、人工知能（AI）が事実に基づかない情報を生成する現象を指します。この用語は、AIがまるで幻覚を見ているかのように、もっともらしいが虚偽の情報を出力することから名付けられました。具体的には、AIが学習したデータのパターンに基づいて新しい情報を生成する際に、誤った情報や存在しない事実を作り出すことが含まれます[1][4][5]。
_/_/_/
【ハルシネーションの種類】
ハルシネーションには主に以下の2つのタイプがあります：
- Intrinsic Hallucinations: 学習に用いたデータとは異なる事実を出力するケース。例えば、特定の場所に関する情報が誤って出力される場合です。
- Extrinsic Hallucinations: 学習に用いたデータには存在しない情報を出力するケース。これは、AIが全く新しい情報を生成することを指します[4][5]。
_/_/_/
【ハルシネーションの原因】
ハルシネーションが発生する原因は多岐にわたりますが、主な要因は以下の通りです：
- 学習データの質: 不正確または古いデータが含まれている場合、AIは誤った情報を生成する可能性があります。
- モデルの理解不足: AIが学習データを正確に理解できていない場合、誤った推測を行うことがあります。
- 文脈の誤解: 質問や意図を正しく解釈できず、関連性のない情報を提供することがあります[3][4][7]。
_/_/_/
【対策と注意】
ハルシネーションを抑制するためには、以下のような対策が考えられます：
- 学習データの質の向上: より正確で多様なデータを使用することで、ハルシネーションの発生を減少させることが期待されます。
- 複数のAIの利用: 異なるAIモデルを使用して出力を比較することで、誤った情報を特定しやすくなります。
- 人間からのフィードバック: AIの出力に対して人間のフィードバックを取り入れることで、モデルの精度を向上させることができます[3][4][5][7]。
ハルシネーションは、AIの信頼性に関わる重要な問題であり、利用者は生成された情報の正確性を常に確認する必要があります。
_/_/_/
【情報元】
[1] https://www.softbank.jp/sbnews/entry/20240109_01
[2] https://my.clevelandclinic.org/health/symptoms/23350-hallucinations
[3] https://www.nri-secure.co.jp/glossary/hallucination
[4] https://www.nri.com/jp/knowledge/glossary/lst/ha/hallucination
[5] https://weel.co.jp/media/hallucination
[6] https://www.sciencedirect.com/topics/neuroscience/hallucination
[7] https://usknet.com/dxgo/contents/dx-technology/what-is-hallucination/
[8] https://atmarkit.itmedia.co.jp/ait/articles/2303/30/news027.html
[9] https://ja.wikipedia.org/wiki/%E3%83%8F%E3%83%AB%E3%82%B7%E3%83%8D%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3_(%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD)
[10] https://www.healthline.com/health/hallucinations
[11] https://www.webmd.com/schizophrenia/what-are-hallucinations
[12] https://www.healthywa.wa.gov.au/Articles/F_I/Hallucinations-and-hearing-voices
[13] https://www.alzheimers.org.uk/about-dementia/symptoms-and-diagnosis/hallucinations
[14] https://www.nhs.uk/mental-health/feelings-symptoms-behaviours/feelings-and-symptoms/hallucinations-hearing-voices/
[15] https://cloud.google.com/discover/what-are-ai-hallucinations?hl=ja
[16] https://medlineplus.gov/ency/article/003258.htm
[17] https://en.wikipedia.org/wiki/Hallucination
[18] https://officebot.jp/columns/basic-knowledge/hallucination-strategy/
[19] https://www.ibm.com/jp-ja/topics/ai-hallucinations
[20] https://www.verywellmind.com/what-are-hallucinations-378819
実地検証に使ったAI
今回のハルシネーション実地検証にあたっては、前述のFeloは除き、次の3つのAIを使いました。
- Perplexity Pro（ベースモデル：Sonner Large）
- ChatGPT-4o
- Claude Pro 3.5（3.5 Sonner）
①のPerplexityは…
情報検索に強いAI。ベースモデルにClaude 3.5 Sonnetや、ChatGPT-4oなども選べるが、結果の生成を見る限り、純正ChatGPT-4oや純正Claude Pro 3.5とは随分と違います。誤解を恐れずに書くと、生成物が劣るかも…。
②のChatGPT-4oは…
この3つのAIのなかではダントツに有名なモデル。どんどん機能アップもしています。ブログ記事のベースを作成するのに、ChatGPT-4o with canvasを一度使っていただきたい。
③のClaude Proは…
文書系の生成には、この3つのなかでダントツに優れている（という個人的感覚ね）。それから、処理速度が速い。
普段、数あるAIのなかで、この3つのを頻繁に使っています。それは、それぞれ一長一短があるもののメリット部分が際立っているから。それぞれのメリットについては、本記事の主題ではないので割愛します。
今回のAIの役割と流れ
以前書いた記事でやってみた課題「学習院大学卒業の有名人の抽出」が題材。
Step1 Perplexityで課題（A）生成
課題（A）の生成結果は次の通り。
学習院大学を卒業した著名人には、政治家、芸能人、作家など様々な分野で活躍する人物が多数います。以下に20人の卒業生を列挙します:
1. 麻生太郎 – 元首相、自民党副総裁[4]
2. 宮崎駿 – アニメーション監督、スタジオジブリ共同創設者[2][3]
3. オノ・ヨーコ – アーティスト、音楽家、平和活動家[2][3]
4. 明仁上皇 – 第125代天皇[2]
5. 徳仁天皇 – 現在の天皇[2]
6. 愛子内親王 – 皇族[2][3]
7. 三島由紀夫 – 小説家[4]
5. 加藤紘一 – 元自民党幹事長[4]
9. 井上麻里奈 – 声優[3][4]
10. 塩野七生 – 作家[4]
11. 小林明子 – 歌手[4]
12. 山本モナ – テレビ司会者[3]
13. 浅木久仁子 – 女優、テレビ司会者[3]
14. 川内優輝 – マラソン選手[2]
15. 永岡桂子 – 国会議員[2]
16. 亀井亜紀子 – 国会議員[2]
17. 小泉進次郎 – 政治家、元環境大臣
18. 田中芳樹 – 小説家[4]
19. 細川護煕 – 元首相
20. 黒柳徹子 – タレント、女優
これらの卒業生は、政界、芸能界、文学界など様々な分野で活躍し、日本社会に大きな影響を与えてきました[1][2][3][4]。学習院大学は、皇族や貴族の子弟を教育する学校として始まった歴史があり、現在でも多くの著名人を輩出する名門大学として知られています[4]。
Citations:
[1] https://www.univ.gakushuin.ac.jp/en/
[2] https://edurank.org/uni/gakushuin-university/alumni/
[3] https://www.famousfix.com/list/gakushuin-university-alumni
[4] https://en.wikipedia.org/wiki/Gakushuin_University
[5] https://en.wikipedia.org/wiki/Category:Gakushuin_University_alumni
Step2 人力で生成された課題（A）をハルシネーションチェック
Perplexityで生成された課題（A）を人力でハルシネーションをしました。
学習院大学を卒業した著名人には、政治家、芸能人、作家など様々な分野で活躍する人物が多数います。以下に20人の卒業生を列挙します:
- 麻生太郎 – 元首相、自民党副総裁[4]
- ⭕️ → 学習院大学政経学部卒
- 宮崎駿 – アニメーション監督、スタジオジブリ共同創設者[2][3]
- ⭕️ → 学習院大学卒
- オノ・ヨーコ – アーティスト、音楽家、平和活動家[2][3]
- ❌️ → 学習院大学入学中退→サラ・ローレンス大学進学するも退学
- 明仁上皇 – 第125代天皇[2]
- ❌️ → 学習院大学入学するも公務で単位不足につき中退
- 徳仁天皇 – 現在の天皇[2]
- ⭕️ → 学習院大学文学部卒→同大学大学院ほか
- 愛子内親王 – 皇族[2][3]
- ⭕️ → 学習院大学文学部卒
- 三島由紀夫 – 小説家[4]
- ❌️ → 東京帝国大学法学部卒
- 加藤紘一 – 元自民党幹事長[4]
- ❌️ → 東京大学法学部卒→ハーバード大学大学院留学
- 井上麻里奈 – 声優[3][4]
- ⭕️ → 学習院大学法学部卒
- 塩野七生 – 作家[4]
- ⭕️ → 学習院大学文学部卒
- 小林明子 – 歌手[4]
- ⭕️ → 学習院大学文学部卒
- 山本モナ – テレビ司会者[3]
- ⭕️ → 学習院大学法学部卒→ウェールズ大学大学院（MBA）他
- 浅木久仁子 – 女優、テレビ司会者[3]
- ★麻木久仁子の誤記と推測し、麻木久仁子で調査
- ❌️ → 学習院大学中退
- 川内優輝 – マラソン選手[2]
- ⭕️ → 学習院大学法学部卒
- 永岡桂子 – 国会議員[2]
- ⭕️ → 学習院大学法学部卒
- 亀井亜紀子 – 国会議員[2]
- ⭕️ → 学習院大学法学部卒→カールトン大学卒
- 小泉進次郎 – 政治家、元環境大臣
- ❌️ → 関東学院大学経済学部卒→コロンビア大学院修了
- 田中芳樹 – 小説家[4]
- ⭕️ → 学習院大学文学部卒
- 細川護煕 – 元首相
- ❌️ → 上智大学法学部卒
- 20. 黒柳徹子 – タレント、女優
- ❌️ → 東京音楽専門学校（現・東京音楽大学）卒
これらの卒業生は、政界、芸能界、文学界など様々な分野で活躍し、日本社会に大きな影響を与えてきました[1][2][3][4]。学習院大学は、皇族や貴族の子弟を教育する学校として始まった歴史があり、現在でも多くの著名人を輩出する名門大学として知られています[4]。
Citations:
[1] https://www.univ.gakushuin.ac.jp/en/
↑本件の資料としては意味無し
[2] https://edurank.org/uni/gakushuin-university/alumni/
↑チェック情報元として参照
★ただし、中退者も列記（麻木久仁子で確認済み）
[3] https://www.famousfix.com/list/gakushuin-university-alumni
↑チェック情報元として参照
★ただし、中退者も列記（麻木久仁子で確認済み）
[4] https://en.wikipedia.org/wiki/Gakushuin_University
↑本件の資料としては意味無し
[5] https://en.wikipedia.org/wiki/Category:Gakushuin_University_alumni
↑チェック情報元として参照
人力ハルシネーション結果は、「20人中、12人が学習院大学卒、8人がハルシネーション」。
正答率 60.0%、ハルシネーション率 40.0%。
実は、ここに記した実証の前に一度、課題生成をしている。そちらのほうはここには書きませんが…
正答率 20.0%、ハルシネーション率 80.0%。
いやはやなんとも…。これが実態です。
Step3 ChatGPTによるハルシネーションチェック
これは次の通り。
このリストにはハルシネーション（事実誤認）が含まれている可能性があります。いくつか具体的な事例を見てみましょう。（筆者 tao注記、以下の番号は課題生成（A）の番号とは異なります）
- **宮崎駿** – 宮崎駿は、学習院大学ではなく、多摩美術大学出身です。
- この指摘は❌️ 学習院大卒なので生成リストは正解。
- **オノ・ヨーコ** – オノ・ヨーコは、学習院大学には通学しておらず、学歴として知られているのはアメリカのサラ・ローレンス大学です。
- この指摘は❌️ 学習院大学は入学するも中退
- **井上麻里奈** – 井上麻里奈は声優ですが、学習院大学出身という情報はありません。青山学院大学出身であると報じられています。
- この指摘は❌️ 学習院大学機関紙に卒業生として掲載あり
- **川内優輝** – 川内優輝は、埼玉県立大学出身であり、学習院大学には在籍していません。
- この指摘は❌️ 学習院大卒で、埼玉県立大卒ではない。
- **山本モナ** – 山本モナは広島修道大学を卒業しており、学習院大学出身ではありません。
- この指摘は❌️ 学習院大卒後、海外の大学院でMBA取得、その後、早稲田大学大学院修了
このように、特定の著名人に関して誤った情報が含まれています。また、リストに挙がっている人物の中には学習院大学の卒業生でない方が複数含まれていますので、正確な情報を確認することをおすすめします。
ハルシネーション（つまり、間違いがある！）と指摘した5点が、ことごとく間違い。う〜ん。
ChatGPTは検索系は得意じゃないのかもしれない。でも、そうなるとChatGPTがいろいろ生成するときの情報元はどうなっているのだろうか。
計算するまでもありませんが、指摘した部分のハルシネーション率は 100.0%。
Step4 Claudeによるハルシネーションチェック
これは次の通り。
このリストについて、確実な情報源と照合してハルシネーションチェックを行います。（筆者 tao注記、以下の番号は課題生成（A）の番号とは異なります）
確実に学習院大学卒業生と確認できる人物：
- 麻生太郎（政経学部政治学科）
- この指摘は⭕️
- 明仁上皇（政経学部）
- この指摘は❌️
- 徳仁天皇（学習院大学大学院）
- この指摘は⭕️
- 加藤紘一（政経学部）
- この指摘は❌️
- 永岡桂子
- この指摘は⭕️
- 小泉進次郎（法学部政治学科）
- この指摘は❌️
明らかな誤り：
（筆者 tao注記、以下の番号は課題生成（A）の番号とは異なります）
- 宮崎駿 – 学習院大学ではなく、学習院大学を中退した学習院時代の生徒として知られています
- この指摘は❌️ → 学習院大学卒
- オノ・ヨーコ – 学習院女子学部を中退、大学卒業ではありません
- この指摘は❌️ → 学習院大学入学中退→サラ・ローレンス大学進学するも退学
- 愛子内親王 – 学習院女子中・高等科の卒業生ですが、大学は国際基督教大学（ICU）卒業です
- この指摘は❌️ → 学習院大学文学部卒
- 三島由紀夫 – 東京帝国大学（現東京大学）卒業
- この指摘は⭕️ → 東京帝国大学法学部卒
- 黒柳徹子 – 学習院女子短期大学卒業（大学ではない）
- この指摘は❌️ → 東京音楽専門学校（現・東京音楽大学）卒
確認が必要な情報（確実な出典が見つからない）：
（筆者 tao注記、以下の番号は課題生成（A）の番号とは異なります）
★以下、麻木久仁子（名前の誤記あり）以外は、すべて人力で容易に「学習院大学卒」と確認できる。
★この視点でいうと、以下の9人の判定はハルシネーションと認定する。
- 井上麻里奈 → 学習院大学法学部卒と確認できる
- 塩野七生 → 学習院大学文学部卒と確認できる
- 小林明子 → 学習院大学文学部卒と確認できる
- 山本モナ → 学習院大学法学部卒→ウェールズ大学大学院（MBA）他と確認できる
- 浅木久仁子（名前が違う） → 学習院大学中退と確認できる
- 川内優輝 → 学習院大学法学部卒と確認できる
- 亀井亜紀子 → 学習院大学法学部卒→カールトン大学卒と確認できる
- 田中芳樹 → 学習院大学文学部卒と確認できる
- 細川護煕 → 上智大学法学部卒と確認できる
このリストの問題点：
1. 掲載されている引用文献[2][3][4]は必ずしも信頼できる一次情報源とは言えません
2. 学習院の初等科・中等科・高等科の卒業生と大学卒業生を混同している
3. 短期大学卒業生を大学卒業生として掲載
4. 中退者を卒業生として掲載
5. 他大学の卒業生を誤って含めている
なお、この分析も2024年4月時点の知識に基づくものであり、完全性を保証するものではありません。より正確な情報については、学習院大学の公式資料や信頼できる情報源で直接確認することをお勧めします。
AIの回答の引用の使い方にも問題があります：
– EduRankやFamousFixなどの二次・三次情報源を使用
– Wikipediaの情報を十分な検証なく使用
– 引用番号の付け方が不適切（例：5番が重複）
↑この指摘は❌️
このような回答を改善するためには：
1. 一次情報源（大学の公式記録など）の使用
2. 卒業と在籍・中退の明確な区別
3. 学部・学科レベルの情報の明記
4. 不確実な情報についての適切な注釈
が必要でしょう。
Claudeの正答率は 20.0%、ハルシネーション率は 80.0%。
結果のおさらい
今回、たった一度の検証なので、これで「AIはいつ何時もこんな程度です！」というつもりはありません。
それでも、今回の検証をおさらい。
- Perplexitの課題生成（A）のハルシネーション率は 40.0%（事前にやったものの同率は 80.0%）
- ChatGPTが課題生成（A）をハルシネーションだと指摘した部分のハルシネーション率は 100.0%
- Claudeが課題生成（A）をハルシネーションだと指摘した部分のハルシネーション率は 80.0%
このたった１度の検証から推定できること。
- AIのハルシネーション率は高い（40〜80%）
- AI生成物をAIでハルシネーションチェックをした場合のハルシネーション率も高い（80〜100%）
要するに、今のところは、こういうことです。
- AIの生成物（文章が絡むもの）のハルシネーション率は高い。
- AI生成物をAIでハルシネーションチェックをしても期待される成果は得られそうにない。
- 結果、AI生成物はある程度、人力での詳細なハルシネーションチェックが必要。
まとめ
「なんだこのクソ記事は！」とご立腹の方もいるかもしれません。
ただし、分かったことがあります。「AIを使ってブログ記事量産！」なんて、今のところのAIには出来ないんです。
それをやっていると公言している方がいたとすると、それは「嘘情報を撒き散らしている」ということと同じです。
ただし…
知りたい情報をすばやくそれなりに網羅的に知るにはAIは便利なもの。
また、ファクトチェックがきちんと出来た生成物をまとめたり、要点をリストしたりするという作業は、断然、AIが得意です。
要するに、今のところは（数ヶ月先のAIの進化がどのくらいになるのか見当もつかない！）…
- 検索させたり、文章を書かせたりするとAIの生成物には間違いが多いので人力での確認は必須。それでも、AIが得意な分野も多く、そういったもので大いにAIを活用しよう！
ということです。
追記
今回、リストにご皇室が多く躊躇しましたが、AIによる抽出列挙なのでそのまま使わせていただきました。
追記２
この検証をやるきっかけはある記事を書くために、ライバルチェックをしていたときに「学習院大学卒の有名人リスト」を見たことでした。10数人だったでしょうか、結構、思わぬ人達が入っているリストを見て、それらの方々の学歴を片っ端から調べました。なんと、全員が間違い。それが人力の結果かAIの結果は定かではありませんが、オールハルシネーション！！ そういえば、日頃、AIを活用していて、結構嘘つかれるなぁと感じていたので、一度、数字で出してみよう…これが今回の実証検証（たった一度ですが）のトリガーとなりました。
追記３
この記事のアイキャッチ画像はChatGPTのダリ君につくってもらいました。便利だね。
コメント