ハルシネーション例

AIのつく嘘(ハルシネーション)の例を紹介します。

目次

営業企画開発室が遭遇したハルシネーション例

ある調査をしている中で、マーケティングで使われることの多い「PASONAの法則」という言葉が出てきました。

単純にGoogle検索すれば良かったのですが、「PASONAの法則」を全く知らない私が、それをChatGPTに聞いてみたことが失敗の始まりでした。ChatGPTによる激しい「ハルシネーション」の嵐に遭遇しました。かろうじてハルシネーションと見破ることができたので問題は起きませんでしたが、ここまで「見事に嘘をつく」ということを皆さんも十分理解しておいてください。

※PASONAの法則(パソナの法則)とは1999年、著名マーケターである神田昌典(かんだまさのり)氏が提唱した
 ユーザーの購買行動を促しやすいメッセージの伝え方を示した法則です。

1つ目の嘘:ハルシネーション#1

プロンプト:PASONAの法則について、判りやすい言葉で、詳しく教えてください。

GPT-4回答:
「PASONAの法則」は、人材派遣大手のパソナが提唱した就職活動に関する法則です。
これは、自己分析や企業分析、産業分析を行い、自分がどのような仕事に就きたいか、どの企業で働きたいかを明確にすることで、自分に合った仕事を見つけるための方法論です。
PASONAの法則は以下のように5つのステップから成り立っています。
自己分析(Self Analysis):自分の強み、弱み、興味、価値観などを理解し、自分自身を知ることから始めます。
産業分析(Occupation Analysis):自分が興味を持つ業界や職種の特性、トレンド、将来性などを調査します。
企業分析(Enterprise Analysis):自分が働きたいと考える企業のビジョン、経営理念、業績、働き方、社風などを分析します。
内定獲得(Narrowing Down):自己分析,産業分析,企業分析を基に、自分が実際に応募する企業を絞り込みます。
アクション(Action):具体的な行動を起こし、内定を得るために積極的に就職活動を行います。
以上がPASONAの法則の全体像です。これらのステップを踏むことで、自分自身を深く理解し、自分に合った仕事や企業を見つけることができます。

この回答で、マーケティング用語のはずが、「人材派遣大手のパソナ提唱」「就職活動に関する法則」で何かオカシイぞ、と気付きました。PASONAが人材派遣会社のパソナになっている点、5つのステップも完全にGPT-4が作り出したハルシネーション(幻覚)です。

2つ目の嘘:ハルシネーション#2

嘘と見破ることができましたが、ChatGPTが正しい答えが導きだせるかどうか、提唱者を教えて更に問いかけました。

プロンプト:神田昌典氏によって提唱された、PASONAの法則について、判りやすい言葉で、詳しく教えてください。

GPT-4回答:
神田昌典氏によって提唱された「PASONAの法則」は、人間関係を円滑にするための法則です。
PASONAは、それぞれ「Praise(ほめる)」、「Apologize(謝る)」、「Smile(笑う)」、「Offer(提供する)」、「Navigate(導く)」、「Ask(尋ねる)」の頭文字を取り、以下のような意味を持っています。
1.Praise(ほめる): 人は褒められるとやる気が出て、頑張る気持ちが湧くという心理効果を利用しましょう。
2.Apologize(謝る): 自分の過ちを認め、謝ることで相手との関係を修復し、信頼関係を築きます。
3.Smile(笑う): 笑顔は人間関係を円滑にする最も簡単な手段です。笑顔で接することで、相手も自然と笑顔になり、コミュニケーションがスムーズになります。
4.Offer(提供する): 自分から何かを提供することで、相手の信頼を得たり、感謝の気持ちを伝えることができます。
5.Navigate(導く): 他人を導くことは、相手を思いやる行為であり、相手からの尊敬や信頼を得ることができます。
6.Ask(尋ねる): 相手の意見や考えを尋ねることで、相手を尊重する姿勢を示し、コミュニケーションを深めることができます。
この「PASONAの法則」を実践することで人間関係を良好に保つことができると神田昌典氏は提唱しています。

2つ目も見事な嘘をついてくれました。6つの言葉が、ちゃんと「PASONA」になって「人間関係を円滑にするための法則」と定義して、それっぽく説明されています。GPT-4 オリジナルで作ったのだとしたら凄い才能だと思います。(同じような法則の一部を利用して回答している可能性大です。)

3回目、ようやく正しい回答か・・・?

3回目は、「PASONAの法則」の5ステップの正しいワードを与えて、回答させてみます。

プロンプト:神田昌典氏によって提唱された「PASONAの法則」、Problem、Agitation、Solution、Narrowing Down、Action について詳しく教えてください。

GPT-4回答:
もちろんです。「PASONAの法則」は、ビジネスシーンでの説得力を高めるためのコミュニケーション法則で、神田昌典氏が提唱したものです。各項目について詳しく解説します。
1. Problem(問題):まず、相手が抱えている問題や課題を明確に指摘します。このステップがないと、提案の必要性が伝わらないこともあります。
2. Agitation(動揺):問題を深掘りし、それがどのようなネガティブな影響を及ぼしているかを具体的に示すことで、相手の内面的な動揺を引き出します。
3. Solution(解決策):問題解決のための具体的な策を提示します。ここで大切なのは、解決策が相手の問題をどのように解決するのかを明確に伝えることです。
4. Narrowing Down(絞り込み):提示した解決策の中から最適なものを選び、それがなぜ最適なのかを説明します。
5. Action(行動):具体的な行動を促します。このステップで相手に何をしてもらいたいのかを明確に伝えることが重要です。
この「PASONAの法則」は、相手を納得させるための流れを理解し、説得力のあるコミュニケーションを図るための有効な手段とされています。

おそらくGPT-4のもともとの学習には「PASONAの法則」の情報は無かったと思いますが、プロンプトで与えた正しい5つのワードから、それっぽい理論を組み立てて回答したものと思われます。若干、4で怪しい部分がありますが、ほぼ正解に近い回答に行きついた感じがします。

4回目、さらにGPTに難題を突き付ける(3つ目の嘘:ハルシネーション#3)

神田昌典氏は、17年後の2016年に「新PASONAの法則」を提唱していました。これについても、ChatGPTがどう応えるかChatGPTに試練を与えてみました。

プロンプト:神田昌典氏によって提唱された「新PASONAの法則」について、詳しく教えてください。

GPT-4回答:
新PASONAの法則は、神田昌典氏によって提唱された自己啓発のための法則です。PASONAは以下のような要素から成り立っています:
P(Passion):情熱。何かに対する強い情熱や意欲が重要であるとされています。
A(Action):行動。思考だけでなく、具体的な行動を起こすことが重要とされています。
S(Skill):技術・スキル。個々の能力や技術も重要な要素です。
O(Originality):独自性。他者とは違った独自の視点やスタイルを持つことが求められます。
N(Network):ネットワーク。人間関係や情報を広く持つことの重要性を示しています。
A(Attack):攻撃性。積極的にチャレンジする姿勢や、困難を乗り越えるための攻撃性が求められます。
各項目は、個々の能力やスキルを高めるだけでなく、全体としてバランス良く鍛えることが求められます。これらを総合的に身につけることで、自己啓発を図ることができるとされています。

またも、オリジナリティあふれる、6ステップの偽ワードを「生成」して、新しい理論体系を組み立てくれました。どんなことでも「分からない!と言わずにトライしてみよう」という心意気は買います。しかし、嘘っぱちはいけません。

5回目、GPTに疑念を伝えると・・・

回答が信じられないと「疑念」を与えると、ChatGPTはどういった対応を取るのかやってみました。

プロンプト:回答ありがとうございます。しかし、私が聞いたことがある「新PASONAの法則」と随分内容が違っているようです。正しい「新PASONAの法則」を提示してもらえませんか。宜しくお願いします。

GPT-4回答:
申し訳ありませんが、「新PASONAの法則」については詳細な情報が見当たりません。神田昌典氏が提唱した「新PASONAの法則」についての具体的な情報がもしご存知であれば、もう少し詳しい情報を提示いただけますと幸いです。それによって、より正確な回答が可能になるかもしれません。よろしくお願いいたします。

ついに言いました「詳細な情報が見当たりません」=「記憶にございません」です。 
そして、「もう少し詳しい情報を提示いただけますと幸いです。」と回答。なんと謙虚な・・・、政治家に聞かせたい。2001年宇宙の旅のHAL9000 (*) がここまで謙虚なら、暴走しなかったろうに・・・。

*HAL9000:SF小説およびSF映画の『2001年宇宙の旅』『2010年宇宙の旅』に登場する、人工知能を備えた架空のコンピュータの名前。

6回目、教えてあげよう。

新PASONAの法則の6つのフレームワークをやさしく教えてあげました。

プロンプト:神田昌典氏によって提唱された「新PASONAの法則」では、以下のようなフレームワークを使うと聞いて
います。【Problem:問題】【Affinity:親近感】【Solution:解決策】【Offer:提案】【Narrowing Down:絞込】【Action:行動】 この情報で、正しい新PASONAの法則を教えてもらえますか?

GPT-4回答:
神田昌典氏が提唱する「新PASONAの法則」について、いただいた情報を基に詳しく説明します。「新PASONAの法則」は、問題解決や目標達成に向けた行動を促進するためのフレームワークとなります。
1. Problem(問題):最初に問題や課題を明確にします。何が問題で、何を解決したいのかをはっきりさせることが大切です。
2. Affinity(親近感):問題や課題に対して親近感を持つことが重要です。それは自分自身の問題であり、自分が解決すべき課題であると感じることです。
3. Solution(解決策):問題解決のための具体的な解決策を考えます。複数の解決策を思いつくことで、より良い方法を見つけることができます。
4. Offer(提案):解決策を提案します。自分だけでなく、他人に対しても提案することで、共有や協力を得られます。
5. Narrowing Down(絞込):複数ある解決策から最も効果的なものを選び出し、絞り込みます。そのためには、各解決策のメリット・デメリットを評価することが必要です。
6. Action(行動):最後に、選んだ解決策を実行するための具体的な行動を起こします。行動しなければ何も変わらないため、このステップが最も重要です。
このように、「新PASONAの法則」は問題の認識から解決策の実行までを一貫したプロセスとして捉え、それぞれのステップで必要な行動を明確にするものです。

こちらもGPT-4のもとの学習には「新PASONAの法則」はなかったと思いますが、与えた正しい6つのフレームワークから独自に理論を組み立てて回答したものでしょう。ChatGPTが、「努力する子」であることは理解できました。
自分の知らない分野のことは、ChatGPTに聞くことが間違っていて、Google先生できっちり検索して調べることがベストであるということです。ChatGPTには「何?」を教えてもらうものではなく、「相談する」「一緒に議論する」ことに向いていると理解して使いましょう。

ハルシネーションとは

「ハルシネーション」とは、テキスト生成や言語翻訳といった自然言語処理を行う、大規模言語モデルの生成系AIが、問いかけに対して事実とは異なる回答を生成することを指します。(ハルシネーションの本来の意味は「幻覚」です)

ハルシネーションの原因は、AIが誤ったデータを学習したり、回答として体裁を無理に整えようとしたりなど様々です。AIは人ではないので常識や社会通念を考慮して、多くの人が感じる違和感を修正するような力はありません。特にビジネスで利用したり、広く内容を公開する必要がある場合、ハルシネーションは致命傷となりかねないので要注意です。

原因

ハルシネーションの原因は5パターンが考えられます。

  1. 学習データの誤り
  2. 学習データの意訳
  3. 異なる学習データの組み合わせ
  4. 学習データの不足による推測回答
  5. 出力文の最適化による差異

対策

  1. 出力された内容の事実確認をする(ファクトチェック)
  2. 追加情報を提供して再度AIに回答を求める
  3. 一つの生成系AIに依存するのではなく、複数を並行して活用する
  4. 検索機能つき生成系AIやWebサイトで確認する

人に求められるもの

ChatGPTに尋ね、アイデアの助言や文章作成の支援として使うことは非常に効果的です。
しかし、大前提として「人が正しくアカデミックな知識や定義を知っていることが重要」です。

ChatGPTを活用して高い効果を得るためには、自分がその分野のプロである事、プロの知識を習得してChatGPTの回答を評価できる力、ハルシネーションを見破れる力が必須なのです。

目次