ChatGPTはなぜもっともらしく誤るのか｜生成AIの限界と使い方

AIトランスフォーメーション専門家で、CosBEの茂見憲治郎氏が、2025年10月11日公開の動画で、ChatGPTなどの生成AIがもっともらしい誤りを出す理由と、それを踏まえた使い方を説明しています。

茂見氏は、ChatGPTなどには、ハルシネーション（幻覚）と言われる、もっともらしく誤った回答を出してしまう現象があると述べています。

茂見氏は、ハルシネーションは大規模言語モデルの性質によるもので、大量の言語情報でトレーニングし、統計的に出力する仕組みで作られているためだと説明します。

茂見氏は、統計的にたくさん出てくる情報はよい回答になる一方、統計的に多くない情報は出力しづらい性質があると述べています。

例えば、自分の誕生日を登録していないのに当ててほしいと聞くと「分かりません」ではなく、推論という機能を使って何とか答えようとすると茂見氏は説明します。

全く出せないものは「分かりません」と答えるものの、ある程度推論で出せそうなものは無理にでも答えを出そうとするため、違う答えになることもあると茂見氏は述べています。

この性質は、精度を上げようとするほど、間違っているかもしれなくても推測して正しい答えを出すことが重要になる、と茂見氏は説明します。

聞き手の「同じ質問を何度も繰り返せば当ててくれるのか」という問いに対し、茂見氏は、結局のところ精度は100%には決してならないことが問題の要点だと答えます。

答えが1つしかないものは1つに決まるものの、複数の可能性があるものは間違っているかもしれなくても答えを出すため、必ず合っているとは限らない状況はなくならないと茂見氏は説明します。

茂見氏は、ハルシネーションの問題は、もっともらしい出力が出てくるため、あたかも正しいように感じてしまうことにあると述べています。

答えを知っていれば、自分で判断してもう一度出させればよいものの、答えを持っていない人にとっては、間違っているかもしれない回答が正しく感じられてしまうと茂見氏は説明します。

茂見氏は、生成AIの何が得意でどこに限界があるかを理解したうえで、うまく使うと述べています。

アイデアの壁打ちにはすごくよいと思う一方、最後に確定するときには必ず裏を取る、あるいは間違えてはいけないものはきっちりアルゴリズムで詰めておく必要があると茂見氏は話します。誤りを含みうることを前提に、確定前に人が確認する使い方は、CosBE AXメソドロジーの「ユーザー統合型アプローチ」の考え方にあたります。

統計的にもっともらしい答えが合う場面では使い、外れた答えが出そうな場面では裏を取りに行く、という動きがよいのではないかと茂見氏は述べています。

誤りを含みうることを前提に、得意な場面で使い、確定する前には確認する、という整理になります。逆に、言いたいことを入れ、それがうまく伝わるように文章を生成してもらうことは得意だと説明します。

生成AIを業務で使う判断の分かれ目は、誤りが許されない場面かどうかにあります。生成AIの使いどころと確認が必要な場面を整理するところから、CosBEの無料でご相談いただけます。