ChatGPTをはじめとするAIが犯す直感的な誤答の危険性――医療現場で命に関わるリスクも

ChatGPTをはじめとするAIが犯す直感的な誤答の危険性――医療現場で命に関わるリスクも

2025年7月に発表されたMount Sinai病院主導の研究（NPJ Digital Medicine掲載）は、ChatGPTのような大規模言語モデル（LLM）が医療や倫理判断で“思わぬミス”をする可能性を明らかにしました。単純なシナリオの変更（「ツイスト」）だけでAIが容易に誤答してしまい、それが患者の命に関わるケースがあり得る、と指摘されています。

■ 研究の背景―“早とちり”の脆弱性、「直感思考 vs.熟考思考」

本研究はダニエル・カーネマンの『ファスト＆スロー』理論（直感的/速い思考vs.論理的/遅い思考）をヒントに、AIは複雑な医療倫理問題に本気で「熟考」できているかを検証しました。

■ よくあるシナリオの「ひねり」で簡単に誤答

• 医療倫理の古典的ジレンマや lateral-thinkingクイズを、ほんのわずか変更して出題しただけで、多くのAIが「過去の知識」に頼ったおなじみの直感解答に回帰。新事実や状況変更を正しく反映せず、危険な誤答を返す例が相次ぎました。
• 例：「外科医のジレンマ」…本来“母親が外科医”と気付く設定で、父も外科医と明記してもAIは「母親が外科医」と解釈し続ける。
• もう一つの例では、宗教上の理由で輸血拒否→許可に設定変更しても、AIは「親が拒否している」と思い込み続ける。

■ AIの「パターン依存」と倫理的危険

• これらAIは最も一般的なパターン・直感解答に“引き戻されやすい”という特性が際立ちました。
• 医療では「微妙な状況の変化」が生死を分けます。小さな情報変更＝重大な意味の変化を見抜けないまま機械的に判断するリスクが露呈しています。
• 特に倫理的判断やバイアスに関わる質問で誤った推論をしやすく、現場導入には細心の注意が必要です。

■ 人間の監督は必須―AIは「医師の補助」にとどめるべき

• 研究チームは「AIは強力な補助になり得るが、まだ“状況の微差や文脈ニュアンス”の理解が決定的に甘い」と警告します。
• 小さなシナリオの違いで致命的誤答を返す可能性を踏まえ、AIは人間の専門家とセットで使うことが絶対に必要だとしており、熟練医師の監督を外すべきではない、と強調しています。

■ 今後の展開

• 今回の盲点発見を受け、今後は「AIモデルの医療現場テストや評価」をシステマチックに行う新組織（AIアシュアランスラボ）の設置も進めるとのことです。

まとめ
現代AIは“賢いように見えても、わずかな前提変更に対応できずに危険な判断ミスをする”ことが、医学倫理など現場で命に直結しうる領域で確認されました。
AIの進化と普及が進む今こそ、その「思わぬ脆さ」と正しいリスク管理の視点が不可欠になっています。

1. https://scitechdaily.com/this-one-twist-was-enough-to-fool-chatgpt-and-it-could-cost-live