AIが科学論文の執筆現場に急速に広がるいま、「その研究要旨は人間が書いたのか、AIが生成したのか？」——誰もが簡単には見分けられない新時代が訪れています。では、肝心のAI自身（たとえばChatGPT）は、自分が書いたテキストと人間による文章をどこまで正確に認識できるのでしょうか？
今回紹介するのは、世界で初めて「ChatGPT-4.0自身が科学論文の要旨（アブストラクト）を自力で見分けられるか」を徹底検証した最新の研究結果です。論文執筆や査読、研究倫理に関わるすべての人に深く関係するテーマとして、その主な内容と意義を分かりやすくまとめます。
ChatGPTは自分自身が書いた科学論文要旨を識別できるのか？
背景
- 生成AI（特にChatGPT）の利用が科学論文執筆でも急増するなか、「AIによる執筆か」「人間による執筆か」を見分ける重要性が増している。
- 専用のAI判別ツールや人間の目による審査も万能ではなく、現状で高い精度を示す方法は限られている。
研究目的
- ChatGPT-4.0自身が「この文章は自分が書いたものか、それとも人間が書いたものか」をどれくらい正確に識別できるか調査した初のピアレビュー論文。
方法
- 2000年発行（AI時代以前）の内科系トップ10ジャーナルからランダムに100本の論文を抽出。
- 各論文から【元の要旨（人間執筆）】と、全文PDFからChatGPTに生成させた【AI要旨】の計200本を用意。
- それぞれについてChatGPT-4.0に0〜10点（0=絶対人間, 10=絶対ChatGPT, 5=不明）で評価させた（ラウンド2回実施）。
- 「0〜4＝人間」「6〜10＝AI」と判断し、分類の正誤や一致率も評価。
主な結果
- 誤分類率は約半数（49.0%、47.5%）：AIが自分の書いた要旨も人間の書いた要旨もほぼ半々で誤判断
- 信頼性は低い：分類間の一致度（Cohen’s kappa）は0.33・0.24と「低レベル」を示す
- スコア分布が大きく重複：AI要旨と人間要旨のどちらも、0〜10点の間にほぼ同じような分布を示し、識別的傾向はみられなかった
- 5（不明）は一度も使われず：すべて「AI」か「人間」と断定的に分類した
考察・意義
- AI本人（ChatGPT）は自分の出力と人間執筆をほとんど区別できない（現行バージョンでは自己検出に意味のある「内部痕跡」はない）
- 外部のAI検出器や人間の審査でも判別精度はあまり高くないことが他研究でも報告されている
- 研究倫理・論文透明化のために、より強力な外部検出ツールや、AI利用の開示義務、メタデータ記録等の現実的な運用ルールの整備が必要
強み・限界
- 世界で初めて「GPT-4による自己検出」を本格評価した点が独自性
- トップジャーナルの実在論文を対象にした点も信頼性が高い
- 限界：医学分野＋要旨のみで、全文や他分野で同じとは限らない。プロンプトやモデルの違いの検証はない。
結論
- ChatGPT-4.0は「自分が書いたかどうか」を信頼して見分けることはできない。
- 学術界でのAI利用拡大とあわせて、公正な著者表示やAI検出技術の客観的整備が今後一層重要となる。
サマリー英訳（Brief English Summary）
- Question: Can ChatGPT-4.0 reliably recognize its own output in structured scientific abstracts?
- Method: Compared 100 AI-generated and 100 human-written abstracts from top medical journals. ChatGPT rated authorship likelihood (0-10 scale) twice for each.
- Result: Misclassification rate was high (~50%); agreement was poor (kappa 0.33/0.24); score distributions overlapped between AI and human texts.
- Conclusion: ChatGPT-4.0 cannot reliably distinguish its own writing from that of humans in scientific abstracts. Robust, external detection tools and authorship transparency will be required for academic integrity as AI writing grows.
以下は論文「Can ChatGPT Recognize Its Own Writing in Scientific Abstracts?（ChatGPTは自分が書いた科学論文要旨を見分けられるか）」の内容を日本語で要約したものです。
参考：
Sebo, P. (2025). Can ChatGPT Recognize Its Own Writing in Scientific Abstracts? Cureus, 17(7), e88774. doi:10.7759/cureus.88774
論文リンク
ご要望があれば、論文の図表・データ・手法の更なる詳細や、AI検出規範の国際動向との関連分析もご提供可能です。
