「AIコーディング支援は本当に効率化しているのか？」METR最新研究まとめ

「AIコーディング支援は本当に効率化しているのか？」METR最新研究まとめ

背景

• 生成AIの代表的な活用例として「コーディング支援」が挙げられ、多くの開発者や企業がAIツールに投資。
• これまで「AIでコーディングが大幅に効率化する」という期待が広まっていた。

METRの衝撃的な実験結果

• AIベンチマーク団体METRが2025年前半に**無作為対照試験（RCT）**を実施。
• 対象は平均4.9年の経験を持つオープンソース開発者。245件の成熟したプロジェクトタスクで検証。
• 主なAIツールはCursor Proなど、2025年2～6月時点の最先端ツール。

事前・事後の「期待値」と「実測値」

項目	開発者の期待値	実際の効果
タスク完了時間の短縮率（事前予想）	+24%
タスク完了時間の短縮率（事後自己評価）	+20%
タスク完了時間の実測値	―	-19%（遅くなった）

• 開発者自身や専門家は「AIで20～24%は速くなる」と予想。
• **実際は「19%遅くなった」**という逆転の結果に。

なぜ「遅くなった」のか？

• AIが生成したコードのデバッグや理解に時間がかかる（＝「自分で書いていないコードのデバッグは難しい」）。
• 複雑な既存コードベースや熟練開発者の場合、AI支援がかえって作業効率を下げる可能性。

研究の注意点・今後の展望

• 今回の対象は「経験豊富な開発者×大規模・複雑プロジェクト」。
• 小規模プロジェクトや初心者、品質基準が異なる現場ではAIの恩恵が大きい可能性も。
• METRは「モデルの根本的な限界を示すものではなく、今後の進化で状況が変わる可能性もある」とコメント。

まとめ

• AIコーディング支援＝即効率化という常識に再考を促す重要な研究結果。
• 期待と現実のギャップが明らかになり、今後は**「どの現場・どの条件でAIが本当に役立つのか」**を見極める必要がある。
• 今後のAI進化と現場での実証データの蓄積が注目される。

参考