OpenAIは10月30日、ウェブサイト運営者が自分のコンテンツを生成AIの基盤モデルの学習に使ってよいかどうかを、共通のrobots.txtシグナルで示せるようにする方針を発表しました。OpenAIはこのシグナルを尊重するとしています。
これまでサイト運営者は、AI事業者ごとにクローラーを見分け、それぞれに別々のルールを書いて管理する必要がありました。共通のシグナルが使えるようになれば、事業者ごとに設定を分ける負担を減らせると期待されます。このシグナルは、IETFのAI Preferencesワーキンググループで検討されているものです。
なお、OpenAIは今回のシグナルが既存のクローラー向けの制御に取って代わるものではなく、従来の設定も引き続き有効だと説明しています。対応の開始時期は「今後数か月以内」とされ、実装の詳細は追って示される見込みです。OpenAIは、他のAI事業者にも同じシグナルを尊重するよう呼びかけています。
海外の報道では、Anthropic、Google、Microsoft、OpenAIがこの方向で足並みをそろえたと伝えられています。ただし、各社の対応時期については報道により説明が異なるため、実際の対応状況は各社の発表を確認する必要があります。
自社サイトのコンテンツをAI学習に使われたくない、あるいは積極的に使ってほしいと考える運営者にとって、意思表示の窓口が一本化に向かう動きといえます。今後の実装の詳細が公開され次第、設定方法を確認しておくとよさそうです。
出典: OpenAI「Making it easier for websites to express AI training preferences」
