arXivに投稿された論文「terms.txt: A Consent and Compensation Protocol for Agentic Web Access」は、検索エンジンにクロールを許可する代わりにトラフィックを得るという従来の暗黙の合意が、AIクローラーの台頭によって崩れていると指摘し、robots.txtに代わる新しいプロトコル「terms.txt」を提案しています。著者はRajarshi Chowdhury氏です。
terms.txtはパスや目的ごとに機械アクセスの条件を指定でき、Web Bot Auth署名による認証、HTTP 402(「支払いが必要」を示すステータスコード)を用いた交渉メカニズム、署名付き領収書の発行といった機能を備えます。実装は単一のvCPU上でリクエストあたり0.20〜0.65ミリ秒のオーバーヘッドに抑えられているとされています。
出典が伝えている要点
- 論文タイトルは「terms.txt: A Consent and Compensation Protocol for Agentic Web Access」である
- 著者はRajarshi Chowdhuryである
- 論文の提出日は2026年9月10日である
- 論文は、検索エンジンにクロールを許可する代わりにトラフィックを得るという従来の暗黙の合意が存在したと主張している
- 論文は、AIクローラーの台頭がこのバランスを破壊していると主張している
- 論文はrobots.txtに代わる新しいプロトコル「terms.txt」を提案している
- terms.txtはパスごと・目的ごとに機械アクセスの条件を指定できる
- terms.txtはWeb Bot Auth署名による認証機能を備える
- terms.txtはHTTP 402ステータスコードを用いた交渉メカニズムを備える
- terms.txtは署名入り領収書を発行する機能を備える
- 実装は単一のvCPU上でリクエストあたり0.20〜0.65ミリ秒のオーバーヘッドに抑えられているとされる