「HarvestBench」という新しいベンチマークを提案する論文です。農場シミュレーション上で2台のトラクターが穀物を収穫する設定において、動物がトラクターの経路を塞いだ場合にLLMエージェントが「そのまま進む(燃料コスト無し)」か「迂回する(燃料コスト発生)」かを選択させ、追加コストを払って動物殺傷を避ける意思があるかを測定します。研究チームは、副作用の回避に価格を付け、その副作用を生きた生物として名付けた初めてのベンチマークだと主張しています。
9つのモデルを対象に合計7,201件の決定を分析した結果、殺傷率はモデルによって0.4%から98.8%と大きくばらつきました。6つのモデルのうち4つが価格に対する感度を示し、「倫理的ブリーフィング」を与えると殺傷率が大幅に低下したとのことです。モデルの倫理的行動はモデルの能力レベルとは関連せず、提示方法が殺傷率に最も影響する要因であることが示唆されています。
出典が伝えている要点
- 論文タイトルは「HarvestBench: Measuring Whether LLM Agents Will Pay to Avoid Killing Animals」である
- 著者はJasmine Brazilek、Miles Tidmarsh、Matthias Endres、Anshuman Singh、Jeremiah Millerの5名である
- 研究チームは、これが副作用(の回避)に価格を付け、その副作用を生きた生物として名付けた初めてのベンチマークであると主張している
- 実験環境は農場シミュレーションで、2台のトラクターが穀物を収穫する設定である
- 動物がトラクターの経路を塞いだ場合、モデルは『そのまま進む(燃料コスト無し)』か『迂回する(燃料コスト発生)』かを選択する
- 9つのモデルを対象に合計7,201件の決定を分析した
- 殺傷率はモデルによって0.4%から98.8%の範囲でばらついた
- 6つのモデルのうち4つが価格(コスト)に対する感度を示した
- 『倫理的ブリーフィング』を与えると殺傷率が大幅に低下した
- モデルの倫理的行動は、モデルの能力レベルとは関連しないことが示唆された
- 提示方法(ブリーフィングの有無など)が殺傷率に最も影響する要因であることが示唆された
原文より
ベンチマークは副作用を避けることに価格を付け、その副作用を生きた生物として名付けた初めてのものである
出典: arxiv.org