5名による論文「Vibe Patenting: Evaluating LLM Judges for Professional Patent-Drafting Agents」です。特許草案作成という専門業務において、LLMを「判定官」として品質評価や改訂フィードバックに使う手法の信頼性を検証しています。著者らは特許起案のテストベッド「Vibe Patenting」を構築し、複数の発明・エージェント構成でテストしました。
その結果、判定官によるガイダンス付きの改訂は草案品質を一貫して向上させ、ガイダンスのない改訂は品質向上が頭打ちになる傾向があったこと、反復的なフィードバックにより低推論エージェントが高コストな高推論エージェントの性能に近づいたことが報告されています。一方、プロの特許弁護士による独立評価と比較すると、評価指標によって一致度が強く異なり、系統的な調整の違いも見られたとしています。
出典が伝えている要点
- 論文タイトルは『Vibe Patenting: Evaluating LLM Judges for Professional Patent-Drafting Agents』
- 著者はToshiaki Koike-Akino、Vlad Blaykhman、Ye Wang、Jing Liu、Gene V. Vinokurの5名
- 著者らは特許起案のテストベッド『Vibe Patenting』を構築した
- このテストベッドでは、LLM判定官が生成された特許草案を評価し、反復的改訂のための構造化フィードバックを提供する
- 複数の発明(inventions)と複数の起案エージェント構成(drafting agent configurations)でテストを行った
- 判定官によるガイダンスを伴う改訂は、判定官が評価する草案品質を一貫して向上させたと報告されている
- ガイダンスのない改訂(unguided revision)は品質向上が頭打ちになる傾向があったと報告されている
- 反復的な判定官フィードバックにより、低推論(low-reasoning)エージェントが高コストな高推論(high-reasoning)エージェントの性能に近づいたと報告されている
- プロの特許弁護士による独立評価とLLM判定官の評価を比較した
- その比較において、評価指標によって一致度が強く異なること、および系統的な調整の違い(systematic calibration differences)があることが判明した