τ²-bench

Sierra Research(カスタマー向けAIエージェントを開発する企業)が公開した、対話型AIエージェントを評価するベンチマーク。2024年6月発表のτ-benchの拡張版で、カスタマーサポートのようなシナリオでの「ツール呼び出し」「多ターン対話」「ポリシー遵守」を同時に評価する。MITライセンス。 #llm #benchmark #agent

τ-bench(オリジナル)との違い

  • τ-benchはretail(115タスク)・airline(50タスク)の2ドメイン、計165タスクで、エージェント側だけがツールを呼び出す
  • τ²-benchではdual-control設定を導入し、エージエントだけでなくユーザーシミュレータ側もツール呼び出しを行えるようにした。技術サポートでユーザー自身が端末を操作する場面など、より実際の状況に近いシナリオを再現する
  • ドメインにtelecom(114タスク)を追加

passkという評価指標

τ-benchが導入した指標で、同一タスクをk回試行し、k回すべてが成功して初めてpassとみなす。best-of-k(k回中1回成功すればよい)と異なり、モデルの一貫性の欠如を可視化できる。

成功判定の仕組み

各タスクはユーザーからのリクエストで始まり、エージェントが型付きAPIツールを呼びながら多ターン対話を行う。以下3点を満たすと成功と判定される。

  • ユーザーの意図が満たされている
  • DB状態が正しい結果を反映している
  • 対話の軌跡がそのドメインのポリシーに準拠している

その後の展開: τ³-bench

同じsierra-research/tau2-benchリポジトリはその後も更新が続き、知識検索ドメイン(banking_knowledge。RAGベースで約700文書・約19.5万トークンの知識ベースを使う)、リアルタイム音声対応(full-duplex voice)、既存タスクの75件以上の修正を加えたτ³-bench(tau3-bench)へと発展している。j-tau-benchが土台にしたのは、この拡張が入る前のτ²-bench時点のコード。

j-tau-benchとの関係

j-tau-bench(SB Intuitions製)は、τ²-benchを日本語ドメイン(telecom_ja/airline_ja/retail_ja)へローカライズしたもの。

出典

🔗 リンクされているノート

作成日時: 2026-08-18 08:40 / 更新日時: 2026-08-18 08:40