j-tau-bench

SB Intuitionsが公開している、日本語での対話型AIエージェントの能力を測定するベンチマーク。カスタマーサポートのようなシナリオで、ポリシーに従いつつツール呼び出し・ユーザー対話を正確にこなせるかを評価する。Sierra Research製のτ²-bench(tau2-bench)を土台に日本語ドメインへローカライズしたもので、Modified MIT Licenseで公開されている。 #llm #benchmark #agent

元になったτ²-bench

τ²-benchは、多ターンの「ユーザー-エージェント」対話をシミュレートし、以下3点を同時に評価するベンチマーク。

  • 動的な多ターン対話への対応
  • 提供されたAPIツールの適切な呼び出し
  • ビジネスポリシー・ガイドラインの遵守

特徴は、エージェント側だけでなくユーザー側もツール呼び出しを行える「dual-control」設定で、実際の技術サポート・共同トラブルシューティングに近い状況を再現する。retail・airline・telecomの3ドメインを持ち(telecomのみで114タスク)、MITライセンスで公開されている。詳細はτ²-benchのノート参照。

日本語ドメイン

j-tau-benchが追加する3ドメイン。

  • telecom_ja — 通信事業者のカスタマーサポート(端末操作指示)
  • airline_ja — 航空会社のカスタマーサポート(予約管理・変更)
  • retail_ja — 小売業のカスタマーサポート(注文・返品処理)

単純な翻訳だけでなく、retail_ja・airline_jaではタスク内容自体にも変更を加えている(詳細はTASK_CHANGES.md)。評価フレームワーク側にも独自の手入れが入っており、エラー分類の見直しやClaude向けプロンプトキャッシュの有効化などが行われている。

使い方

uvパッケージマネージャー前提。モデル指定はLiteLLM形式(vLLMサーバー・API双方対応)。

uv run tau2 run --domain telecom_ja --agent-llm <llm_name> --user-llm <llm_name> --num-trials 1

結果はdata/simulations/に保存され、uv run tau2 viewで確認する。retail_jaはLLMによる対話内容の評価を報酬判定に使うため、評価用モデルを環境変数(TAU2_NL_ASSERTIONS_MODEL等)で別途指定する必要がある。

出典

🔗 リンクされているノート

作成日時: 2026-08-17 20:57 / 更新日時: 2026-08-18 08:40