OpenCastor Agent Harness Evaluator Leaderboard

私はOpenCastorを構築しています。これはロボットのハードウェアとAIエージェントの間に位置するランタイムレイヤーです。驚いたことに、スキルパイプラインの構成順序（コンテキストビルダー→モデルルーター→エラーハンドラーなど）やthinking_budget、context_budgetといったパラメータは、モデル選択と同程度にタスクの成功率に影響します。そこで分散評価システムを構築しました。ロボットはアイドル状態の計算リソースを提供し、Ollama経由のローカルLLM呼び出しを使用した30の実世界ロボットタスク（把持、ナビゲート、応答など）からなる小規模ベンチマークOHB-1に対して、ハーネス構成を評価します。探索空間は263,424構成（8次元：モデルルーティング、コンテキスト予算、リトライロジック、ドリフト検出など）。デモのリーダーボードにはこれまでの結果がハードウェア階層別（Pi5+Hailo、Jetson、サーバー、低予算ボード）に表示されています。現在の最適構成はYAML形式で無料ダウンロード可能で、あらゆるロボットに適用できます。適用時にはP66安全パラメータは除去され、ハーネス構成がモーター制限やESTOPロジックに触れることはありません。以下のフィードバックを求めています：(1)ベンチマークタスクが代表的かどうか、(2)ハードウェア階層別の分類が有用かどうか、(3)ロボティクスまたはその他の分野でエージェント構成のフリート規模分散評価を実施した経験がある方。