OpenCastor Agent Harness Evaluator Leaderboard

Je développe OpenCastor, une couche d'exécution qui s'intercale entre le matériel d'un robot et son agent IA. Une chose qui m'a surpris : l'ordre dans lequel on organise le pipeline de compétences (constructeur de contexte → routeur de modèle → gestionnaire d'erreurs, etc.) et les paramètres comme thinking_budget et context_budget influencent autant les taux de réussite des tâches que le choix du modèle. J'ai donc construit un évaluateur distribué. Les robots contribuent avec leur puissance de calcul inutilisée pour évaluer les configurations de harnais par rapport à OHB-1, un petit benchmark de 30 tâches robotiques réelles (saisir, naviguer, répondre, etc.) utilisant des appels LLM locaux via Ollama. L'espace de recherche compte 263 424 configurations (8 dimensions : routage de modèle, budget de contexte, logique de réessai, détection de dérive, etc.). Le tableau de démonstration affiche les résultats actuels, ventilés par niveau de matériel (Pi5+Hailo, Jetson, serveur, cartes économiques). La configuration champion actuelle est téléchargeable gratuitement en YAML et applicable à n'importe quel robot. Les paramètres de sécurité P66 sont retirés à l'application — aucune configuration de harnais ne peut toucher aux limites moteur ou à la logique ESTOP. Je cherche des retours sur : (1) si les tâches du benchmark sont représentatives, (2) si la ventilation par niveau matériel est utile, et (3) toute personne ayant réalisé des évaluations distribuées à l'échelle d'une flotte pour des configurations d'agents robotiques ou autres.