Les missions du poste
Le besoin
Une entreprise de la grande distribution recherche un Data Scientist Python Senior pour rejoindre une équipe pour travailler sur un produit qui atteint une étape de mise en production.
"Talk to my Data" est un agent conversationnel d'analyse de données déployé en production sur Agent Platform. Nous sollicitons une prestation pour prendre en charge et faire évoluer trois volets clés de la solution :
La couche d'évaluation « LLM as a judge », en poursuivant la conception, l'industrialisation et le suivi des métriques de qualité des réponses de l'agent ;
La maintenance de la plateforme, garantissant sa fiabilité, la correction des anomalies et la mise à jour des composants ;
Les analyses LLM avancées, pour approfondir la compréhension du comportement de l'agent, identifier les axes d'amélioration et fiabiliser les résultats.
Objectif : assurer la continuité, la robustesse et la montée en qualité de la solution en production.
Livrables :
Intégration du protocole A2UI pour la création et exposition de graphiques dans l'UI de l'agent (Analyses poussées)
Framework d'évaluation LLM-as-a-judge maintenu et documenté (métriques, jeux de test, seuils de qualité)
Maintenance corrective et évolutive de l'agent en production (correction d'anomalies, mises à jour)
Analyses LLM approfondies avec recommandations d'amélioration
Infos pratiques:
Stack techniques: GCP, Python, Airflow
TJM: 700€
localisation: Massy-Palaiseau
2 jours TT
Le profil recherché
Profil recherché
- disponibilité immédiate (un critère très important! il faut que le candidat soit disponible pour commencer la mission lundi prochain 21/09 si tout se passe bien)
- Une bonne maîtrise des agents, les frameworks d'évaluation et les outils de mise en production
- Une bonne maîtrise de Python et des frameworks ML
Compétences requises
- Python
- Intelligence artificielle
- Analyse de données
- Google cloud platform