Talnivo
Sujet de PFE

Conception d'un framework d'évaluation continue et de benchmarking des LLM et systèmes RAG

WEVIOO

Type de contrat : Stage

Référence MC08_2026 Mission Concevoir un banc automatisé comparant des LLM et mesurant en continu la qualité des assistants RAG. Travaux : jeux de données français, anglais et arabe, métriques de fidélité, pertinence, précision/rappel et hallucinations, comparaison qualité/latence/coût de modèles, LLM-as-a-judge calibré par annotations humaines, feedback utilisateur, tests CI/CD de non-régression et dashboard de qualité. Profil et technologies Ingénieur IA, Data Science ou génie logiciel. Python, NLP/LLM et statistiques. Technologies : Ragas/DeepEval, Langfuse, LangChain/LangGraph, Qdrant, Ollama/vLLM, MLflow, GitLab CI/GitHub Actions, Superset/Grafana. 1 à 2 stagiaires, durée 6 mois.

Source : Hi Talents (hi-talents.com)

Missions

Concevoir un banc automatisé comparant des LLM et mesurant en continu la qualité des assistants RAG. Travaux : jeux de données français, anglais et arabe, métriques de fidélité, pertinence, précision/rappel et hallucinations, comparaison qualité/latence/coût de modèles, LLM-as-a-judge calibré par annotations humaines, feedback utilisateur, tests CI/CD de non-régression et dashboard de qualité.

Compétences requises

📄 Générer Convention de Stage

Talnivo calcule votre score de compatibilité CV ↔ offre et vous aide à l'améliorer avant de postuler.

Créer un compte gratuit

Voir toutes les offres sur Talnivo

Inscription