Talnivo
Sujet de PFE

Mise en place d'une passerelle LLM avec routage intelligent et pilotage des coûts d'inférence

WEVIOO

Type de contrat : Stage

Référence MC09_2026 Mission Concevoir une couche d'accès unifiée aux LLM orientant chaque requête vers le modèle adapté. La solution prévoit une API multi-modèles, le routage selon tâche, complexité, sensibilité et coût, le cache sémantique, les quotas, alertes et refacturation interne, l'observabilité des tokens, erreurs et traces, ainsi qu'un dashboard comparant coût et qualité. Profil et technologies Ingénieur génie logiciel, informatique ou IA. Python et API REST ; Docker apprécié. Technologies : FastAPI, LiteLLM, vLLM/Ollama, Redis, PostgreSQL, Prometheus, Grafana, Langfuse, Docker. 1 stagiaire, durée 6 mois.

Source : Hi Talents (hi-talents.com)

Missions

Concevoir une couche d'accès unifiée aux LLM orientant chaque requête vers le modèle adapté. La solution prévoit une API multi-modèles, le routage selon tâche, complexité, sensibilité et coût, le cache sémantique, les quotas, alertes et refacturation interne, l'observabilité des tokens, erreurs et traces, ainsi qu'un dashboard comparant coût et qualité.

Compétences requises

📄 Générer Convention de Stage

Talnivo calcule votre score de compatibilité CV ↔ offre et vous aide à l'améliorer avant de postuler.

Créer un compte gratuit

Voir toutes les offres sur Talnivo

Inscription