Plateforme IA locale
Infrastructure IA locale complète sur serveur Xeon : inférence LLM sur CPU, synthèse vocale, transcription, supervision applicative et suivi énergétique.
Contexte
Dépendre exclusivement d'APIs cloud pour les modèles de langage implique une latence réseau, des coûts récurrents et l'impossibilité d'exécuter des modèles sur des données sensibles. L'objectif était de disposer d'une plateforme IA autonome, déployée sur du matériel existant, capable de soutenir un usage quotidien en production.
Contrainte principale : pas de GPU. Un serveur Proxmox héberge le tout en conteneur LXC, sur CPU Xeon uniquement.
Approche technique
Modèle de langage : Qwen3-Coder 30B-A3B via ik_llama.cpp, quantifié pour tenir en mémoire vive. Résultat : 15,9 tokens/s en inférence sur CPU, suffisant pour un usage interactif et des traitements automatisés.
Synthèse vocale : Kokoro pour une voix naturelle générée localement, sans appel externe.
Transcription : Whisper pour la transcription audio, intégrée aux traitements de contenu.
Supervision : Phoenix (Arize) pour le suivi des appels au modèle — latences, volumes de tokens, erreurs — et la détection des dérives de prompt.
Suivi énergétique : mesure de la consommation électrique du processeur via les compteurs Intel RAPL, afin de corréler charge d'inférence et consommation réelle.
Résultats
- 15,9 tokens/s en inférence sur CPU avec Qwen3-Coder 30B
- Plateforme complète (modèle de langage, synthèse vocale, transcription) opérationnelle en production
- Supervision Phoenix active avec traçabilité des appels
- Consommation électrique mesurée en temps réel
- Déployé en production, documentation d'exploitation complète