Les modèles mixture-of-experts n’exécutent qu’une fraction de leurs paramètres par token, ce qui explique pourquoi Hy3 Tencent 295B ou DeepSeek V3 671B s’inscrivent maintenant dans des budgets de RAM consommateur qui plafonnaient autrefois autour de 70B denses. Tencent a publié Hy3 sous Apache 2.0 le 6 juillet 2026, avec 21B paramètres actifs et une fenêtre de contexte 256K. DeepSeek continue de livrer des actualisations V3, Mixtral 8x22B reste compétitif sur le coût, et Qwen3 MoE dispose de variantes de 30B à 235B. Le goulot d’étranglement s’est déplacé de la VRAM GPU à savoir si votre exécuteur local comprend vraiment l’acheminement d’experts épars, et pas tous les exécuteurs le font.
Nous avons testé 8 des meilleures applications pour exécuter des modèles MoE LLM ouverts sur bureau sous Windows, macOS et Linux. Chacune a été jugée sur la compatibilité GGUF et safetensors, les contrôles d’acheminement d’experts, le comportement du déchargement CPU pour les experts froids, et la rapidité avec laquelle le projet fournit le support pour les nouvelles architectures comme hy_v3, qwen3moe et deepseek2. Certaines sont des exécutables d’un seul fichier. D’autres supposent que vous connaissez Docker. Toutes sont gratuites pour un usage personnel, et la plupart sont gratuites pour un usage commercial aussi.
Ce qu’il faut chercher chez un exécuteur MoE LLM local compétent
Quelques critères séparent les applications qui gèrent une nouvelle architecture MoE dès le premier jour de celles qui échouent silencieusement à charger les poids :
- Support natif des architectures MoE actuelles : Mixtral, DeepSeekMoE, Qwen3MoE, Hunyuan-A13B et hy_v3. Les exécuteurs accusent généralement un retard de 2 à 4 semaines par rapport au calendrier de sortie des modèles, donc tout ce qui est plus ancien est un signal d’alerte.
- Couverture GGUF et safetensors. GGUF est ce que la communauté Hugging Face publie réellement pour une utilisation locale. Les exécuteurs sans cela sont exclus de la plupart des quantifications.
- Contrôles d’acheminement d’experts. Chaque MoE a un routeur top-k. Pouvoir ajuster le nombre d’experts actifs échange le débit contre la qualité, et c’est la différence entre un MoE qui se sent rapide et un qui se sent dense.
- Déchargement CPU sélectif. Un exécuteur bien réglé garde le routeur et les poids d’attention partagés sur le GPU et pousse les experts froids vers la RAM système. C’est ainsi qu’un modèle 295B s’inscrit dans 64 Go de DDR5 plus une carte de milieu de gamme.
- Serveur API compatible OpenAI. Presque toutes les extensions d’éditeur, les frameworks d’agents et les outils de mémoire parlent le dialecte OpenAI Chat Completions. Si l’exécuteur n’en expose pas un, l’intégration devient un projet personnel.
- Profondeur de quantification. Q4_K_M est le cheval de bataille actuel pour MoE. Les méthodes plus récentes comme APEX et IQ4_XS économisent plus de VRAM sans perte de qualité mesurable sur les experts acheminés.
Comparaison rapide
| Application | Meilleure pour | Plateformes | Licence | Prix | Architectures MoE |
|---|---|---|---|---|---|
| LM Studio | Premier exécution MoE avec GUI | Windows, macOS, Linux | Proprietary | Gratuit | Mixtral, DeepSeek, Qwen3MoE, Hunyuan-A13B |
| Ollama | Exécutions MoE en ligne de commande | Windows, macOS, Linux | MIT | Gratuit | Mixtral, DeepSeek V3, Qwen3MoE |
| llama.cpp | L’upstream duquel dépend chaque wrapper | Windows, macOS, Linux | MIT | Gratuit | Mixtral, Qwen3MoE, DeepSeekMoE, Hunyuan-A13B |
| Jan | Équivalent LM Studio open source | Windows, macOS, Linux | AGPLv3 | Gratuit | Ce que llama.cpp supporte |
| KoboldCPP | Installations en un seul fichier | Windows, macOS, Linux | AGPLv3 | Gratuit | Mixtral, DeepSeek, Qwen3MoE |
| Text Generation WebUI | Interface pour utilisateurs avancés | Windows, macOS, Linux | AGPLv3 | Gratuit | Mixtral, Qwen3MoE, DeepSeekMoE via trois chargeurs |
| vLLM | Service MoE multi-GPU | Linux (Windows/macOS via WSL ou Docker) | Apache 2.0 | Gratuit | Mixtral 8x22B, DeepSeek V3, Qwen3MoE |
| LocalAI | Remplaçant OpenAI multi-backend | Linux, macOS, Windows (Docker) | MIT | Gratuit | Tout ce que llama.cpp ou vLLM couvre |
Les applications
1. LM Studio — meilleur exécuteur MoE au global pour la plupart des gens
LM Studio est le chemin le plus rapide d’une installation fraîche vers un chat MoE fonctionnant. Le catalogue de modèles dans l’application répertorie les variantes Mixtral, DeepSeek Coder V2 Lite, Qwen3 MoE et Hunyuan-A13B avec des filtres de taille et quantification, donc choisir un modèle MoE pour votre budget VRAM est une étape à faire défiler, pas une expédition Hugging Face. L’écran de chargement expose un curseur Number of Experts qui mappe à llama.expert_used_count, vous permettant d’ignorer le top-k par défaut quand la qualité compte plus que les tokens par seconde. LM Studio pour les flux de travail MoE livre également un backend MLX sur Apple Silicon et un chemin CUDA sur Nvidia, donc la même installation fonctionne sur un M3 Max ou une station de travail avec RTX 5090.
Où il échoue : l’application de bureau est fermée, et le serveur sans interface intégrée nécessite quelques paramètres pour être exposé correctement. Comparé à un exécuteur CLI allégé, l’interface occupe plus de RAM en arrière-plan.
Tarification :
- Gratuit : application de bureau complète pour un usage personnel et commercial, pas de limites de débit, pas d’appels cloud
- Payant : Plan Enterprise à 10 $ par utilisateur par mois pour SSO, gestion des modèles et MCP, catalogues d’équipe privés
Plateformes : Windows, macOS, Linux
Télécharger : lmstudio.ai
En bref : le choix si vous voulez qu’un modèle MoE discute sur votre bureau avant le déjeuner. À éviter si vous refusez d’installer des binaires fermés.
2. Ollama — meilleure CLI gratuit pour les modèles MoE ouverts
Ollama récupère Mixtral, DeepSeek V3, Qwen3 MoE et variantes Hunyuan avec un simple ollama run et expose un endpoint REST sur localhost:11434 qui parle le dialecte OpenAI Chat Completions. Le registre suit les nouvelles versions MoE, et l’acheminement interne suit une branche llama.cpp actuelle, donc les architectures comme mixtral, deepseek2 et qwen3moe se chargent sans manipulation de drapeaux. Ollama pour l’inférence MoE locale est l’outil que la plupart des développeurs utilisent quand ils veulent scripter un flux de travail autour d’un modèle acheminé.
Où il échoue : le daemon n’a pas d’interface pour ajuster le nombre d’experts, vous éditez donc un Modelfile ou transmettez les surcharges via l’API pour affiner l’acheminement épars. Les Modelfiles par défaut limitent également de manière conservatrice les longueurs de contexte, ce qui est douloureux sur la fenêtre 256K de Hy3 jusqu’à ce que vous augmentiez num_ctx.
Tarification :
- Gratuit : tous les runtime, extraits du registre des modèles et serveur API
- Payant : rien du projet
Plateformes : Windows, macOS, Linux
Télécharger : ollama.com ou GitHub
En bref : le bon choix si la ligne de commande est où vous vivez déjà. Pas celui si vous voulez des contrôles visuels d’acheminement d’experts.
3. llama.cpp — meilleure base pour les amateurs
llama.cpp est l’exécuteur que presque toutes les autres applications de cette liste enroulent. Diriger vers les sources signifie que vous obtenez le support d’architecture MoE le premier jour pour tout ce que l’upstream valide : Mixtral, Qwen3MoE, DeepSeekMoE, et le chemin recommandé pour Hunyuan-A13B. Vous obtenez également les drapeaux que les wrappers cachent, comme --override-kv llama.expert_used_count=int:4 pour l’ajustement top-k et --cpu-moe pour pousser les experts froids vers la RAM système.
Où il échoue : il n’y a pas d’interface. La gestion des modèles, la quantification et le serveur compatible OpenAI (llama-server) sont des binaires distincts avec leurs propres arguments. Les nouvelles architectures atterrissent généralement 2 à 4 semaines après la sortie de l’article, ce qui a frappé les premiers utilisateurs de Hy3 exécutant à partir de la source.
Tarification :
- Gratuit : source sous licence MIT et binaires prédéfinis pour CUDA, ROCm, Metal, Vulkan, SYCL et OpenVINO
- Payant : aucun
Plateformes : Windows, macOS, Linux
Télécharger : llama.app ou GitHub
En bref : pour quiconque veut savoir quelles couches atterrissent sur le GPU. Excessif pour une conversation décontractée.
4. Jan — meilleur équivalent LM Studio open source
Jan est un shell de bureau au-dessus de llama.cpp avec une licence AGPLv3, un navigateur de modèles Hugging Face qui filtre les fichiers GGUF par taille, et un serveur API compatible OpenAI local sur localhost:1337. Le catalogue MoE couvre les variantes Mixtral, DeepSeek Coder V2 Lite et les quantifications communautaires Qwen3 MoE, et l’application hérite des remplacements d’acheminement d’experts llama.cpp via son volet de paramètres de modèle. Jan pour les utilisateurs MoE qui veulent une interface est le substitut open source le plus proche d’un remplacement LM Studio.
Où il échoue : Jan tend à prendre du retard des architectures MoE les plus récentes d’une ou deux versions, donc si le support hy_v3 vient de arriver dans llama.cpp master, vous pouvez attendre qu’une compilation Jan rattrape. Certains utilisateurs signalent également une pression mémoire lors de la navigation dans des listes de modèles très volumineuses.
Tarification :
- Gratuit : application de bureau complète sous AGPLv3
- Payant : aucun
Plateformes : Windows, macOS, Linux
Télécharger : jan.ai ou GitHub
En bref : choisissez Jan si vous voulez une interface de style LM Studio sans le binaire fermé. Regardez ailleurs si vous avez besoin du support le jour du lancement de nouvelles architectures.
5. KoboldCPP — meilleur exécuteur MoE sans installation
KoboldCPP compresse un runtime complet, une interface de chat et d’histoires KoboldAI, et un endpoint compatible OpenAI dans un seul exécutable de 200 Mo. Depuis la version 1.8, l’écran de chargement expose le nombre d’experts MoE sur la page Tokens pour les quantifications Mixtral, DeepSeek et Qwen3 MoE. Les variantes CUDA, Vulkan et CPU uniquement prédéfinies sont livrées pour Windows, Linux et Apple Silicon, ce qui rend KoboldCPP pour les charges de travail MoE le chemin d’installation le plus court possible.
Où il échoue : l’interface est optimisée pour l’écriture créative et les jeux de rôle, ce qui se lit comme du bruit pour le travail d’assistant direct. La découverte de modèles est manuelle : vous déposez le GGUF à côté de l’exécutable et pointez vers lui.
Tarification :
- Gratuit : binaire complet sous AGPLv3, pas de télémétrie
- Payant : aucun
Plateformes : Windows, macOS (Apple Silicon), Linux
Télécharger : koboldcpp.com ou GitHub
En bref : celui à prendre si vous refusez d’installer un framework complet. Moins agréable si vous voulez des mises à jour de modèles gérées.
6. Text Generation WebUI — meilleure interface d’utilisateur avancée
Text Generation WebUI d’Oobabooga vous permet de basculer entre les chargeurs llama.cpp, ExLlamaV2 et Transformers par modèle, ce qui compte pour MoE car chaque chargeur expose un contrôle de nombre d’experts différent. Le chargeur ExLlamaV2 a un paramètre Number of Experts per Token pour les modèles de la famille Mixtral, et le côté llama.cpp prend les remplacements via --override-kv llama.expert_used_count. Un drapeau --cpu-moe pousse les poids d’experts vers la RAM système pour les configurations de déchargement lourd.
Où il échoue : chaque chargeur a ses propres particularités, et l’application suppose que vous comprenez quel chargeur correspond à quelle quantification. La configuration au premier lancement est plus lourde que Jan ou LM Studio.
Tarification :
- Gratuit : projet complet sous AGPLv3
- Payant : aucun
Plateformes : Windows, macOS, Linux
Télécharger : GitHub
En bref : prenez-le si vous aimez régler les chargeurs et les tests A/B des quantifications. À éviter si vous voulez MoE en un seul clic.
7. vLLM — meilleur pour le débit MoE à l’échelle
vLLM est l’exécuteur vers lequel les gens se tournent quand leur configuration de chat mono-GPU se développe. La version 0.6 et ultérieures supporte le parallélisme d’experts pour Mixtral 8x22B, DeepSeek V3 et Qwen3 MoE via --enable-expert-parallel, avec parallélisme de tenseurs FP8 et BF16 sur plusieurs GPUs. Le traitement par lots continu signifie que la même boîte peut servir des dizaines de demandes MoE simultanées sans le pic de latence de queue qu’un serveur naïf obtiendrait.
Où il échoue : vLLM cible Linux avec du matériel NVIDIA. Les utilisateurs de macOS et Windows passent par WSL ou un conteneur, et les configurations mono-GPU consommateur paient pour une complexité qu’ils n’utiliseront pas.
Tarification :
- Gratuit : projet Apache 2.0, installation avec
pip install vllm - Payant : rien du projet lui-même
Plateformes : Linux (natif), Windows et macOS via WSL ou Docker
Télécharger : vllm.ai ou GitHub
En bref : l’exécuteur de choix quand vous servez le trafic MoE à une équipe. Excessif pour un ordinateur portable.
8. LocalAI — remplacement le plus flexible pour MoE
LocalAI est un binaire Go qui présente une API compatible OpenAI, Anthropic et ElevenLabs et bascule les backends par modèle. Sous le capot, il enveloppe llama.cpp, vLLM, MLX, whisper.cpp et stable-diffusion, donc n’importe quel GGUF MoE que llama.cpp peut convertir s’exécute via le même endpoint qui répond à vos appels d’incrustations et TTS. Le projet a livré sa propre stratégie de quantification APEX réglée pour les rôles de tenseurs MoE, qui permet aux poids de la classe Mixtral de correspondre à la qualité Q8_0 à des tailles proches de Q4.
Où il échoue : la conception multi-backend est plus lourde qu’une application mono-exécuteur, et la configuration réside en YAML plutôt qu’une interface. Les utilisateurs de Windows et macOS utilisent Docker par défaut.
Tarification :
- Gratuit : code source sous licence MIT et images de conteneur
- Payant : aucun
Plateformes : Linux, macOS, Windows (Docker sur les trois fonctionne)
Télécharger : localai.io ou GitHub
En bref : le choix quand un endpoint doit répondre pour le chat, les incrustations, TTS et l’inférence MoE à la fois. À éviter si vous n’avez besoin que d’une fenêtre de chat.
Comment choisir le bon
Si vous n’avez jamais exécuté un modèle local, commencez par LM Studio. Les contrôles MoE sont dans l’interface, le catalogue de modèles est curé, et le premier chat Mixtral se produit en quinze minutes.
Si vous préférez la ligne de commande, Ollama est le chemin le plus court vers une Qwen3 MoE ou DeepSeek V3 en cours d’exécution. Associez-le à une interface web légère plus tard si vous voulez une fenêtre de chat.
Si vous voulez comprendre ce qui se passe sous le capot, allez directement à llama.cpp. Chaque bouton est un drapeau, et chaque architecture est documentée dans la source.
Si votre priorité est le code ouvert sans sacrifier l’interface, Jan se rapproche le plus d’un remplacement LM Studio.
Si vous refusez d’installer un framework, KoboldCPP est un exécutable sans dépendances.
Si vous jonchez déjà quatre chargeurs et les voulez sous un même toit, Text Generation WebUI est ce que vous savez déjà que vous voulez.
Si vous servez le trafic MoE à une équipe ou voulez le parallélisme d’experts sur deux GPU ou plus, vLLM est la réponse sensée.
Si vous avez besoin d’un seul endpoint compatible OpenAI qui gère également TTS, incrustations et vision aux côtés du chat MoE, exécutez LocalAI dans Docker et c’est fait.
FAQ
Quelle est la meilleure application gratuite pour exécuter des modèles MoE LLM sur bureau ? Ollama pour les utilisateurs en ligne de commande, LM Studio pour tous les autres. Les deux sont gratuits pour un usage personnel et commercial, tous deux supportent Mixtral, DeepSeek V3 et Qwen3 MoE d’usine, et tous deux restent au rythme des nouvelles versions MoE dans un délai de quelques semaines après llama.cpp upstream.
Le matériel consommateur peut-il vraiment exécuter un modèle 295B comme Tencent Hy3 ? Oui, avec des avertissements. Hy3 n’active que 21B de ses 295B paramètres par token, donc le débit se lit plus près d’un modèle dense 21B qu’un 295B. Vous avez toujours besoin de suffisamment de RAM système pour contenir les poids quantifiés complets, environ 180 Go pour une quantification Q4, donc une station de travail avec 256 Go de DDR5 et une GPU 24 Go est le point d’entrée actuel.
Quelle est la différence entre Ollama et LM Studio pour les modèles MoE ? Ollama est un daemon CLI avec un serveur REST et un registre de modèles curé. LM Studio est une application de bureau avec une interface de chat, un écran de chargement avec un curseur Number of Experts explicite, et un serveur qui bascule. Les deux enveloppent des backends similaires à base de llama.cpp. Choisissez Ollama si vous scriptiez votre flux de travail, LM Studio si vous voulez des contrôles visuels.
llama.cpp supporte-t-il Tencent Hy3 et d’autres nouvelles architectures MoE ? llama.cpp ajoute généralement une nouvelle architecture MoE dans les 2 à 4 semaines suivant la sortie du modèle. Mixtral, Qwen3MoE et DeepSeekMoE ont tous atterri peu de temps après les sorties de modèles, et Hunyuan-A13B a un chemin llama.cpp recommandé dans la propre documentation de Tencent. Hy3, livré le 6 juillet 2026, a des GGUF communautaires et fusionne au upstream dans la même fenêtre de 2 à 4 semaines.
Ai-je besoin d’un GPU pour exécuter un modèle MoE localement ? Pas strictement. llama.cpp, KoboldCPP, Ollama et LocalAI supportent tous l’inférence CPU uniquement et le déchargement d’experts froids, donc une station de travail avec 128 Go ou plus de RAM peut exécuter des quantifications MoE plus petites à des vitesses lisibles. Une GPU moderne avec 12 à 24 Go de VRAM plus déchargement RAM système est où l’expérience devient agréable.
Quel exécuteur MoE a la meilleure API compatible OpenAI ? Pour une seule machine, LM Studio et Ollama exposent des endpoints OpenAI Chat Completions propres sans config. Pour une équipe ou une flotte, le serveur vLLM offre le débit le plus élevé et le parallélisme d’experts natif. LocalAI coud plusieurs backends derrière une API de style OpenAI, ce qui est utile quand le chat, les incrustations et la vision doivent partager une seule URL.
