Un rédacteur XDA-Developers a passé un week-end à connecter son serveur Docker à une pile de LLM locaux et s’en est allé avec une station de travail qui se gère maintenant d’elle-même. La leçon que le morceau fait discrètement est celle qui compte : Docker est la bonne unité de travail pour l’IA locale. Tirez une image de serveur de modèles, tirez une UI, collez-les avec un fichier compose, et le tout est reproductible sur les machines et les redémarrages. Plus de fouille dans l’archéologie virtualenv Python après la prochaine mise à jour CUDA.
Nous avons testé les meilleures applications pour les flux de travail LLM auto-hébergés qui correspondent à ce modèle. Chaque choix sur cette liste est livré avec une image officielle, maintient l’état via un volume nommé, et s’insère dans un fichier compose à côté de Postgres, Redis et un proxy inverse sans surprise. Nous avons évalué les choses ennuyeuses : à quelle vitesse un docker compose up frais atteint un chat fonctionnel, comment le passthrough GPU fonctionne proprement, si l’image fonctionne bien avec Docker sans root et Podman, et combien chaque conteneur fuit quand un modèle plante.
Ce qu'il faut chercher dans une pile LLM auto-hébergée
Quelques traits séparent les conteneurs qui obtiennent une place permanente dans votre fichier compose de ceux qui sont arrachés après une semaine :
- Compatibilité OpenAI-API. Le format de câble de facto. Si un conteneur le parle, chaque client existant (extension éditeur, framework d’agent, notebook) fonctionne sans changements de code.
- Image Docker officielle. Les images construites par le responsable sont reconstruites lors de divulgations de CVE et étiquetées par rapport aux versions en amont. Les forks communautaires prennent du retard et dérivent.
- Passthrough GPU. NVIDIA Container Toolkit sur Linux, ROCm où pris en charge, Apple Silicon via l’inférence d’hôte. Les images les plus solides documentent l’invocation exacte de
--gpus allet sont livrées avec des valeurs par défaut sensées. - Conventions de volume persistant. Les modèles sont volumineux. Un point de montage prévisible (
/root/.ollama,/app/backend/data) garde votredocker-compose.ymlcourt et vos sauvegardes simples. - OpenTelemetry et journalisation structurée. Tout ce qui s’exécute en production a besoin de traces et de journaux JSON dès le départ, pas seulement du bavardage stdout.
- Authentification multi-utilisateurs. Un home lab dépasse le mode mono-utilisateur au moment où une deuxième personne veut entrer. SSO, OIDC ou au moins le vrai hachage de mot de passe compte.
Comparaison rapide
| Application | Couche | Plan gratuit | Tier payant | Image Docker |
|---|---|---|---|---|
| Ollama | Serveur de modèles | Oui (open source) | Aucun | ollama/ollama |
| Open WebUI | Chat UI | Oui (open source) | Aucun | ghcr.io/open-webui/open-webui |
| LocalAI | Serveur de modèles (multimodal) | Oui (open source) | Aucun | localai/localai |
| LiteLLM | Passerelle / proxy | Oui (open source) | Entreprise | ghcr.io/berriai/litellm |
| vLLM | Inférence de production | Oui (open source) | Aucun | vllm/vllm-openai |
| Text Generation WebUI | UI de bricoleur | Oui (open source) | Aucun | atinoda/text-generation-webui |
| AnythingLLM | Espace de travail full-stack | Oui (open source) | Plan hébergé | mintplexlabs/anythingllm |
Les 7 meilleures applications pour LLM auto-hébergé avec Docker en 2026
1. Ollama — meilleur serveur de modèles pour le home lab
Ollama est ce qu’il y a de plus proche du « Docker pour LLM ». L’image officielle est petite, le daemon expose une API compatible OpenAI sur localhost:11434, et un simple docker exec ollama ollama pull llama3.2 est tout ce qu’il faut pour ajouter un modèle. La bibliothèque couvre 4500+ compilations marquées parmi les familles populaires avec des quants par défaut sensés, et l’histoire du GPU est bien documentée pour les hôtes NVIDIA et AMD.
Où il est défaillant : Ollama est un runtime, pas une application de chat. L’image n’est pas livrée avec une UI, vous la jumelez donc avec Open WebUI ou un autre front-end. Le format Modelfile est puissant mais introduit une étape de construction quand vous voulez une invite système personnalisée.
Tarification :
- Gratuit : open-source, pas de frais de licence
- Payant : aucun
Plates-formes : Conteneur Linux ; s’exécute sur les hôtes Windows, macOS et Linux via Docker.
Télécharger : ollama.com
Conclusion : Choisissez Ollama comme couche de serveur de modèles pour tout pile auto-hébergée. Rien d’autre n’est si facile à enfoncer dans un fichier compose.
2. Open WebUI — meilleur chat UI à mettre devant Ollama
Open WebUI est le front-end que la communauté Ollama a standardisé. Le conteneur est livré avec une interface élégante de style ChatGPT avec des comptes multi-utilisateurs, le changement de modèle par conversation, RAG sur les documents téléchargés, le support des outils MCP et un système d’extensions qui ajoute la génération d’images, la recherche Web et l’interprétation de code. L’image officielle fonctionne directement derrière un proxy inverse avec HTTPS et OIDC.
Où il est défaillant : Il suppose un backend séparé, il ne fonctionne donc jamais seul. La surface des paramètres est large, ce qui peut accabler les administrateurs novices qui veulent juste une boîte de chat.
Tarification :
- Gratuit : open-source, pas de frais de licence
- Payant : aucun
Plates-formes : Conteneur Linux ; s’exécute sur les hôtes Windows, macOS et Linux via Docker.
Télécharger : openwebui.com
Conclusion : Choisissez Open WebUI comme couche chat-UX pour un usage domestique ou petit groupe. C’est l’interface la plus propre basée sur navigateur de la catégorie.
3. LocalAI — meilleur drop-in multimodal pour OpenAI
LocalAI est un remplacement drop-in pour l’API OpenAI qui gère le texte, l’image, l’audio et les embeddings via un seul endpoint. Un seul conteneur peut servir une complétion de chat Llama, une transcription Whisper, une image Stable Diffusion et un appel de sentence-embedding sans jongler avec des services séparés. Les paquets de modèles s’installent avec une seule ligne, et le projet est livré avec des images GPU pour CUDA et ROCm.
Où il est défaillant : L’ampleur coûte en débit. Une charge de travail qui frappe une modalité s’exécute souvent plus vite sur un serveur dédié (vLLM pour le texte, un conteneur de diffusion séparé pour l’image). La configuration est lourde en YAML, ce qui fait trébucher les débutants.
Tarification :
- Gratuit : open-source, pas de frais de licence
- Payant : aucun
Plates-formes : Conteneur Linux ; s’exécute sur les hôtes Windows, macOS et Linux via Docker.
Télécharger : localai.io
Conclusion : Choisissez LocalAI quand un conteneur doit servir plusieurs modalités derrière une seule URL compatible OpenAI.
4. LiteLLM — meilleure passerelle pour pile mixte
LiteLLM est un proxy léger qui mappe 100+ fournisseurs (OpenAI, Anthropic, Vertex, Bedrock, Ollama, vLLM, LocalAI) sur une API compatible OpenAI. Déposez-le devant vos backends locaux et vos clés API distantes, pointez chaque client vers le proxy, et vous obtenez la journalisation unifiée, les budgets, les clés par utilisateur, les limites de débit et les règles de routage en un seul endroit. Le conteneur est petit et l’interface admin est compétente.
Où il est défaillant : L’image gratuite a tout ce dont la plupart des home labs ont besoin, mais SSO, les journaux d’audit et certains routages avancés sont derrière le tier Entreprise. La configuration via config.yaml grandit vite une fois que vous ajoutez plus de quelques modèles.
Tarification :
- Gratuit : auto-hébergement open-source
- Payant : Plan Entreprise avec SSO, journalisation d’audit et support
Plates-formes : Conteneur Linux ; s’exécute sur les hôtes Windows, macOS et Linux via Docker.
Télécharger : litellm.ai
Conclusion : Choisissez LiteLLM au moment où votre pile compte plus de deux backends. Le modèle de passerelle est ce qui garde le reste du système sain.
5. vLLM — meilleur moteur d’inférence pour charge de production
vLLM est le serveur d’inférence haut débit auquel la plupart des équipes se tournent quand le trafic devient réel. PagedAttention et le batching continu poussent les tokens par seconde bien au-delà des serveurs naïfs sur le même matériel, et l’API compatible OpenAI signifie que les clients existants fonctionnent sans changement. L’image officielle vllm/vllm-openai est celle à puller, et le projet documente les combinaisons exactes de driver NVIDIA et CUDA qui fonctionnent.
Où il est défaillant : L’image est grande. Le serveur s’attend à une GPU NVIDIA avec une VRAM raisonnable, donc ce n’est pas approprié pour les portables ou les hôtes CPU uniquement. La configuration penche vers « ingénieur production » plutôt que « bricoleur du week-end ».
Tarification :
- Gratuit : open-source, pas de frais de licence
- Payant : aucun
Plates-formes : Conteneur Linux ; s’exécute sur les hôtes Windows, macOS et Linux via Docker avec NVIDIA Container Toolkit.
Télécharger : vllm.ai
Conclusion : Choisissez vLLM comme serveur de modèles quand la concurrence et le débit comptent plus que le temps de configuration de cinq minutes.
6. Text Generation WebUI — meilleur terrain de jeu pour les bricoleurs
Text Generation WebUI (le projet que la plupart des gens appellent toujours oobabooga) est l’option cuisine-complète. Le conteneur regroupe plusieurs backends (Transformers, llama.cpp, ExLlamaV2), chaque échantillonneur sous le soleil, des fiches de personnage, les hooks d’entraînement LoRA et un système d’extensions qui ajoute RAG et la voix. Les chercheurs qui se soucient de l’ajustement de l’échantillonneur, du décodage contrastif ou des formats de quants obscurs atterrissent ici.
Où il est défaillant : L’image officielle est plus grande que le reste, la danse de dépendance du premier démarrage prend plus de temps, et la surface de l’interface est dense. Aucun de cela n’a d’importance si vous êtes venu pour les boutons, mais cela compte si vous voulez juste une boîte de chat.
Tarification :
- Gratuit : open-source, pas de frais de licence
- Payant : aucun
Plates-formes : Conteneur Linux ; s’exécute sur les hôtes Windows, macOS et Linux via Docker.
Télécharger : github.com/oobabooga/text-generation-webui
Conclusion : Choisissez Text Generation WebUI quand vous voulez chaque bouton exposé et une soirée pour jouer avec eux.
7. AnythingLLM — meilleur outil d’espace de travail à conteneur unique
AnythingLLM est le rares choix full-stack : une image, un volume, et le résultat est un espace de travail multi-utilisateurs avec RAG, des agents, des permissions de portée d’espace de travail et un sélecteur de modèle apportez-votre-propre-LLM ciblant Ollama, LocalAI, vLLM, OpenAI et Anthropic. Le conteneur gère la base de données vectorielle, le pipeline d’ingestion de documents, l’interface utilisateur de chat et le runtime de l’agent dans un seul processus. Pour une équipe qui veut un « ChatGPT interne avec documents » sans assembler quatre services, c’est le chemin le plus court.
Où il est défaillant : L’approche tout en un échange la flexibilité pour la simplicité. Les charges de travail RAG lourdes bénéficient d’une base de données vectorielle dédiée, et les très grands nombres d’utilisateurs dépasseront la pile groupée. Un plan hébergé existe pour les équipes qui préfèrent ne pas exploiter le conteneur eux-mêmes.
Tarification :
- Gratuit : auto-hébergement open-source
- Payant : plan hébergé avec mises à jour gérées et stockage
Plates-formes : Conteneur Linux ; s’exécute sur les hôtes Windows, macOS et Linux via Docker.
Télécharger : anythingllm.com
Conclusion : Choisissez AnythingLLM quand une équipe a besoin d’un ChatGPT privé avec documents et que « un conteneur » est le budget opérationnel.
Comment choisir le bon
Si vous exécutez un home lab en solo et voulez la pile la plus simple, exécutez Ollama plus Open WebUI derrière un proxy inverse. Deux conteneurs, un réseau, chat complet avec documents.
Si votre équipe compte plus de deux backends ou un budget que vous voulez réellement appliquer, mettez LiteLLM devant tout et pointez les clients vers le proxy.
Si la charge de travail est de qualité production (concurrence réelle, objectifs de latence réels), servez du texte avec vLLM derrière LiteLLM, et laissez Ollama ou LocalAI gérer les machines de développeur.
Si la pile a besoin de plus que du texte (transcription, génération d’images, embeddings) sur un endpoint, LocalAI maintient la surface réduite.
Si l’objectif est « ChatGPT interne d’équipe avec nos documents » et le budget opérationnel est un conteneur, AnythingLLM est la ligne la plus courte entre A et B.
Si vous êtes venu pour les boutons et une soirée d’expérience d’échantillonneur, Text Generation WebUI est construite pour vous.
FAQ
Ai-je besoin d’un GPU pour auto-héberger un LLM avec Docker ?
Pour une inférence confortable sur les modèles 7B et 14B, oui. Les conteneurs CPU uniquement fonctionnent pour les quants plus petits et l’usage occasionnel. Les hôtes NVIDIA sont le chemin le plus lisse ; le support AMD ROCm est réel mais plus étroit ; Apple Silicon exécute généralement le modèle sur l’hôte (via Ollama ou LM Studio) plutôt qu’à l’intérieur du conteneur.
Quel est le fichier compose minimum pour un LLM auto-hébergé fonctionnel ?
Deux services : un conteneur Ollama avec un volume nommé monté sur /root/.ollama et un port publié sur 11434, et un conteneur Open WebUI avec OLLAMA_BASE_URL défini sur le service Ollama. Le tout tient en environ 25 lignes de YAML.
Quel conteneur dois-je mettre devant tous les autres ?
Une passerelle comme LiteLLM, derrière un proxy inverse (Caddy, Traefik ou nginx) qui gère HTTPS. Les clients frappent le proxy avec une URL de base et une clé. LiteLLM achemine vers Ollama, vLLM ou n’importe quel fournisseur distant selon le nom du modèle.
Puis-je partager un LLM auto-hébergé avec plusieurs personnes ?
Oui. Open WebUI et AnythingLLM supportent tous deux les comptes multi-utilisateurs avec contrôle d’accès basé sur les rôles et les permissions par espace de travail. Associez l’un ou l’autre avec LiteLLM si vous voulez aussi des clés API par utilisateur pour l’accès programmatique.
Comment faire persister les modèles et l’historique de chat entre les redémarrages de conteneur ?
Montez les volumes nommés aux chemins documentés : /root/.ollama pour les modèles Ollama, /app/backend/data pour l’état Open WebUI, /app/server/storage pour AnythingLLM. Sauvegardez ces volumes comme n’importe quel autre répertoire de données ; les fichiers de modèle sont la plus grande partie d’un ordre de magnitude.
L’auto-hébergement d’un LLM avec Docker est-il vraiment moins cher qu’utiliser une API ?
Cela dépend du volume. Une RTX 3090 d’occasion plus l’électricité bat les prix des API hébergés une fois que votre équipe génère plus de quelques centaines de milliers de tokens par jour. Au-dessous de cela, les API hébergées sont généralement moins chères que le matériel amorti. L’auto-hébergement gagne sur la confidentialité et la prévisibilité avant de gagner sur les coûts.
