Un article XDA cette semaine décrivait un scénario où un rédacteur a fourni à un modèle auto-hébergé ses propres fichiers Docker Compose et a reçu une liste de trous de sécurité qu’il n’avait jamais remarqués : un port exposé, un montage qui accordait plus qu’il ne le devrait, un conteneur s’exécutant en tant que root sans raison. C’est la proposition de valeur pour les LLM locaux dans le travail de sécurité. Le code, la configuration et l’environnement restent sur la machine, le modèle n’envoie jamais le code source à un fournisseur, et un examen qui aurait autrefois exigé une liste de contrôle et une demi-journée de travail prend maintenant le temps d’une pause-café. Les meilleures applications LLM locales pour les audits de code et de configuration ci-dessous sont les sept qui rendent réellement ce flux de travail possible sur Windows, macOS et Linux.
Nous avons sélectionné des applications qui s’exécutent sur du matériel grand public, fonctionnent avec la vague actuelle de modèles de poids ouvert suffisamment bons pour raisonner sur le code (Llama 3.3, Qwen 2.5 Coder, DeepSeek Coder V3, Mistral Small, Phi-4), et qui soit exposent une API pour les audits scriptés, soit livrent une interface de chat qui vaut la peine d’être utilisée.
Ce qu’il faut rechercher dans une application LLM locale pour les travaux de sécurité
Local signifie local, mais l’application autour du modèle décide toujours ce que vous pouvez en faire.
- Une liste de modèles qui inclut les modèles de codeurs de poids ouvert actuels, pas seulement Llama 2 quantisé.
- Une API locale compatible avec OpenAI afin que les scripts d’audit et CI puissent l’appeler sans verrouillage du fournisseur.
- Un mode de récupération ou de document qui peut traiter tout un référentiel ou un fichier Compose, pas un seul extrait à la fois.
- L’appel de fonction ou d’outil pour les modèles qui le supportent, afin que les audits puissent se chaîner aux blâmes git ou aux listes de fichiers.
- Une approche calme de la télémétrie, et un chemin d’installation hors ligne qui survive sur une machine déconnectée du réseau.
- Des valeurs par défaut sensées pour la longueur du contexte et le déchargement GPU afin que vous ne configuriez pas les drapeaux llama.cpp pendant une heure.
Comparaison rapide
| Application | Meilleure pour | Plan gratuit | Forfait payant | API |
|---|---|---|---|---|
| LM Studio | Utilisateurs orientés vers l’interface qui veulent aussi une API | Oui | Gratuit | Oui |
| Ollama | Utilisateurs CLI-first, scripts et CI | Oui | Gratuit | Oui |
| Jan | Stack entièrement open-source, libre d’Ollama | Oui | Gratuit | Oui |
| GPT4All | Récupération sur les documents locaux dès le premier jour | Oui | Gratuit | Limité |
| Continue | Audits natifs d’IDE dans VS Code et JetBrains | Oui | Forfait payant facultatif | Oui |
| Msty | Une application qui parle aux modèles locaux et cloud | Oui | Forfait payant facultatif | Oui |
| Open WebUI | Chat d’équipe auto-hébergé sur Ollama ou vLLM | Oui | Gratuit | Oui |
Les applications
1. LM Studio
LM Studio transforme l’hébergement de modèles locaux en quelque chose qu’un utilisateur sans CLI peut exécuter. Le catalogue de modèles pointe directement vers Hugging Face, les quantifications sont étiquetées avec la VRAM attendue, et le serveur intégré expose un point de terminaison compatible avec OpenAI sur localhost. C’est ce qui le rend utile pour les travaux de sécurité : vos scripts d’audit peuvent l’appeler comme ils le feraient avec OpenAI, sans wrapper nécessaire, et le code source reste sur la machine. Sortie structurée, appel de fonction sur les modèles qui le supportent, et une interface de chat qui gère bien l’examen de code multi-tours.
Où il s’arrête court : ce n’est pas open-source, et son modèle économique vaut la peine d’être compris avant de le déployer à grande échelle. Les rapports de mémoire et les diagnostics pour les charges bloquées peuvent être rares.
Tarification :
- Gratuit : application complète, usage personnel
- Payant : licence commerciale sur demande
Plateformes : Windows, macOS, Linux
Télécharger : lmstudio.ai
Conclusion : le point de départ le plus fort si vous voulez l’interface utilisateur et l’API d’un seul installateur.
2. Ollama
Ollama est la norme CLI-first pour extraire un modèle et le servir localement. ollama run qwen2.5-coder:14b vous donne un modèle de codage fonctionnant en une seule commande ; le même démon expose une API HTTP que la moitié de l’écosystème LLM cible maintenant par défaut. Pour un script d’audit qui lit un fichier Compose, demande au modèle les problèmes et rédige un rapport, Ollama est le chemin le plus court de zéro à l’exécution.
Où il s’arrête court : l’interface de chat intégrée est intentionnellement minimale ; si vous voulez une vraie interface, vous associez Ollama à Open WebUI ou Msty. La gestion des modèles se fait par étiquette plutôt que par chemin explicite, ce que certaines équipes conscientes de la sécurité préfèrent plus de contrôle.
Tarification :
- Gratuit : application complète
- Payant : tier cloud pour les modèles hébergés
Plateformes : Windows, macOS, Linux
Télécharger : ollama.com
Conclusion : le choix lorsque le flux de travail est scripté, et le choix pour s’associer à une interface quand il ne l’est pas.
3. Jan
Jan est l’alternative entièrement open-source à LM Studio. Même forme : un runtime de modèle local, un serveur compatible avec OpenAI, une interface de chat et un catalogue de modèles lié à Hugging Face. La différence est la licence et la capacité d’inspecter et de modifier la pile entière. Les équipes de sécurité qui doivent justifier ce qui s’exécute sur le point de terminaison ont tendance à le préférer.
Où il s’arrête court : le catalogue des modèles et la détection des nouvelles quantifications sont légèrement en retard sur LM Studio, bien que l’écart se rétrécisse à chaque version. Les extensions rattrapent toujours.
Tarification :
- Gratuit : application complète
- Payant : non applicable
Plateformes : Windows, macOS, Linux
Télécharger : jan.ai
Conclusion : le choix lorsque vous devez voir et auditer le runtime lui-même, pas seulement la sortie du modèle.
4. GPT4All
GPT4All a passé plus de temps que la plupart de ses pairs à la récupération de documents, et cela se voit dans la fonction LocalDocs. Vous lui pointez un dossier de fichiers Compose, de modèles IaC ou le référentiel entier, et l’application crée un index local à partir duquel le chat extrait. C’est la bonne forme pour un examen de sécurité qui s’étend sur une base de code, pas un seul extrait.
Où il s’arrête court : la surface de l’API est plus étroite que LM Studio ou Ollama. Les performances du modèle dans l’application sont correctes mais l’écosystème autour est plus petit que les leaders de cette liste.
Tarification :
- Gratuit : application complète
- Payant : forfait support entreprise
Plateformes : Windows, macOS, Linux
Télécharger : nomic.ai/gpt4all
Conclusion : le choix lorsque l’audit s’étend sur un référentiel et que vous voulez la récupération intégrée.
5. Continue
Continue est le compagnon LLM local qui vit à l’intérieur des IDE VS Code et JetBrains. Pointez-le vers Ollama, LM Studio ou un vLLM auto-hébergé, et vous obtenez des explications en ligne, des suggestions de refactorisation et un chat qui peut voir votre fichier ouvert. Pour l’audit de sécurité, c’est la surface naturelle : mettez en surbrillance une fonction, demandez ce qui pourrait mal tourner, puis exécutez le même invite sur un fichier entier. L’extension est open-source et la configuration vit dans un simple fichier JSON que vous pouvez examiner.
Où il s’arrête court : cela dépend de vous fournissant l’hôte du modèle. Ce n’est pas un endroit pour exécuter un modèle, c’est un endroit pour en utiliser un. C’est une fonctionnalité pour l’équipe de sécurité ; c’est une étape pour un hobbyiste.
Tarification :
- Gratuit : extension open-source
- Payant : tier d’équipe facultatif
Plateformes : Windows, macOS, Linux (via VS Code ou JetBrains)
Télécharger : continue.dev
Conclusion : le choix pour apporter les audits LLM locaux à l’éditeur dans lequel vous travaillez déjà.
6. Msty
Msty est l’application de chat du pragmatiste : une interface unique qui parle à Ollama, LM Studio et aux API distantes. C’est utile pour un flux de travail de sécurité qui exécute un petit modèle localement pour le volume et un modèle cloud plus grand pour la dernière étape d’une conclusion difficile. L’affichage divisé et le chat de modèle parallèle rendent les audits comparatifs rapides.
Où il s’arrête court : l’application n’est pas open-source. La valeur réside dans l’UX plutôt que dans le runtime du modèle, donc le choix a du sens quand une bonne UX est la contrainte.
Tarification :
- Gratuit : application complète pour usage personnel
- Payant : tier Aura facultatif pour les fonctionnalités avancées
Plateformes : Windows, macOS, Linux
Télécharger : msty.app
Conclusion : le choix lorsque l’équipe exécute déjà Ollama et veut simplement un meilleur client de chat sur le dessus.
7. Open WebUI
Open WebUI est le chat d’équipe auto-hébergé qui transforme Ollama ou vLLM en quelque chose que toute l’équipe peut utiliser. Connexion, accès au modèle par utilisateur et RAG sur les documents sont tous ici. Pour une équipe de sécurité, cela signifie un hôte de modèle on-prem servant des audits à chaque examinateur via une interface partagée, avec télémétrie et contrôle par utilisateur.
Où il s’arrête court : c’est un service auto-hébergé, donc la configuration dépend de vous. La surface d’audit est le chat et les documents plutôt qu’un pipeline API scripté, que l’Ollama sous-jacent expose pour que vous stratifiiez.
Tarification :
- Gratuit : open-source
- Payant : non applicable
Plateformes : auto-hébergé (accès au navigateur depuis n’importe quel OS)
Télécharger : openwebui.com
Conclusion : le choix lorsque les audits sont une activité d’équipe, pas une seule.
Comment choisir le bon
- Si vous voulez l’interface utilisateur plus l’API d’un seul installateur : LM Studio.
- Si les audits seront scriptés et exécutés par CI : Ollama.
- Si vous devez exécuter open-source de haut en bas : Jan.
- Si la récupération sur un référentiel entier importe : GPT4All.
- Si les audits doivent vivre à l’intérieur de l’IDE : Continue au-dessus d’Ollama.
- Si une excellente UX de chat est ce qui déverrouille le flux de travail : Msty.
- Si l’équipe a besoin d’une surface d’examen partagée : Open WebUI au-dessus d’Ollama.
FAQ
Un LLM local peut-il vraiment trouver des trous de sécurité qu’un analyseur statique manque ?
Oui et non. Un analyseur statique est déterministe et capture mieux les modèles connus qu’un LLM. Un LLM local capture la sémantique : quel montage accorde plus que nécessaire, quel port n’a aucune raison d’être exposé, quelle variable d’environnement révèle un secret. Les deux ensemble sont plus forts que l’un ou l’autre seul ; traitez le LLM comme un examinateur, pas un scanner.
Quel modèle ouvert est le meilleur pour auditer le code aujourd’hui ?
Pour 24 Go de VRAM, Qwen 2.5 Coder 32B et DeepSeek Coder V3 sont les valeurs exceptionnelles actuelles. Pour 16 Go, Qwen 2.5 Coder 14B ou Llama 3.3 70B avec une faible quantification. Pour 8 Go, Phi-4 ou Qwen 2.5 Coder 7B retournent toujours des évaluations utiles. Le paysage change mois après mois ; choisissez un runtime et échangez des modèles au fur et à mesure qu’ils arrivent.
Ces applications envoient-elles quelque chose vers le cloud ?
Les modèles s’exécutent localement sur les sept. Certaines applications font de la télémétrie (rapports de plantage, utilisation des fonctionnalités) sauf s’ils sont désactivés. Lisez la documentation de télémétrie de l’application et désactivez ce que vous ne voulez pas. Ollama, Jan et GPT4All sont les plus stricts en matière de maintien hors ligne.
Puis-je en utiliser un sur une machine déconnectée du réseau ?
Ollama, Jan et GPT4All supportent tous une installation entièrement hors ligne si vous chargez les fichiers de modèle. LM Studio le peut, bien que le catalogue de modèles s’attende à Internet. Open WebUI s’exécute sur votre propre matériel et ne nécessite pas de connectivité externe une fois configuré.
Quelle est la différence entre l’exécution d’un modèle dans Continue par rapport à LM Studio ?
Continue n’exécute pas le modèle lui-même ; c’est un client qui parle à un serveur local (Ollama, LM Studio, vLLM) à l’intérieur de votre IDE. LM Studio est le serveur. Associez-les : exécutez LM Studio ou Ollama, connectez Continue à celui-ci et auditez le code à l’intérieur de l’éditeur.
