Deployer un LLM en local
Objectifs
- Comprendre les enjeux d'un LLM local : confidentialité, RGPD, souveraineté et coûts
- Choisir le bon modèle open-weight (Mistral, Llama, Qwen, Gemma…) et dimensionner son matériel
- Installer et exploiter un LLM sur son poste avec Ollama, LM Studio et Open WebUI
- Interroger le modèle depuis Python et l'appliquer à ses propres documents (RAG local, 100 % hors ligne)
Au programme
- Matin — Pourquoi un LLM local, choix du modèle et quantification, installation d'Ollama et LM Studio
- Après-midi — Interface d'équipe Open WebUI, API compatible OpenAI en Python, assistant documentaire hors ligne, sécurité et bonnes pratiques
Public & prérequis
DSI, développeurs, data analysts, responsables innovation et métiers soumis à la confidentialité (juridique, santé, finance).
Aisance informatique requise ; notions de Python recommandées. Poste 16 Go de RAM minimum.
Objectifs
- Comprendre les enjeux d'un LLM local : confidentialité, RGPD, souveraineté et coûts
- Choisir le bon modèle open-weight (Mistral, Llama, Qwen, Gemma…) et dimensionner son matériel
- Installer et exploiter un LLM sur son poste avec Ollama, LM Studio et Open WebUI
- Interroger le modèle depuis Python et l'appliquer à ses propres documents (RAG local, 100 % hors ligne)
Au programme
- Matin — Pourquoi un LLM local, choix du modèle et quantification, installation d'Ollama et LM Studio
- Après-midi — Interface d'équipe Open WebUI, API compatible OpenAI en Python, assistant documentaire hors ligne, sécurité et bonnes pratiques
Public & prérequis
DSI, développeurs, data analysts, responsables innovation et métiers soumis à la confidentialité (juridique, santé, finance). Aisance informatique requise ; notions de Python recommandées. Poste 16 Go de RAM minimum.