Adapter un modèle IA
Objectifs
- Comprendre l'architecture Transformer et le cycle de vie d'un modèle de langage
- Choisir entre prompt, RAG et fine-tuning selon son besoin
- Préparer un dataset métier et fine-tuner un modèle open source avec LoRA / QLoRA
- Évaluer le modèle spécialisé et le déployer en local
Au programme
- Jour 1 — Tokenisation et attention, encodeurs et décodeurs, écosystème Hugging Face, choix de stratégie, préparation et anonymisation du dataset
- Jour 2 — Fine-tuning d'un classifieur, LoRA et QLoRA sur un LLM, évaluation métier, export GGUF et exécution avec Ollama
Public & prérequis
Data scientists, ingénieurs ML, développeurs et équipes R&D. Bonne maîtrise de Python et notions de machine learning requises. GPU fourni en cloud si nécessaire.
Objectifs
- Comprendre l'architecture Transformer et le cycle de vie d'un modèle de langage
- Choisir entre prompt, RAG et fine-tuning selon son besoin
- Préparer un dataset métier et fine-tuner un modèle open source avec LoRA / QLoRA
- Évaluer le modèle spécialisé et le déployer en local
Au programme
- Jour 1 — Tokenisation et attention, encodeurs et décodeurs, écosystème Hugging Face, choix de stratégie, préparation et anonymisation du dataset
- Jour 2 — Fine-tuning d'un classifieur, LoRA et QLoRA sur un LLM, évaluation métier, export GGUF et exécution avec Ollama
Public & prérequis
Data scientists, ingénieurs ML, développeurs et équipes R&D. Bonne maîtrise de Python et notions de machine learning requises. GPU fourni en cloud si nécessaire.