Transformer
Aussi appelé : architecture Transformer · Transformers · réseau de neurones Transformer · modèle Transformer
Terme IA
Avancé
🧠 Concepts fondamentaux
En bref
Le Transformer est une architecture de réseau de neurones basée sur le mécanisme d'attention, permettant de traiter des données séquentielles en parallèle pour capturer les relations contextuelles globales dans un texte.
📖 Définition
Le Transformer est une architecture de réseau de neurones introduite en 2017 par des chercheurs de Google, et c'est la fondation de pratiquement tous les grands modèles de langage actuels comme GPT, Claude et Gemini. Son innovation clé est le mécanisme d'attention, qui permet au modèle de regarder toutes les parties d'un texte en même temps plutôt que mot par mot. Cela rend le traitement beaucoup plus rapide et efficace, surtout pour comprendre les relations entre des mots éloignés dans une phrase. Le nom vient du titre de l'article fondateur : Attention Is All You Need.
💬 En termes simples
C'est une machine capable de lire une phrase entière d'un coup et de comprendre les relations entre tous les mots simultanément.
🎯 Exemple concret
Comprendre que le mot « avocat » désigne le fruit ou le métier selon les autres mots de la phrase.
💡 Le saviez-vous ?
C'est l'architecture révolutionnaire (le « T » de GPT) inventée par Google en 2017 qui a tout changé.
❓ Questions fréquentes
Pourquoi l'architecture Transformer a-t-elle révolutionné l'IA ?
Avant le Transformer, les modèles lisaient les textes mot après mot, ce qui était lent et limitait la mémoire à court terme. Le Transformer traite tout le bloc de texte d'un coup, permettant à l'IA de comprendre le lien entre un pronom au début d'un paragraphe et son sujet à la fin.
Quel est le rôle du mécanisme d'attention dans cette architecture ?
C'est ce qui permet au modèle de donner plus d'importance (de « porter attention ») aux mots les plus pertinents pour comprendre le sens d'une phrase. Par exemple, dans la phrase « la banque est fermée car elle est inondée », l'attention aide l'IA à comprendre que « elle » se rapporte à « la banque ».
Quelles sont les limites techniques des Transformers ?
Ils sont extrêmement gourmands en mémoire vive, car le coût de calcul augmente de façon quadratique avec la longueur du texte. C'est pourquoi la fenêtre de contexte des modèles a longtemps été limitée, bien que de nouvelles variantes plus efficaces soient développées pour traiter des documents entiers.
📚 Sources
- Google Research - Attention Is All You Need (Ashish Vaswani et al., 2017)
- Wikipedia - Transformer (machine learning model) (Wikipedia, 2024)
📰 Dans l'actualité
- Profiling de l'algorithme d'attention dans PyTorch (il y a 2 mois)
- Transformers backend pour vLLM : performances natives optimisées (il y a 2 mois)
- NVIDIA NeMo AutoModel booste le fine-tuning des modèles MoE (il y a 2 mois)
- Google perd ses talents IA clés et 270 milliards en bourse (il y a 2 mois)
- Perspectives divergentes sur l'IA : LeCun, Hassabis et Vinyals (il y a 3 mois)