Geoffrey Hinton × Transformers

L'architecture Transformer apporte ce que les méthodes d'apprentissage profond défendues par Hinton n'atteignaient pas seules : la modélisation des dépendances entre tous les éléments d'une séquence par auto-attention, sans récurrence, donc une parallélisation massive de l'entraînement. Elle n'apporte aucune réponse aux inquiétudes que Hinton a publiquement formulées en 2023 sur la maîtrise de ces systèmes — l'échelle n'est pas la sûreté.

Architecture encodeur-décodeur fondée sur l'attention multi-têtes et des réseaux à propagation avant, avec connexions résiduelles et normalisation à chaque bloc, résolvant les problèmes de gradient évanescent des réseaux récurrents sur les longues séquences ; elle repose sur la rétropropagation dont Hinton est coauteur en 1986.

Le coût de l'auto-attention croît quadratiquement avec la longueur de séquence, ce qui contraint contexte et calcul : les travaux d'efficacité restent le principal levier. Le second est l'interprétabilité, condition pour transformer l'alerte de Hinton en critères techniques vérifiables plutôt qu'en position d'autorité.

Observation et pilotage de recherche : l'architecture est un objet d'ingénierie, l'interaction pertinente est le débat public et normatif sur ses conditions de déploiement.

○Non remplaçable à horizon prévisible

1. 1.Learning representations by back-propagating errors (Rumelhart, Hinton, Williams, Nature, 1986)primaire
2. 2.Vaswani et al., « Attention Is All You Need », NIPS 2017primaire12/06/2017
3. 3.Transformeur — Wikipédiasecondaire