Aller au contenu
ATLAS Humain × IA

Référentiel B — capacité IA

Gradient Boosting (XGBoost/LightGBM/CatBoost)

Data science / modèles prédictifsMéthode formalisée par Jerome Friedman (1999). Les implémentations XGBoost, LightGBM et CatBoost qui donnent son nom à la fiche ne sont nommées par aucune source de celle-ci : leurs dates et leurs éditeurs restent à tracer.documentéVérifié le

Architecture

Méthode d'ensemble séquentielle construisant successivement des arbres de décision faibles, chacun corrigeant les erreurs résiduelles des arbres précédents par descente de gradient

Capacités clés

  • Combinaison additive d'apprenants faibles, généralement des arbres de décision, optimisée par descente de gradient sur la fonction de perte (Friedman, 1999)
  • Régularisation par rétrécissement du pas d'apprentissage, sous-échantillonnage et limitation de la profondeur des arbres, contre le surapprentissage
  • Employée en production dans les moteurs de classement (« learning to rank ») de Yahoo et Yandex

Usages documentés par secteur

IndustrieTRL non déterminableDiffusion standard

Modèle de référence dans la majorité des compétitions et applications de data science sur données tabulaires

  • « Learning to rank » dans les moteurs de recherche commerciaux Yahoo et Yandex
  • Physique des hautes énergies au LHC, où des variantes de gradient boosting reproduisent les résultats de méthodes non fondées sur l'apprentissage
  • Évaluation de la qualité de réservoirs gréseux en géologie

Sources de cet usage

  1. 1.Gradient boosting — Wikipedia (EN)secondaire

GouvernementTRL non déterminableDiffusion émergente

Modèles prédictifs sur données administratives structurées pour l'aide à la décision publique

Sources de cet usage

  1. 1.Gradient boosting — Wikipedia (EN)secondaire

Limites connues

La source relève que le boosting « sacrifices intelligibility and interpretability » : suivre plusieurs centaines d'arbres est bien plus difficile que de lire un arbre unique. Elle documente également le besoin de régularisation contre le surapprentissage — rétrécissement du pas, sous-échantillonnage, limitation de la profondeur, pénalisation de la complexité.

Débats documentés

Aucune autre fiche du référentiel ne nomme celle-ci, et celle-ci n'en nomme aucune. Ce n'est pas un signe d'accord : c'est un silence documentaire, et il se comble en écrivant les limites de la fiche avec des noms.

Sources

  1. 1.Gradient boosting — Wikipedia (EN)secondaire

Analyses de gap citant cette fiche

Fiches connexes — Data science / modèles prédictifs

Données brutes de cette fiche : /api/fiches/gradient-boosting-xgboost-lightgbm-catboost — voir la méthodologie.