1 Guide d’usage du gradient boosting
Ce guide propose des recommandations sur l’usage des algorithmes de gradient boosting disponibles dans la littérature, notamment Bentéjac, Csörgő, and Martínez-Muñoz (2021).
Contrairement aux forêts aléatoires, la littérature méthodologique sur l’usages des algorithmes de gradient boosting est assez limitée et relativement peu conclusive.
. Ce guide comporte un certain nombre de choix méthodologiques forts, comme les implémentations recommandées ou la procédure d’entraînement proposée, et d’autres choix pertinents sont évidemment possibles. C’est pourquoi les recommandations de ce guide doivent être considérées comme un point de départ raisonnable, pas comme un ensemble de règles devant être respectées à tout prix.
1.1 Quelle implémentation utiliser?
Il existe quatre implémentations du gradient boosting: XGBoost, LightGBM, CatBoost et scikit-learn. Elles sont toutes des variantes optimisées de l’algorithme de Friedman (2001) et ne diffèrent que sur des points mineurs. De multiples publications les ont comparées, à la fois en matière de pouvoir prédictif et de rapidité d’entraînement (voir notamment Bentéjac, Csörgő, and Martínez-Muñoz (2021), Alshari, Saleh, and Odabaş (2021) et Florek and Zagdański (2023)). Cette littérature a abouti à trois conclusions. Premièrement, les différentes implémentations présentent des performances très proches (le classement exact variant d’une publication à l’autre). Deuxièmement, bien optimiser les hyperparamètres est nettement plus important que le choix de l’implémentation. Troisièmement, le temps d’entraînement varie beaucoup d’une implémentation à l’autre, et LightGBM est sensiblement plus rapide que les autres. Dans la mesure où l’optimisation des hyperparamètres est une étape à la fois essentielle et intense en calcul, l’efficacité computationnelle apparaît comme un critère majeur de choix de l’implémentation. C’est pourquoi le présent document décrit et recommande l’usage de LightGBM. Ceci étant, les trois autres implémentations peuvent également être utilisées, notamment si les données sont de taille limitée.
Par ailleurs, chacune de ces implémentations propose une interface de haut niveau compatible avec scikit-learn. Il est vivement recommandé d’utiliser cette interface car elle minimise les risques d’erreur, facilite la construction de modèles reproductibles et permet d’utiliser l’ensemble des outils proposés par scikit-learn.
1.2 Les hyperparamètres clés du gradient boosting
Cette section décrit en détail les principaux hyperparamètres des algorithmes de gradient boosting listés dans le tableau 1. Les noms des hyperparamètres sont ceux utilisés dans LightGBM. Les hyperparamètres portent généralement le même nom dans les autres implémentations; si ce n’est pas le cas, il est facile de s’y retrouver en lisant attentivement la documentation.
LightGBM
| Hyperparamètre | Description | Valeur par défaut |
|---|---|---|
objective |
Fonction de perte utilisée | Variable |
n_estimators ou num_trees |
Nombre d’arbres | 100 |
learning_rate ou eta |
Taux d’apprentissage | 0.1 |
max_depth |
Profondeur maximale des arbres | -1 (pas de limite) |
num_leaves |
Nombre de feuilles terminales des arbres | 31 |
min_child_samples |
Nombre minimal d’observations qu’une feuille terminale doit contenir | 20 |
min_child_weight |
Poids minimal qu’une feuille terminale doit contenir | 0.001 |
lambda ou lambda_l2 |
Pénalisation quadratique sur la valeur des feuilles terminales | 0 |
reg_alpha ou lambda_l1 |
Pénalisation absolue (L1) sur la valeur des feuilles terminales | 0 |
min_split_gain |
Gain minimal nécessaire pour diviser un noeud | 0 |
bagging_fraction |
Taux d’échantillonnage des données d’entraînement | 1 |
feature_fraction |
Taux d’échantillonnage des colonnes par arbre | 1 |
feature_fraction_bynode |
Taux d’échantillonnage des colonnes par noeud | 1 |
max_bin |
Nombre de bins utilisés pour discrétiser les variables continues | 255 |
max_cat_to_onehot |
Nombre de modalités en-deça duquel LightGBM utilise le one-hot-encoding |
4 |
max_cat_threshold |
Nombre maximal de splits considérés dans le traitement des variables catégorielles |
32 |
sample_weight |
Pondération des observations dans les données d’entraînement | 1 |
scale_pos_weight |
Poids des observations de la classe positive (classification binaire uniquement) | Aucun |
class_weight |
Poids des observations de chaque classe (classification multiclasse uniquement) | Aucun |
Il arrive fréquemment que les hyperparamètres des algorithmes de gradient boosting portent plusieurs noms. Par exemple dans LightGBM, le nombre d’arbres porte les noms suivants: num_iterations, num_iteration, n_iter, num_tree, num_trees, num_round, num_rounds, nrounds, num_boost_round, n_estimators et max_iter (ouf!). C’est une source récurrente de confusion, mais il est facile de s’y retrouver en consultant la page de la documentation sur les hyperparamètres, qui liste les alias:
Voici une présentation des principaux hyperparamètres et de leurs effets sur les performances sur le modèle de gradient boosting:
La mécanique du gradient boosting est contrôlée par seulement trois hyperparamètres (tous les autres hyperparamètres portant sur la construction des arbres pris isolément):
L’hyperparamètre
objectivedéfinit à la fois la nature du problème modélisé (régression, classification…) et la fonction de perte utilisée lors de l’entraînement du modèle. Valeur par défaut différente selon les cas, regression_l2 en cas de régression, binary_log_loss pour la classification binaire, LIEN PARTIE AVANCE. A COMPLETER.le nombre d’arbres contrôle la complexité générale de l’algorithme. Le point essentiel est que, contrairement aux forêts aléatoires, la performance du gradient boosting sur les données d’entraînement croît continûment avec le nombre d’arbres sans jamais se stabiliser. Le choix du nombre d’arbres est essentiel, et doit viser un équilibre entre augmentation du pouvoir prédictif du modèle (si les arbres supplémentaires permettent au modèle de corriger les erreurs résiduelles), et lutte contre le surajustement (si les arbres supplémentaires captent uniquement les bruits statistiques et les fluctuations spécifiques des données d’entraînement). Par ailleurs, Le choix du nombre d’arbres est très lié à celui du taux d’apprentissage, et il est nécessaire de les optimiser conjointement.
le taux d’apprentissage (learning rate) contrôle l’influence de chaque arbre sur le modèle global; il s’agit de \(\eta\) dans l’équation REFERENCE PARTIE OVERFITTING. Un taux d’apprentissage faible réduit la contribution de chaque arbre, rendant l’apprentissage plus progressif; cela évite qu’un arbre donné ait une influence trop importante sur le modèle global et contribue donc à réduire le surajustement, mais cela nécessite un plus grand nombre d’arbres pour converger vers une solution optimale. Inversement, un taux d’apprentissage élevé accélère l’entraînement mais peut rendre le modèle instable (car trop sensible à un arbre donné), entraîner un surajustement et/ou aboutir à un modèle sous-optimal. La règle générale est de privilégier un taux d’apprentissage faible (entre 0.01 ou 0.3). Le choix du taux d’apprentissage est très lié à celui du nombre d’arbres: plus le taux d’apprentissage sera faible, plus le nombre d’arbres nécessaires pour converger vers une solution optimale sera élevé. Ces deux hyperparamètres doivent donc être optimisés conjointement.
La complexité des arbres: la profondeur maximale des arbres, le nombre de feuilles terminales et le nombre minimal d’observations par feuille terminale contrôlent la complexité des weak learners: une profondeur élevée, un grand nombre de feuilles et un faible nombre d’observations par feuille terminale aboutissent à des arbres complexes au pouvoir prédictif plus élevé, mais induisent un risque de surajustement. Par ailleurs, de tels arbres sont plus longs à entraîner que des arbres peu profonds avec un nombre limité de feuilles. Il est à noter que le nombre de feuilles terminales a un effet linéaire sur la complexité des arbres, tandis que la profondeur maximale a un effet exponentiel: un arbre pleinement développé de profondeur \(k\) comprend \(2^k\) feuilles terminales et \(2^k - 1\) splits. Augmenter la profondeur d’une unité a donc pour effet de doubler le temps d’entraînement de chaque arbre.
La lutte contre le surajustement: ces hyperparamètres de régularisation jouent un rôle important dans le contrôle de la complexité des weak learners et contribuent à éviter le surajustement:
- Les pénalisations tendent à réduire le poids \(w_j\) des feuilles terminales: la pénalisation quadratique réduit la valeur absolue des poids sans les annuler (il s’agit de \(\lambda\) dans l’équation donnant le poids optimal d’une feuille terminale), tandis que la pénalisation absolue élevée pousse certains poids à être nuls. La pénalisation quadratique est la plus utilisée, notamment parce qu’elle permet d’amoindrir l’influence des points aberrants.
- Le gain minimal définit la réduction minimale de la perte requise pour qu’un nœud soit divisé (il s’agit du paramètre \(\gamma\) dans l’équation donnant le gain potentiel d’un split); une valeur plus élevée contribue à réduire la complexité des arbres et à limiter le surajustement en empêchant l’algorithme de créer des splits dont l’apport est très faible et potentiellement dû à des variations non significatives des données d’entraînement.
Les hyperparamètres d’échantillonnage:
- le taux d’échantillonnage des données d’entraînement et le taux d’échantillonnage des colonnes par noeud jouent exactement le même rôle que
sample.fractionoumax_samples, etmtrydans la forêt aléatoire: échantillonner les données d’entraînement accélère l’entraînement, et échantillonner les colonnes au niveau de chaque noeud aboutit à des arbres plus variés. Il est à noter que l’échantillonnage des données se fait systématiquement sans remise dans les algorithmes de gradient boosting. Comme pour la forêt aléatoire, la valeur optimale du taux d’échantillonnage des colonnes par noeud dépend du nombre de variables réellement pertinentes dans les données, et une valeur plus élevée est préférable si les données comprennent un grand nombre de variables binaires issues du one-hot-encoding des variables catégorielles. - L’échantillonnage des colonnes par arbre sert essentiellement à accélérer l’entraînement. Si les colonnes sont échantillonnées par arbre et par noeud, alors le taux d’échantillonnage final est le produit des deux taux.
- le taux d’échantillonnage des données d’entraînement et le taux d’échantillonnage des colonnes par noeud jouent exactement le même rôle que
Les réglages relatifs au retraitement des colonnes:
- le nombre de bins utilisés pour discrétiser les variables continues (voir partie PREPROCESSING pour le détail): un faible de bins contribue à accélérer l’entraînement (car le nombre de splits potentiels est faible), mais peut dégrader le pouvoir prédictif si de faibles variations de la variable continue ont un impact notable sur la variable-cible. Inversement, une valeur élevée permet de conserver davantage d’information sur la distribution de la variable continue, mais peut ralentir l’entraînement.
- le nombre de modalités en-deça duquel les variables catégorielles font l’objet d’un one-hot-encoding et le nombre maximal de splits considérés dans le traitement des variables catégorielles définissent la méthode utilisée pour traiter les variables catégorielles (voir partie PREPROCESSING pour le détail).
Les pondérations:
- la pondération des observations sert à pondérer les données d’entraînement (voir PARTIE USAGE AVANCE).
- le poids des observations de la classe positive sert à rééquilibrer les données d’entraînement lorsque la classe positive est sous-représentée. Cet hyperparamètre ne sert que pour la classification binaire. Par défaut les deux classes ont le même poids.
- le poids des observations de chaque classe sert à rééquilibrer les données d’entraînement lorsque la part des différentes classes est hétérogène. Cet hyperparamètre ne sert que pour la classification binaire multiclasse. Par défaut toutes les classes ont le même poids.
LightGBM et XGBoost
Une différence notable entre les versions initiales de LightGBM et XGBoost tient à la méthode de construction des arbres:
LightGBMconstruit les arbres selon une approche par feuille (dite leaf-wise): l’arbre est construit feuille par feuille, et c’est le split avec le gain le plus élevé qui est retenu à chaque étape, et ce quelle que soit sa position dans l’arbre. L’approche leaf-wise est très efficace pour minimiser la fonction de perte, car elle privilégie les splits les plus porteurs de gain, mais elle peut aboutir à un surajustement et à des arbres complexes, déséquilibrés et très profonds. L’hyperparamètre-clé de cette approche est le nombre maximal de feuilles terminales (num_leaves).XGBoostconstruit les arbres selon une approche par niveau (dite depth-wise): l’arbre est construit niveau par niveau, en divisant tous les nœuds du même niveau avant de passer au niveau suivant. L’approche depth-wise n’est pas optimale pour minimiser la fonction de perte, car elle ne recherche pas systématiquement le split le plus performant, mais elle permet d’obtenir des arbres équilibrés et de profondeur limitée. L’hyperparamètre-clé de cette approche est la profondeur maximale des arbres (max_depth).
Il se trouve que l’approche leaf-wise a été ajoutée par la suite à XGBoost, via l’hyperparamètre grow_policy qui peut prendre les valeurs depthwise (valeur par défaut) et lossguide (approche leaf-wise).
1.3 Comment entraîner un algorithme de gradient boosting?
Proposer une procédure pour l’optimisation des hyperparamètres s’avère plus délicat pour les algorithmes de gradient boosting que pour les forêts aléatoires, car ces algorithmes comprennent un nombre beaucoup plus élevé d’hyperparamètres, et la littérature méthodologique sur leur usage pratique reste assez limitée et peu conclusive (en-dehors des nombreux tutoriels introductifs disponibles sur internet). Trois constats sont néanmoins bien établis. Premièrement, bien optimiser les hyperparamètres est essentiel pour la performance du modèle final. Deuxièmement, cette optimisation est complexe et longue, il faut donc la mener de façon rigoureuse et organisée pour ne pas perdre de temps. Troisièmement, contrairement aux forêts aléatoires, les valeurs par défaut des hyperparamètres des implémentations ne constituent pas un point de départ raisonnable (Bentéjac, Csörgő, and Martínez-Muñoz (2021)), en particulier pour les hyperparamètres de régularisation dont la valeur par défaut est souvent nulle.
1.3.1 Préparer l’entraînement
Définir des valeurs de départ raisonnables pour les hyperpararamètres. Comme il est impossible d’optimiser conjointement tous les hyperparamètres, il est nécessaire de mener cette optimisation de façon itérative, en optimisant certains hyperparamètres conditionnellement aux valeurs des autres. Il est donc essentiel de retenir des valeurs de départ raisonnables pour les hyperpararamètres qui ne sont pas optimisés en premier. Ce choix prend du temps et doit reposer sur une bonne compréhension du fonctionnement de l’algorithme et sur une connaissance approfondie des données utilisées. Voici quelques suggestions de valeurs de départ (voir notamment Bentéjac, Csörgő, and Martínez-Muñoz (2021)); il est tout à fait possible de s’en écarter lorsqu’on pense que le problème modélisé le justifie:
max_depth: entre 4 et 10;num_leaves: entre 30 et 255;min_split_gain: valeur strictement positive, commencer entre 0.1 et 1;lambda: valeur strictement positive; commencer avec une valeur entre 0.5 et 2; choisir une valeur plus élevée s’il y a des valeurs aberrantes sur \(y\) ou de clairs signes de surajustement;bagging_fraction: valeur strictement inférieure à 1, commencer entre 0.6 et 0.8;feature_fraction_bynode: valeur strictement inférieure à 1, commencer entre 0.5 et 0.7; choisir une valeur plus élevée si les données comprennent un grand nombre de variables binaires issues d’un one-hot-encoding;max_bin: garder la valeur par défaut; choisir éventuellement une valeur plus élevée si la la valeur par défaut ne suffit pas à refléter la distribution des variables continues;max_cat_to_onehot: garder la valeur par défaut;max_cat_threshold: garder la valeur par défaut.
Définir le jeu de données utilisé pour la validation des hyperparamètres: indépendamment de la méthode d’optimisation des hyperparamètres (grid search, random search…), deux approches sont envisageables pour la validation des hyperparamètres: soit une validation croisée (par exemple avec la fonction
GridSearchCVdescikit-learn), soit l’utilisation d’un ensemble de validation (dite approche holdout). L’utilisation d’un ensemble de validation est recommandée si les données utilisées sont volumineuses (au-delà de plusieurs centaines de milliers d’observations) car elle offre un gain de temps appréciable pour une perte de précision souvent négligeable. La validation croisée est censée être plus robuste que l’utilisation d’un ensemble de validation, mais elle est coûteuse sur le plan computationnel (car il faut entraîner plusieurs fois un modèle pour chaque vecteur d’hyperparamètres).Utiliser l’early stopping avec l’ensemble de validation.
1.3.2 Optimiser les hyperparamètres
Voici une procédure simple pour optimiser les hyperparamètres d’un algorithme de gradient boosting. Elle ne garantit pas l’obtention d’un modèle optimal, mais elle est lisible et permet d’obtenir rapidement un modèle raisonnablement performant.
Optimiser conjointement le nombre d’arbres et le taux d’apprentissage. Le principe est le suivant: on évalue les performances de différents couples de valeurs (nombre d’arbres, taux d’apprentissage) avec des valeurs raisonnables pour les autres hyperparamètres. Il y a deux approches:
- Évaluer conjointement les couples de valeurs (nombre d’arbres, taux d’apprentissage). Par exemple, on évalue les performances du modèle en testant les valeurs
[100, 200, 500, 1000]pour le nombre d’arbres, et[0.05, 0.1, 0.15, 0.2]pour le taux d’apprentissage. On retient finalement le taux d’apprentissage et le nombre d’arbres du modèle le plus performant. Si l’un de ces hyperparamètres est la valeur minimale ou maximale testée (par exemple 1000 arbres, ou 0.05 pour le taux d’apprentissage), alors il est préférable de recommencer l’exercice en ajustant la liste des valeurs possibles (car le nombre optimal d’arbres est probablement supérieur à 1000). - Mettre un nombre d’arbres très élevé et tester uniquement des valeurs du taux d’apprentissage. Par exemple, on fixe à 50000 le nombre d’arbres, et on teste les valeurs
[0.05, 0.1, 0.15, 0.2]pour le taux d’apprentissage. Il est indispensable d’utiliser l’early stopping dans cette approche. L’intuition est la suivante: pour chaque valeur possible du taux d’apprentissage, on laisse l’entraînement se prolonger jusqu’à ce que les performances cessent de s’améliorer sur l’ensemble de validation. Chaque modèle entraîné se résume par trois informations: le taux d’apprentissage testé, le nombre d’arbres auquel l’entraînement s’est arrêté, et la performance sur l’ensemble de validation. On retient finalement le taux d’apprentissage et le nombre d’arbres du modèle le plus performant.
- Évaluer conjointement les couples de valeurs (nombre d’arbres, taux d’apprentissage). Par exemple, on évalue les performances du modèle en testant les valeurs
Gridsearch avec ou sans CV, avec early stopping, avec des valeurs raisonnables pour les principaux hyperparamètres. Nombre d’arbres: [100, 200, 500, 1000], learning rate: [0.05, 0.1, 0.15, 0.2]. Si l’un des hyperparamètres considérés comme optimal est la valeur minimale ou maximale (1000 arbres dans l’exemple précédent, ou 0.05 pour ), alors il est préférable de recommencer l’exercice en ajustant la liste des valeurs possibles.
Attention, il est essentiel d’utiliser l’early stopping
si le nombre d’arbres n’était pas suffisant. Une fois défini le bon nombre d’arbres, mettre 20% de plus.
Pour les étapes suivantes: reprendre les étapes présentées ici.
Regarder cette vidéo: https://www.bilibili.com/video/BV1DE41167cu/
- Ajuster la complexité des arbres.
- Ajuster les hyperparamètres de lutte contre le surajustement.
- Entraîner du modèle final: entraîner une forêt aléatoire avec les hyperparamètres optimisés déduits des étapes précédentes.
- Évaluer du modèle final: mesurer la performance du modèle final sur un ensemble de test.
Avant de se lancer dans le gradient boosting, il peut être utile d’entraîner une forêt aléatoire selon la procédure décrite dans la section ?@sec-procedure-training-rf. Ce modèle servira de point de comparaison pour la suite, et permettra notamment de voir si le gradient boosting offre des gains de performances qui justifient le temps passé à l’optimisation des hyperparamètres.