Selon une étude de Forbes, les data scientists passent environ 80 % de leur temps à préparer, nettoyer et organiser leurs données avant même de toucher à un algorithme. Ce chiffre, souvent cité comme une plaie, révèle en réalité une vérité fondamentale du machine learning : la qualité des features détermine la qualité du modèle. Un algorithme simple avec d'excellentes features battra presque toujours un algorithme sophistiqué alimenté par des variables médiocres.
Définition
Le feature engineering est l'ensemble des techniques qui transforment des données brutes en variables explicatives, appelées features, compréhensibles et exploitables par un modèle de machine learning. Il s'agit du pont entre la donnée collectée et la représentation mathématique que l'algorithme manipule.
Concrètement, une feature est une colonne individuelle et indépendante utilisée comme input par un modèle. Si vous prédisez le prix d'un appartement, la surface en m² est une feature. Mais le prix au m² du quartier, calculé à partir d'autres données, en est une autre, plus informative.
Distinction importante : Le feature engineering ne se confond pas avec le data cleaning (qui élimine les valeurs aberrantes et manquantes) ni avec le feature selection (qui choisit quelles features garder). Il intervient après le nettoyage et avant la sélection, mais en pratique ces étapes se chevauchent constamment.
Fonctionnement : les 5 étapes du feature engineering
1. Exploration des données
Analyser les distributions, corrélations et types de variables pour identifier les transformations pertinentes. Un histogramme révèle une asymétrie, un nuage de points suggère une relation non linéaire.
2. Transformation des variables
Appliquer des opérations mathématiques (log, racine, puissance) pour normaliser des distributions skewed, ou créer des ratios (chiffre d'affaires / nombre d'employés) qui capturent des relations invisibles dans les variables brutes.
3. Encodage des variables catégorielles
Convertir du texte en nombres. One-hot encoding pour les catégories sans hiérarchie (couleurs, villes), ordinal encoding pour les variables ordonnées (niveaux d'éducation), target encoding pour les cardinalités élevées.
4. Création de features temporelles et spatiales
Extraire le jour de la semaine, le mois ou l'heure d'un timestamp. Calculer la distance entre deux points GPS. Ces features synthétiques sont souvent les plus prédictives.
Validation et itération
Mesurer l'impact des nouvelles features via l'importance des variables (feature importance) ou des techniques comme SHAP. Supprimer les features non contributives et recommencer.
Typologie : principales techniques de feature engineering
| Technique | Description | Quand l'utiliser |
|---|---|---|
| One-hot encoding | Crée une colonne binaire par catégorie | Variables nominales à faible cardinalité (< 15) |
| Target encoding | Remplace la catégorie par la moyenne de la cible | Cardinalité élevée (codes postaux, produits) |
| Binning (discrétisation) | Regroupe des valeurs continues en intervalles | Variables continues avec relation non monotone |
| Polynomial features | Crée des termes au carré, au cube, croisés | Modèles linéaires avec interactions entre variables |
| Log transform | Applique log(x) pour réduire la skewness | Distributions asymétriques (revenus, prix) |
| Scaling / Normalisation | Standardise les valeurs sur une échelle commune | SVM, KNN, réseaux de neurones, descente de gradient |
| Feature crossing | Combine deux features en une nouvelle | Arbres peu profonds, relations non linéaires |
Outils et technologies
| Outil | Type | Fourchette tarifaire |
|---|---|---|
| scikit-learn | Librairie Python (open source) | Gratuit |
| Featuretools | Framework de feature engineering automatisé (open source) | Gratuit |
| Pandas + NumPy | Manipulation de données (open source) | Gratuit |
| H2O.ai | Plateforme AutoML avec feature engineering intégré | Community edition gratuite ; Enterprise à partir de 50 000 €/an |
| DataRobot | Plateforme enterprise avec feature discovery automatisé | Sur devis (à partir de ~75 000 €/an) |
| Amazon SageMaker Data Wrangler | Service managé AWS | ~2,50 €/heure de traitement |
Pour la majorité des projets, l'écosystème Python open source (Pandas + scikit-learn + Featuretools) couvre 90 % des besoins. Les plateformes enterprise se justifient surtout pour les équipes qui industrialisent des centaines de modèles en production.
Cas d'usage concrets
Retail (prédiction de demande)
Une enseigne de grande distribution combine des features temporelles (jour de la semaine, proximité avec un jour férié), météorologiques (température, précipitations) et historiques (ventes moyennes sur 7 et 30 jours). Le feature engineering représente 60 % du gain de précision par rapport à un modèle baseline utilisant uniquement les ventes brutes.
Finance (scoring de crédit)
Une banque crée des features de ratio (endettement / revenu, encours / limite de crédit) et des features comportementales (fréquence des transactions, variabilité des dépenses). Ces features dérivées sont plus prédictives que les soldes bruts, car elles capturent des patterns de comportement.
Santé (prédiction de réadmission)
Un hôpital transforme des événements cliniques bruts (codes CIM-10, résultats de laboratoires) en features agrégées : nombre de comorbidités, délai depuis la dernière hospitalisation, tendance des paramètres biologiques. La création de ces features synthétiques améliore l'AUC du modèle de 0,72 à 0,84.
Défis et enjeux
Fuite de données (data leakage)
Le piège le plus subtil : une feature contient une information qui ne sera pas disponible au moment de la prédiction. Par exemple, inclure une moyenne calculée sur toute la période (incluant le futur) fausse le modèle en entraînement et le ruine en production. La règle : toute transformation doit être calculée uniquement sur les données passées.
Curse of dimensionality
Créer trop de features (notamment avec du polynomial ou du one-hot sur des cardinalités élevées) dilue le signal. Un modèle avec 500 features dont 20 informatives performe souvent moins bien qu'un modèle avec 30 features bien choisies.
Reproductibilité en production
Les transformations calculées en entraînement (moyennes de target encoding, paramètres de scaling) doivent être sauvegardées et appliquées de façon identique en inférence. C'est précisément ce que résout MLOps, en industrialisant le pipeline complet.
Liens avec l'IA et perspectives 2026
L'IA générative et les architectures de deep learning transforment le feature engineering de deux manières. D'abord, les réseaux de neurones profonds apprennent automatiquement des représentations internes, réduisant le besoin de feature engineering manuel pour les données non structurées (images, texte). C'est ce qui rend la computer vision et le NLP si performants sans ingénierie de features explicite.
Ensuite, les LLM ouvrent une nouvelle voie : le LLM-based feature extraction. On demande à un modèle de langage d'extraire des features structurées depuis du texte libre (comptes-rendus médicaux, avis clients, logs d'incidents), créant des variables exploitables par des modèles tabulaires classiques.
En 2026, la tendance est à l'automatisation : des outils comme Featuretools ou les modèles AutoML de scikit-learn génèrent des centaines de features candidates, puis sélectionnent automatiquement les plus pertinentes. Le rôle du data scientist évolue vers la supervision et la validation de ce processus plutôt que la création manuelle de chaque variable. Néanmoins, la compréhension métier reste irremplaçable pour identifier les features que seul un expert du domaine peut imaginer.
FAQ
Le feature engineering est-il encore nécessaire avec le deep learning ?
Pour les données tabulaires, oui. Les arbres de décision et les modèles linéaires restent compétitifs et bénéficient grandement d'un bon feature engineering. Pour les images et le texte, le deep learning réduit fortement ce besoin en apprenant ses propres représentations.
Quelle est la différence entre feature engineering et feature selection ?
Le feature engineering crée de nouvelles variables à partir des données existantes. Le feature selection choisit quelles variables (originales ou créées) conserver dans le modèle final. Les deux sont complémentaires.
Comment éviter le data leakage ?
Utilisez systématiquement une validation croisée temporelle pour les séries chronologiques, et encapsulez vos transformations dans un Pipeline scikit-learn pour garantir que les paramètres (moyennes, écarts-types) sont calculés uniquement sur le fold d'entraînement.
Combien de features faut-il viser ?
Il n'y a pas de règle universelle, mais un principe : moins mais mieux. Commencez avec une vingtaine de features métier pertinentes, mesurez leur importance, puis ajoutez-en par itération. Au-delà de 100 features sur un dataset de moins de 10 000 lignes, le risque d'overfitting devient élevé.