IA et données : éviter la fuite entre entraînement et test
Un modèle performant sur des données déjà vues ne démontre pas sa capacité à prévoir un nouvel essai.
1. Définir ce qui est nouveau
Choisissez une séparation par lot, matériau ou campagne selon la question. Des répétitions d’un même essai réparties entre apprentissage et test peuvent donner une évaluation trop favorable.
2. Construire un pipeline
Apprenez la normalisation et les transformations sur l’entraînement seulement. Un pipeline limite les erreurs lorsque vous utilisez la validation croisée.
3. Rapporter les limites
Conservez un jeu de test indépendant et comparez à une référence simple. Indiquez le domaine des données : le modèle n’est pas validé en dehors de ce domaine.
Application pratique
Livrable : une table des lots séparés, un pipeline documenté, une erreur sur test et une liste des conditions expérimentales couvertes.
Références
scikit-learn — Common pitfalls
scikit-learn — Cross-validation