Recherche expliquée9 min de lecture
Généralisation de domaine en Person ReID : comprendre BAU
Comprendre la généralisation de domaine en Person ReID et comment BAU équilibre alignement, uniformité et fiabilité des augmentations.
Votre modèle ReID paraît convaincant dans la salle A. Puis la salle B ouvre ses portes : autres caméras, lumière plus chaude, recadrages serrés et vêtements différents. Le modèle n’a pas changé, mais son monde visuel, lui, a changé.
La généralisation de domaine en Person ReID demande si un entraînement sur un ou plusieurs domaines sources peut survivre à ce passage vers une cible inconnue, sans ajuster le modèle sur les images cibles. Les identités cibles sont également nouvelles : le système doit transférer un espace d’apparence utile, pas un classifieur figé sur les personnes d’entraînement.
BAU — Balancing Alignment and Uniformity — cherche à mieux transférer cet espace. La méthode de Yoonki Cho, Jaeyoon Kim, Woo Jae Kim, Junsik Jung et Sung-Eui Yoon a été publiée au programme principal de NeurIPS 2024. Elle part d’une question contre-intuitive : pourquoi une augmentation d’image plus forte peut-elle aider sur des données familières tout en dégradant la recherche dans un domaine inconnu ?
Le guide pratique Person ReID explique comment ces embeddings deviennent des candidats classés, et non des déclarations d’identité.
Placer les embeddings sur un globe
Imaginez chaque image d’entraînement sur la surface d’un globe :
- les photos de la même personne devraient être proches : c’est l’alignement ;
- l’ensemble devrait utiliser largement le globe plutôt que se concentrer dans quelques zones : c’est l’uniformité ;
- une image augmentée ne devrait rejoindre son original que si la transformation conserve les indices utiles ;
- chaque domaine source devrait éviter de s’effondrer dans son propre coin visuellement biaisé.
BAU ajoute des pertes correspondant à ces objectifs dans une chaîne ReID conventionnelle. La méthode ne crée pas une nouvelle architecture de backbone. Sa contribution porte sur la régularisation de l’espace de représentation et le traitement des vues augmentées selon leur fiabilité.
Lire la visualisation sans la confondre avec le modèle
L’illustration rend la géométrie tangible, mais elle n’est pas l’espace directement utilisé pour la recherche en production. PolyReID produit un vecteur d’apparence normalisé à 768 dimensions pour chaque recadrage. L’explorateur utilise ensuite t-SNE pour projeter ces vecteurs en trois dimensions afin de parcourir les points, examiner leurs voisins et voir comment les groupes validés occupent le champ.
- Un point représente un recadrage de personne.
- Des points proches conservent certaines relations locales, mais leur distance à l’écran reste celle d’une projection exploratoire.
- Une enveloppe colorée résume la dispersion d’un groupe validé visible.
- Le carré plus grand marque le centre du groupe dans la vue 3D.
Lorsqu’un point est sélectionné, l’explorateur calcule aussi une distance de Mahalanobis diagonale : sqrt(sum((coordonnée - centre)² / variance du groupe)). Un déplacement sur un axe très resserré compte donc davantage que le même déplacement sur un axe où le groupe est naturellement large. La « confiance Mahalanobis » affichée applique exp(-0.5 × distance) × 100 pour rendre le diagnostic rapide à lire.
Cette valeur n’est pas la probabilité que deux images montrent la même personne. Elle décrit à quel point le point sélectionné paraît typique par rapport à un groupe dans la projection 3D. La recherche de production doit comparer les vecteurs compatibles dans l’espace à 768 dimensions, avec des seuils évalués sur des données annotées issues des caméras, lieux et populations visés.
Garder d’abord la cible hors de la pièce
La distinction définit ce que le résultat peut prouver.
| Cadre | Images cibles disponibles pendant l’entraînement ? | Labels cibles ? | Question principale |
|---|---|---|---|
| Entraînement dans le domaine | Oui | Généralement | Le modèle fonctionne-t-il sur des données séparées du domaine connu ? |
| Adaptation de domaine | Oui | Parfois non | Les données cibles peuvent-elles aider à adapter le modèle ? |
| Généralisation de domaine | Non | Non | Un entraînement source seul transfère-t-il vers une cible inconnue ? |
| Surveillance en production | Oui, après déploiement | Parfois | Le workflow déployé respecte-t-il encore ses exigences mesurées ? |
Si un nouvel événement influence l’entraînement ou le choix des hyperparamètres, il n’est plus une cible inconnue. Une séparation aléatoire d’images du même événement ne devient pas un test inter-événements parce que les noms de fichiers diffèrent. Pour revendiquer un transfert source seul, ne regardez la cible qu’une fois l’expérience fixée.
Quand une augmentation forte rétrécit le modèle
Une augmentation transforme une image tout en conservant son label d’identité. Changement de couleur, effacement, recadrage ou géométrie peuvent encourager l’invariance aux variations inutiles. Une transformation trop forte peut aussi supprimer des détails d’apparence importants.
L’article BAU rapporte un effet polarisé dans ses protocoles : augmenter la force des transformations peut améliorer la recherche dans la distribution connue tout en la dégradant hors distribution. Son analyse relie ce comportement à un espace plus aligné mais moins uniforme. Les vues augmentées peuvent pousser le modèle à dépendre d’un petit ensemble d’indices invariants dominants et à perdre des informations plus fines utiles ailleurs.
Ce constat appartient aux modèles, transformations et jeux évalués dans l’étude. Il ne signifie pas que l’augmentation nuit toujours à la généralisation. Il impose de mesurer à la fois le résultat de recherche et la géométrie des features.
L’alignement rapproche les vues fiables
Le concept reprend l’analyse de Wang et Isola sur l’apprentissage contrastif. BAU produit une vue augmentée de chaque image source et pénalise la distance entre la feature originale et sa version positive augmentée.
Une augmentation agressive peut créer une vue peu fiable. BAU pondère donc l’alignement avec le chevauchement de Jaccard des ensembles de voisins k-réciproques des deux features. Si leurs voisinages locaux s’accordent, le couple reçoit davantage de confiance. S’ils divergent, forcer leur invariance risque d’être nuisible et le couple est moins pondéré.
« K-réciproque » signifie que deux échantillons se considèrent mutuellement comme voisins selon la règle retenue. L’idée existe déjà en ReID : l’encodage k-réciproque a été proposé pour le re-ranking après la recherche. BAU emploie le chevauchement des voisinages pendant l’entraînement pour estimer la fiabilité. Les idées sont liées, mais interviennent à des étapes différentes.
L’uniformité répartit les features sur l’hypersphère
L’alignement seul peut trop comprimer la représentation. L’uniformité encourage les embeddings normalisés à occuper l’hypersphère. BAU calcule un terme d’uniformité sur des paires distinctes et contrebalance ainsi l’attraction entre les vues positives.
Il ne s’agit pas de pousser chaque image à une distance infinie. La sphère normalisée est bornée et l’objectif équilibre plusieurs pertes. La discrimination des identités sources vient aussi des pertes classiques de classification et de triplet.
L’uniformité compte dans un système ouvert, car les identités de test ne sont pas les classes d’entraînement. Une représentation qui conserve des indices visuels variés peut mieux organiser de nouvelles personnes qu’une représentation dominée par un raccourci. BAU teste cette hypothèse dans ses protocoles ; ce n’est pas une loi universelle pour chaque déploiement.
Une mémoire dépasse le mini-lot courant
Un mini-lot ne montre qu’une petite partie de l’espace. BAU maintient une banque de prototypes de classe, un par identité source, mise à jour par momentum avec les features de cette classe.
La méthode applique ensuite une uniformité propre au domaine entre les features et des prototypes voisins appartenant à d’autres classes du même domaine. L’objectif est de mieux répartir chaque domaine source et de réduire les regroupements propres au domaine.
Ce point est souvent mal décrit. La pondération k-réciproque et la banque de prototypes mise à jour par momentum appartiennent déjà à la méthode NeurIPS 2024. Une adaptation ultérieure peut modifier leur forme ou leur capacité, mais ne devrait pas prétendre avoir ajouté ces idées à BAU.
Le mécanisme BAU en un coup d’œil
| Composant | Rôle dans l’article | Statut | Choix d’implémentation important |
|---|---|---|---|
| Classification et triplet | Discriminer les identités sources | Pratique ReID établie | Échantillonneur, distance et poids |
| Alignement original/augmenté | Conserver l’identité malgré les transformations | Formulation BAU fondée sur l’alignement | Transformations et probabilités |
| Poids k-réciproque | Réduire l’influence des vues augmentées corrompues | Présent dans BAU | Nombre de voisins et composition du lot |
| Uniformité globale | Éviter une distribution trop resserrée | Fondée sur Wang–Isola | Normalisation et construction des paires |
| Uniformité par domaine | Réduire le biais des domaines sources | Contribution BAU | Définition des domaines |
| Banque de prototypes | Représenter la structure au-delà du lot | Présente dans BAU | Momentum et initialisation |
Dire « utiliser BAU » devrait donc préciser quels éléments sont reproduits et lesquels sont modifiés.
Concevoir l’expérience avant de voir la cible
Avant de conclure à une généralisation :
- définir les domaines sources et la cible tenue à l’écart avant l’entraînement ;
- exclure les images cibles de l’entraînement, de la sélection et du réglage des seuils ;
- séparer toutes les identités cibles des identités sources ;
- comparer avec la même architecture, les mêmes transformations et le même budget de calcul ;
- retirer séparément alignement, uniformité, pondération de fiabilité et uniformité par domaine ;
- documenter type, taille, mise à jour et initialisation de la mémoire ;
- publier la recherche brute séparément du re-ranking k-réciproque ;
- inclure Rank-k, mAP, incertitude et segments d’échec par domaine ;
- répéter avec plus d’une cible tenue à l’écart ;
- tester les caméras, recadrages et compositions de galerie prévus en production.
La réponse opérationnelle à un environnement qui change est détaillée dans le guide du changement de domaine.
Là où les preuves s’arrêtent
BAU ne prouve ni que toutes les augmentations sont nuisibles, ni que l’alignement et l’uniformité éliminent le changement de domaine. Les résultats concernent des benchmarks, combinaisons de sources, cibles, architectures et hyperparamètres nommés. Un nouveau type d’événement reste une nouvelle question empirique.
Une adaptation interne qui remplace les prototypes de classe par une banque d’échantillons change également l’algorithme et demande sa propre ablation. BAU ne démontre pas non plus qu’un backbone DINO dépasse OSNet : une telle conclusion exige les mêmes données, objectifs, prétraitements, calculs et protocoles avec pour seule différence l’architecture.
On ne peut pas revendiquer une généralisation inter-événements si tous les événements ont influencé l’entraînement ou le réglage. Une métrique privée ne peut pas davantage être transférée à un modèle servi sans traçabilité du checkpoint, du prétraitement, de la galerie et du protocole.