CLIP et recherche sémantique d’images : retrouver une scène avec des mots

Imaginez plusieurs milliers de photos prises pendant une compétition de danse. Vous ne connaissez ni le nom exact des fichiers ni l’heure de chaque passage. En revanche, vous savez décrire ce que vous cherchez : « danseuses en robe noire », « couple en position finale sous un projecteur bleu » ou « juge observant la piste depuis le premier rang ».

Une recherche classique par mots-clés ne peut répondre que si quelqu’un a déjà ajouté les bonnes étiquettes. Une recherche sémantique image-texte permet une autre approche : transformer les photos et les descriptions en vecteurs comparables, puis classer les images selon leur proximité avec la requête. Le même principe peut servir à explorer une galerie sportive, des archives, un catalogue ou des observations de la nature.

L’objectif n’est pas de faire croire que le système comprend chaque scène comme une personne. Il fournit une présélection ordonnée que l’on peut inspecter, corriger et combiner avec les informations du métier.

CLIP rapproche les images et les mots

CLIP, pour Contrastive Language–Image Pre-training, a popularisé l’apprentissage d’un espace commun aux images et aux textes. Dans cet espace, une photo et une description qui semblent correspondre sont placées plus près l’une de l’autre. Le travail fondateur montre aussi comment cette représentation peut être transférée à de nouvelles catégories sans entraîner un classifieur distinct pour chacune (article de recherche sur CLIP).

Dans une classification supervisée classique, les catégories sont décidées à l’avance : robe noire, robe rouge, cha-cha, valse, etc. Ajouter une nouvelle question peut demander de nouvelles annotations et parfois un nouvel entraînement. Avec un encodeur image-texte, on peut tester directement plusieurs formulations :

• « danseuse en robe noire » ;
• « tenue noire à manches longues » ;
• « couple de danse vu de dos » ;
• « mouvement rapide avec tissu en rotation » ;
• « remise de prix sur le podium ».

Cette souplesse est utile pour explorer un fonds d’images dont la taxonomie n’est pas encore figée. Elle ne transforme cependant pas un score de proximité en probabilité, en preuve d’identité ou en vérité sur le contenu de la scène.

PolyReID expose pour cet usage un modèle SigLIP2, appartenant à une famille d’encodeurs image-texte multilingues. Le papier SigLIP2 présente notamment des améliorations pour la recherche image-texte et les représentations visuelles (papier SigLIP2). Dans ce guide, « CLIP » désigne le principe général de recherche sémantique ; la révision du modèle et le prétraitement doivent toujours rester associés aux vecteurs produits.

Trois façons de rechercher une collection

Le même espace vectoriel permet plusieurs parcours complémentaires.

Recherche	Entrée	Exemple	Résultat attendu
Texte vers image	Une description libre	« danseuses en robe noire »	Les photos les plus proches de cette description
Image vers image	Une photo de référence	Une photo choisie dans la galerie	Les scènes visuellement voisines
Texte vers groupes	Plusieurs descriptions candidates	« piste vide », « échauffement », « passage », « podium »	Une présélection à organiser et vérifier

La recherche texte-image est la plus intuitive lorsque l’utilisateur sait décrire une couleur, une tenue, une action ou une ambiance. La recherche image-image devient utile lorsqu’il possède déjà une photo représentative. Enfin, plusieurs requêtes courtes peuvent aider une équipe à préparer des groupes sans imposer dès le départ une taxonomie définitive.

La page de l’API Embeddings documente les routes, les limites, la conservation et les conditions techniques actuelles. Le présent article explique les usages possibles ; il ne remplace pas ce contrat.

Exemple : retrouver les danseuses en robe noire

Prenons une photo de référence montrant une danseuse en robe noire pendant une figure. La galerie de la compétition contient aussi des robes bleu nuit, des costumes noirs portés par des partenaires, des arrière-plans sombres et plusieurs danseuses aux tenues proches.

1. Encoder la galerie

Chaque image ou recadrage pertinent reçoit un embedding. Le système conserve à côté du vecteur les informations déjà connues : compétition, journée, session, passage, appareil, identifiant du fichier et révision du modèle.

Le choix du cadrage compte. Une photo très large peut être rapprochée à cause de la piste ou de l’éclairage, alors qu’un recadrage centré sur la personne met davantage l’accent sur la tenue et la silhouette. Lorsqu’une image montre plusieurs couples, il peut être préférable de rechercher dans des recadrages distincts tout en conservant le lien vers la photo originale.

2. Formuler plusieurs requêtes

Une seule phrase ne constitue pas un test suffisant. On peut comparer les résultats de formulations proches :

danseuse en robe noire
danse sportive, robe noire avec détails brillants
couple sur la piste, partenaire féminine vêtue de noir
tenue de danse noire en mouvement

Les premiers résultats sont des candidats. Une robe bleu foncé peut remonter, tout comme un costume noir occupant une grande partie du cadre. L’équipe doit regarder le rang des images pertinentes, les confusions récurrentes et la stabilité du classement d’une formulation à l’autre.

3. Ajouter le contexte de la compétition

Les métadonnées réduisent l’espace de recherche avant même de comparer les vecteurs. Si la demande concerne le samedi après-midi, une discipline ou une piste précise, ces filtres doivent être appliqués. Un moteur utile combine donc le sens visuel avec des données simples : horaire, catégorie, numéro de passage, dossard lu séparément ou groupe déjà validé.

4. Faire valider avant publication

La recherche peut accélérer le travail du photographe ou de l’opérateur, mais les images proposées à une danseuse doivent rester vérifiables et corrigeables. Deux concurrentes peuvent porter des robes presque identiques. Retrouver « une robe noire » ne signifie pas avoir identifié une personne.

Pour une recherche centrée sur la même apparence corporelle à travers plusieurs photos, la Person ReID répond à une question plus spécifique. Pour lire un numéro visible, il faut plutôt utiliser un workflow d’OCR de dossard. Ces signaux peuvent se compléter, mais ils ne doivent pas être confondus.

Des recherches originales au service des compétitions

La recherche sémantique ne sert pas uniquement à retrouver une couleur de robe. Elle peut aider une équipe photo à mieux couvrir l’événement et à préparer une galerie plus facile à parcourir.

Un photographe ou un responsable éditorial peut rechercher :

• « entrée des couples sur la piste » pour préparer un reportage chronologique ;
• « position finale avec les deux danseurs visibles » pour repérer des images de clôture ;
• « applaudissements du public » ou « réaction après les résultats » pour enrichir le récit de l’événement ;
• « remise de trophée avec les juges » pour retrouver les images institutionnelles ;
• « plan large montrant toute la salle » pour documenter l’ambiance et les partenaires ;
• « danseur partiellement caché par un autre couple » pour constituer une file de contrôle ;
• « image sombre avec fort flou de mouvement » pour présélectionner des photos à examiner, sans décider automatiquement de leur qualité.

Les juges et organisateurs peuvent aussi retrouver plus rapidement des moments correspondant à une description précise, par exemple « début du passage du couple », « figure côte à côte » ou « sortie de piste ». Cela peut faciliter la navigation dans des archives autorisées ou la préparation d’un compte rendu. Le système ne doit toutefois ni attribuer une note technique, ni déduire une faute, ni remplacer le jugement sportif à partir d’une simple proximité sémantique.

Cette frontière est importante pour fournir un service de qualité : l’outil aide à retrouver et organiser, tandis que les décisions qui ont une conséquence sur les participants restent fondées sur les règles de la compétition et sur des personnes habilitées.

Au-delà de la danse : nature, archives et catalogues

Le même mécanisme peut explorer des collections très différentes, à condition de l’évaluer sur leurs images réelles.

Photographie de nature

Un photographe peut chercher « oiseau en vol au-dessus d’une zone humide », « abeille sur une fleur violette », « sous-bois dans la brume » ou « côte rocheuse au coucher du soleil ». Une association peut présélectionner des observations montrant un type d’habitat, une saison ou un comportement visible.

La recherche sémantique ne remplace pas l’identification scientifique d’une espèce. Les espèces proches, les individus juvéniles et les images prises de loin demandent des connaissances, des métadonnées et parfois des modèles spécialisés. Les coordonnées d’espèces sensibles doivent également être protégées.

Archives culturelles et médias

Dans un fonds déjà numérisé, des requêtes comme « foule devant un théâtre la nuit », « répétition en costume » ou « portrait de groupe en extérieur » peuvent faire émerger des documents dont la légende est incomplète. L’archiviste garde la responsabilité de confirmer le contexte, la date et les personnes représentées.

Catalogues et création

Une équipe créative peut chercher « veste noire avec détails dorés », « intérieur minimaliste en bois clair » ou « emballage photographié sur fond naturel ». La similarité permet de naviguer par intention visuelle, tandis que les références produit, stocks et droits d’utilisation restent gérés par les systèmes métier.

Inspection et documentation

Des requêtes comme « surface rouillée », « panneau partiellement masqué » ou « câble détaché » peuvent aider à explorer des images techniques. Pour conclure à un défaut ou déclencher une intervention, il faut ensuite un protocole d’inspection, des seuils validés et souvent un modèle spécialisé.

Ce que la recherche sémantique ne garantit pas

Un modèle généraliste peut privilégier une couleur, un arrière-plan, une composition ou un objet secondaire qui ne correspond pas à l’intention de l’utilisateur. Il peut aussi manquer une nuance importante : noir contre bleu nuit, répétition contre compétition, espèce commune contre espèce voisine.

Il faut donc :

1. conserver la révision du modèle et du prétraitement avec chaque embedding ;
2. évaluer les requêtes sur un corpus représentatif, y compris les cas difficiles ;
3. mesurer la pertinence dans les premiers résultats et pas seulement le meilleur score ;
4. tester plusieurs formulations et documenter les confusions ;
5. associer les filtres métier disponibles avant la recherche vectorielle ;
6. présenter les résultats comme des candidats classés ;
7. prévoir une validation humaine et une voie de correction ;
8. réindexer et réévaluer la collection après un changement de modèle.

Un score élevé signifie seulement que deux entrées sont proches dans l’espace du modèle. Il ne prouve ni l’identité d’une personne, ni l’exactitude d’une espèce, ni la qualité artistique d’une photo.

Commencer avec une question que l’on sait vérifier

Un bon pilote peut tenir en quelques étapes : choisir une collection délimitée, écrire cinq à dix requêtes utiles, encoder les images, inspecter les premiers résultats, annoter les erreurs et mesurer le temps réellement gagné lors de la revue.

Pour une compétition, « retrouver les danseuses en robe noire dans cette session » constitue un meilleur point de départ qu’une promesse générale de compréhension de toutes les images. La question est claire, les résultats peuvent être vérifiés et les confusions sont faciles à documenter. On peut ensuite tester des recherches plus originales sur les gestes, les moments du programme, les juges, le public ou l’ambiance.

La valeur de CLIP n’est pas de supprimer le travail éditorial ou métier. Elle est de rendre une collection interrogeable avec des mots, puis de laisser une équipe transformer cette présélection en galerie, archive ou service de qualité.