01 — LE DÉFI
Un modèle utile commence par la bonne question.
La recherche par métadonnées échoue lorsque les tags sont absents, incohérents ou trop littéraux. Le but était de rendre un catalogue visuel interrogeable par le sens et l’apparence.
02 — Recherche multimodale · Retrieval
SearchAI
Trouver une image avec une idée, pas avec un nom de fichier.
Tester la démo↗VUE D’ENSEMBLE
Un moteur de recherche multimodal qui relie une intention formulée en langage naturel à du contenu visuel grâce à des représentations texte-image partagées.
Anatomie du projet
De l’intention visuelle aux œuvres les plus proches.
Le moteur projette textes et images dans un espace CLIP partagé, puis interroge un index vectoriel enrichi de filtres et de métadonnées du catalogue.
Pipeline principal
Sélectionnez une étape pour comprendre la transformation des données.Étape sélectionnée
Les œuvres, descriptions, auteurs, catégories, dates et URLs d’image sont préparés comme documents interrogeables.
Fonctionnalités réelles
Les capacités visibles sont reliées aux briques techniques qui les rendent possibles.Recherche en langage naturel
Des formulations comme une ambiance, une matière ou une époque deviennent des requêtes visuelles.
Espace texte-image commun
La similarité repose sur CLIP plutôt que sur la seule présence de mots-clés.
Recherche littérale
Un mode mot-clé reste disponible lorsque la formulation exacte est pertinente.
Filtres et facettes
Catégorie, auteur, période et autres métadonnées affinent le classement sémantique.
Catalogue réel
La démonstration s’appuie sur des œuvres et métadonnées du Metropolitan Museum of Art.
Mesure de la réponse
Le nombre de résultats et le temps de traitement sont exposés avec chaque recherche.
Stack par responsabilité
Chaque technologie est replacée dans son rôle au sein du système.React · Axios
Saisie, filtres et grille de résultats.
FastAPI · Pydantic
Contrat de recherche, validation et réponse typée.
CLIP · PyTorch
Encodage des textes et images dans un espace commun.
Meilisearch
Index vectoriel, recherche par mot-clé, filtres et facettes.
Google Cloud Storage
Chargement des documents, réglages et journalisation.
Docker · Cloud Run
Déploiement reproductible de l’API et du moteur d’indexation.
Moteur de recherche multimodalArchitecture issue du code actuel · Représentation simplifiée
De la technique à l’usage
Formulez une intention et suivez le classement sémantique.
La démonstration permet de rechercher une œuvre avec des mots ordinaires, puis de visualiser comment la proximité entre la requête et les images organise les résultats.
Démonstration pédagogique : les données sont locales et certains calculs sont simulés ou accélérés.04 — RÉSULTAT ET IMPACT
“L’utilisateur peut décrire une intention visuelle ou partir d’une image pour retrouver du contenu sémantiquement proche dans un catalogue volumineux.”