MM-RAG : recommandation de tenues par image, avec prix et liens.

Le challenge

Construire un système d'analyse stylistique + un MM-RAG qui recommande des tenues similaires à une image uploadée, avec prix et liens marchands.

• Mettre à jour facilement le jeu de données, sans relancer un entraînement de modèle.
• Modèle de vision dédié au RAG, précis pour recommander des tenues.
• Second modèle vision dédié à l'analyse stylistique, type Pixtral de Mistral.

Résultats & évaluation

• Pas besoin de reranker — 100 % de précision dans la reconnaissance des vêtements (dataset des tenues de Taylor Swift) grâce à ConvNeXt-Tiny (2022). Les modèles plus anciens en étaient incapables.
• Analyse stylistique poussée, reconnaissance des matières et des formes des tenues grâce à Pixtral Large de Mistral.
• Mise à jour facile des données, car pas d'entraînement requis. Il suffit d'ajouter une tenue dans le jeu de données.
• Latence correcte (10–15 secondes) pour la recherche MM-RAG combinée à l'analyse stylistique Pixtral.