Détecter les fakes Nano Banana Pro et autres modèles de diffusion.

Le challenge

Détecter avec précision les images générées par IA, avec un entraînement rapide, peu coûteux et un modèle léger.

• Détecter les images de tous les modèles de diffusion. Le modèle doit fonctionner sur Nano Banana Pro mais aussi Midjourney, Stable Diffusion, DALL-E.
• Entraîner rapidement et à moindre coût.Réutiliser les connaissances pré-existantes d'un modèle de vision.
• Constituer un jeu de données Nano Banana Pro par scrapping malgré peu d'images disponibles, puis combiner avec des datasets Midjourney / DALL-E / SD pour une détection généralisée.
• Modèle à faible latence. Doit pouvoir détecter en quelques secondes sur mobile.

Résultats & évaluation

• Précision élevée rapidement atteinte : 8,5 / 10 images détectées correctement sur le dataset de test de 2 000 images Midjourney / DALL-E / SD / Nano Banana Pro.
• Entraînement en seulement 3 minutes sur Mac Pro M1, une seule passe sur le jeu de données.
• Fine-tuning d'un modèle très léger, MobileNetV3 Large par Transfer Learning. Tuning de la dernière couche (classifieur uniquement) pour un entraînement ultra rapide et efficace.
• Zéro coût d'API à l'inférence, c'est un modèle personnel.
• Le modèle a une faible latence.

Bons résultats pour un POC, sans optimisation et avec un modèle très léger.