Les modèles de diffusion deviennent un élément essentiel du domaine de l’IA en 2022. Nous avons vu des images photoréalistes créées avec eux, et ils ne cessent de s’améliorer. Le succès des modèles de diffusion peut être largement attribué à une diffusion stable, qui a jeté les bases des techniques ultérieures. Il ne fallut pas longtemps avant que les modèles de diffusion ne deviennent la méthode de référence pour la génération d’images.
Les modèles de diffusion, également appelés modèles de débruitage, appartiennent à une classe de réseaux de neurones génératifs. Ils commencent par sélectionner le bruit dans la distribution d’apprentissage et l’affinent progressivement jusqu’à ce que la sortie soit visuellement agréable. Ce processus de réduction progressive du bruit lui permet d’être plus facile à mesurer et à contrôler. En outre, ils produisent généralement des échantillons de meilleure qualité que les approches précédentes telles que les réseaux antagonistes génératifs (GAN).
On pense que la capacité de génération d’images des modèles de diffusion n’est pas la même que celle des méthodes précédentes. Contrairement aux modèles précédents pour la génération d’images à grande échelle, qui étaient sujets au surajustement et pouvaient générer des images qui ressemblaient étroitement aux échantillons d’apprentissage, on pense que les modèles de diffusion produisent des images qui diffèrent considérablement de celles de l’ensemble d’apprentissage. Cette propriété a fait des modèles de diffusion un outil prometteur pour les chercheurs soucieux de la vie privée qui ont besoin de protéger l’identité des individus ou des informations sensibles dans les images de formation. En créant de nouvelles images qui diffèrent de l’ensemble de données d’origine, les modèles de diffusion offrent un moyen de maintenir la spécificité sans sacrifier la qualité de la sortie résultante.
🚨 Lisez notre dernière newsletter AI🚨
Mais est-ce vrai ? Les modèles de diffusion n’enregistrent-ils vraiment pas les images d’entraînement ? N’est-il pas possible de les utiliser pour accéder à des échantillons dans leur ensemble d’apprentissage ? Pouvons-nous vraiment leur faire confiance pour protéger la confidentialité des échantillons d’apprentissage ? Les chercheurs ont posé ces questions et ont proposé une étude qui nous montre que les modèles de diffusion enregistrent effectivement leurs données d’entraînement.
Il est possible de suréchantillonner les données d’apprentissage des derniers modèles de propagation, bien que ce ne soit pas simple. Premièrement, il est plus facile d’extraire certains échantillons d’apprentissage, en particulier les échantillons en double. Les auteurs utilisent cette propriété pour extraire des échantillons d’apprentissage de Stable Diffusion. Ils reconnaissent d’abord les images proches des doublons dans l’ensemble de données d’apprentissage. Bien sûr, cela ne peut pas être fait manuellement car il y a environ 160 millions d’images dans l’ensemble de données d’entraînement de Stable Diffusion. Au lieu de cela, ils incluent les images à l’aide de CLIP, puis comparent les images dans cet espace de faible dimension. Si les mariages dans le CLIP ont une similarité cosinus élevée, ces sous-titres sont utilisés comme déclencheurs d’entrée pour l’attaque d’extraction.
Une fois qu’ils ont des invites de script potentielles à attaquer, l’étape suivante consiste à générer de nombreux échantillons, 500 dans ce cas, en utilisant la même invite pour voir s’il y a des sauvegardes. Ces 500 images sont générées à l’aide de la même invite, mais elles ont toutes un aspect différent en raison de la graine aléatoire. Ensuite, ils relient chaque image entre elles en mesurant leur distance de similarité et créent un graphique à l’aide de ces connexions. S’ils voient une accumulation à un endroit particulier dans ce graphique de, disons, plus de 10 images connectées en une seule, ils supposent que cette image centrale est une mémorisation. Lorsqu’ils ont appliqué cette approche à une propagation stable, ils ont pu générer des échantillons presque identiques à ceux de l’ensemble de données d’apprentissage.
Ils ont fait des attaques expérimentales sur les derniers modèles de propagation et ont trouvé des observations intéressantes. Plus d’informations sont conservées par les modèles de diffusion plus récents que les GAN similaires, et les modèles de diffusion plus forts enregistrent plus d’informations que les modèles de diffusion plus faibles. Cela indique que la vulnérabilité des modèles d’images génératives peut augmenter avec le temps.
scanner le papier. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N’oubliez pas non plus de vous inscrire 14k + ML Sous RedditEt canal de discordeEt Courrieloù nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore.
Ekrem Cetinkaya est titulaire d’un baccalauréat. en 2018 et MA. en 2019 de l’Université Ozyegin, Istanbul, Turquie. Il a écrit sa maîtrise. Thèse sur la réduction du bruit d’image à l’aide de réseaux convolutifs profonds. Il poursuit actuellement son doctorat. diplôme à l’Université de Klagenfurt, en Autriche, et travaille comme chercheur sur le projet ATHENA. Ses intérêts de recherche incluent l’apprentissage profond, la vision par ordinateur et les réseaux multimédias.