Les chercheurs d’OpenAI ont collaboré avec le Center for Security and Emerging Technology de l’Université de Georgetown et l’Observatoire Internet de Stanford pour enquêter sur la manière dont les grands modèles de langage sont utilisés à des fins de désinformation. La collaboration comprenait un atelier d’octobre 2021 qui a réuni 30 chercheurs en désinformation, experts en apprentissage automatique et analystes des politiques, aboutissant à un rapport co-écrit basé sur plus d’un an de recherche. Ce rapport décrit les menaces que les modèles linguistiques font peser sur l’environnement de l’information s’ils sont utilisés pour renforcer les campagnes de désinformation et fournit un cadre pour analyser les atténuations potentielles. Lire le rapport complet ici.
À mesure que les modèles de langage génératif s’améliorent, ils ouvrent de nouvelles possibilités dans des domaines aussi divers que la santé, le droit, l’éducation et la science. Mais, comme pour toute nouvelle technologie, il convient de réfléchir à la manière dont elle peut être utilisée à mauvais escient. Dans un contexte de fréquentes opérations d’influence en ligne –caché ou trompeur Efforts pour influencer les opinions du public cible – le document demande :
Comment les paradigmes linguistiques peuvent-ils affecter les opérations et quelles mesures peuvent être prises pour atténuer cette menace ?
Notre travail a réuni différents horizons et expériences – des chercheurs ayant une formation dans les tactiques, les techniques et les procédures des campagnes de désinformation en ligne, ainsi que des experts en apprentissage automatique dans le domaine de l’IA générative – pour fonder notre analyse sur les tendances dans les deux domaines.
Nous pensons qu’il est essentiel d’analyser la menace des opérations d’impact assistées par l’IA et d’identifier les mesures qui peuvent être prises avant Les modèles de langage pour les processus d’influence sont largement utilisés. Nous espérons que nos recherches informeront les décideurs politiques des nouveautés dans les domaines de l’IA ou de la désinformation, et stimuleront des recherches approfondies sur les stratégies d’atténuation potentielles pour les développeurs d’IA, les décideurs et les chercheurs en désinformation.
Comment l’intelligence artificielle peut-elle affecter les opérations ?
Lorsque les chercheurs évaluent les processus d’impact, ils prennent en compte les acteurs, les comportements et le contenu. La grande disponibilité de la technologie soutenue par les paradigmes linguistiques a le potentiel d’affecter les trois aspects :
-
acteursLes modèles de langage peuvent réduire le coût de gestion des processus d’influence, les rendant plus accessibles à de nouveaux acteurs et types d’acteurs. De même, les défenseurs rémunérés qui automatisent la production de texte peuvent obtenir de nouveaux avantages concurrentiels.
-
comportement: Mesurer les processus d’impact avec des modèles de langage deviendra plus facile et les tactiques peuvent actuellement devenir très coûteuses (par exemple, la création de contenu personnalisé). Les modèles de langage peuvent également permettre à de nouvelles tactiques, telles que la création de contenu en temps réel dans les chatbots, d’émerger.
-
contenuLes outils de génération de texte prenant en charge le paradigme linguistique peuvent générer des messages plus percutants ou persuasifs que la propagande, en particulier pour ceux qui n’ont pas les connaissances linguistiques ou culturelles nécessaires à leur objectif. Ils peuvent également rendre les opérations d’impact moins détectables, car ils génèrent fréquemment de nouveaux contenus sans avoir à recourir au copier-coller et à d’autres comportements permettant de gagner du temps.
Notre verdict final est que les modèles linguistiques seront utiles pour la publicité et susceptibles de modifier les processus d’influence en ligne. Même si les modèles les plus avancés sont gardés privés ou contrôlés via un accès API, les partisans sont susceptibles de se tourner vers des alternatives open source et les États-nations peuvent investir dans la technologie elle-même.
inconnues critiques
De nombreux facteurs influencent si et à quelle fréquence les modèles linguistiques sont utilisés pour influencer les processus. Notre rapport se penche sur bon nombre de ces considérations. Par exemple:
- Quelles nouvelles capacités d’influence émergeront comme effet secondaire d’une recherche bien intentionnée ou d’un investissement commercial ? Quels sont les acteurs qui investiront le plus dans les paradigmes linguistiques ?
- Quand les outils faciles à utiliser pour la création de texte seront-ils accessibles au public ? Serait-il plus efficace de concevoir des modèles linguistiques spécifiques des processus d’influence, plutôt que d’appliquer des modèles généraux ?
- Les normes évolueront-elles de manière à décourager les acteurs menant des opérations d’influence alimentées par l’IA ? Comment les intentions de l’acteur vont-elles se développer ?
Alors que nous nous attendons à voir une diffusion de la technologie ainsi que des améliorations dans la convivialité, la fiabilité et l’efficacité des modèles de langage, de nombreuses questions sur l’avenir restent sans réponse. Étant donné que ces possibilités critiques peuvent modifier la façon dont les modèles de langage influencent les processus, des recherches supplémentaires pour réduire l’incertitude sont très précieuses.
cadre d’atténuation
Pour tracer la voie à suivre, le rapport identifie les étapes clés du modèle de langage pour influencer le pipeline de processus. Chacune de ces phases est un point d’atténuation potentielle, et pour mener à bien le processus d’influence à l’aide d’un modèle de langage, les annonceurs auront besoin que : (1) un modèle existe, (2) ils puissent y accéder de manière fiable, (3) ils puissent publier le contenu du modèle, et (4) l’utilisateur final est affecté. Plusieurs stratégies d’atténuation possibles relèvent de ces quatre étapes, comme décrit ci-dessous.
| étape dans le pipeline | 1. Construction typique | 2. Accéder au formulaire | 3. Publier du contenu | 4. Formation de credo |
| dilutions illustratives | Les développeurs d’IA construisent des modèles plus sensibles aux faits. | Les fournisseurs d’IA imposent des restrictions plus strictes sur l’utilisation des modèles de langage. | Les plateformes et les fournisseurs d’IA se coordonnent pour définir le contenu de l’IA. | Les institutions participent aux campagnes de sensibilisation des médias. |
| Les développeurs publient des données radioactives pour rendre les modèles génératifs détectables. | Les fournisseurs d’IA développent de nouvelles normes autour de la gestion des versions des modèles. | Les plates-formes exigent une “preuve d’identité” pour publier. | Les développeurs fournissent des outils d’IA axés sur le consommateur. | |
| Les gouvernements imposent des restrictions sur la collecte de données. | Les fournisseurs d’intelligence artificielle comblent les failles de sécurité. | Les entités qui dépendent de la contribution du public prennent des mesures pour réduire leur exposition au contenu trompeur de l’IA. | ||
| Les gouvernements imposent des contrôles d’accès aux appareils d’IA. | Les normes de source numérique ont été largement adoptées. |
Si une dilution est présente, est-ce souhaitable ?
Ce n’est pas parce que l’atténuation peut réduire le risque d’opérations d’impact activées par l’IA qu’elle doit être mise en pratique. Certaines mesures d’atténuation comportent leurs propres risques. D’autres peuvent ne pas être réalisables. Bien que nous n’approuvions ni n’évaluions explicitement les mesures d’atténuation, le document propose un ensemble de questions directrices que les décideurs politiques et autres doivent prendre en compte :
- Faisabilité techniqueL’atténuation proposée est-elle techniquement réalisable ? Nécessite-t-il des changements majeurs dans l’infrastructure technique ?
- faisabilité socialeL’atténuation est-elle possible d’un point de vue politique, juridique et institutionnel ? Nécessite-t-il une coordination coûteuse, les acteurs clés sont-ils incités à le mettre en œuvre et est-il applicable en vertu de la législation, de la réglementation et des normes de l’industrie en vigueur ?
- Risques baissiersQuels sont les effets négatifs potentiels de l’atténuation et quelle est leur importance ?
- impactQuelle est l’efficacité de l’atténuation proposée pour réduire la menace ?
Nous espérons que ce cadre stimulera des idées pour d’autres stratégies d’atténuation et que des questions directrices aideront les organisations concernées à commencer à déterminer si différentes mesures d’atténuation valent la peine d’être poursuivies.
Ce rapport est loin d’avoir le dernier mot sur l’IA et l’avenir des opérations d’influence. Notre objectif est de définir l’environnement actuel et d’aider à établir le programme des recherches futures. Nous encourageons toute personne intéressée à collaborer ou à discuter de projets connexes à nous contacter. Pour plus d’informations, lisez le rapport complet ici.
Josh A. Goldstein(Centre pour la sécurité et les technologies émergentes à l’Université de Georgetown)
Girish Sastry(Ouvrir IA)
Mika Moser(Centre pour la sécurité et les technologies émergentes à l’Université de Georgetown)
Renée Diresta(Observatoire Internet de Stanford)
Matthieu Genzel(Longview Philanthropy) (travail effectué à OpenAI)
Katerina Sédova(Département d’État des États-Unis) (travaux effectués au Center for Security and Emerging Technology avant le service gouvernemental)