Nous introduisons un nouvel outil de modération de contenu amélioré : le point de terminaison de modération qui améliore le filtre de contenu précédent et est disponible gratuitement aujourd’hui pour les développeurs d’API OpenAI.
Pour aider les développeurs à protéger leurs applications contre les abus potentiels, nous proposons le point de terminaison de modération le plus rapide et le plus précis. Ce point de terminaison fournit aux développeurs d’API OpenAI un accès gratuit aux classeurs basés sur GPT qui détectent le spam – un exemple d’utilisation de systèmes d’IA pour aider à la modération humaine de ces systèmes. Nous avons également publié un document technique décrivant notre méthodologie et l’ensemble de données utilisé pour l’évaluation.
Lorsqu’une entrée de texte est donnée, le point de terminaison de modération évalue si le contenu est sexuel, haineux, violent ou incite à l’automutilation – contenu interdit par notre politique de contenu. Endpoint est formé pour être rapide, précis et performant dans une gamme d’applications. Plus important encore, cela réduit les risques que les produits “disent” quelque chose de mal, même lorsqu’ils sont déployés auprès des utilisateurs en général. En conséquence, l’IA peut débloquer des avantages dans des contextes sensibles, tels que l’éducation, où elle ne peut pas être utilisée en toute confiance.
Henf
l’automutilation
N’aime pas
Sexuel
fin de l’équinoxe
Le point final modéré aide les développeurs à capitaliser sur nos investissements dans l’infrastructure. Au lieu de créer et de maintenir leurs propres classificateurs – un processus exhaustif, comme nous le documentons dans notre article – ils peuvent à la place accéder à leurs classificateurs exacts via un seul appel d’API.
Dans le cadre de l’engagement d’OpenAI à rendre l’écosystème de l’IA plus sûr, nous introduisons ce point de terminaison pour permettre la modération gratuite de tout le contenu généré par l’API OpenAI. Par exemple, Inworld, un client API OpenAI, utilise un point de terminaison de modération pour aider ses personnages virtuels basés sur l’IA à rester pertinents pour leur public. En tirant parti de la technologie OpenAI, Inworld peut se concentrer sur son produit phare : créer des personnages mémorables. Nous ne prenons actuellement pas en charge la surveillance du trafic par des tiers.
Commencez par le point de terminaison de format en consultant la documentation. Plus de détails sur le processus de formation et les performances du modèle sont disponibles dans notre article. Nous avons également publié un ensemble de données d’évaluation, comprenant des données de co-crawl classées dans ces catégories, qui, nous l’espérons, stimuleront davantage de recherches dans ce domaine.