À partir du 1er janvier, tout pipeline de modération appelant Perspective échouera. L’unité Jigsaw de Google ferme le service le 31 décembre, mettant fin à l’un des outils les plus utilisés pour évaluer la toxicité des commentaires en ligne. Pour les plateformes, les éditeurs, les places de marché et les communautés qui en découlent, les prochains mois apporteront une décision malvenue. Trouvez un remplaçant, et vite.
Rétrospectivement veut être ce remplaçant. Mais plutôt que de proposer un échange de fournisseur standard, il offre quelque chose qu’aucun fournisseur de modération de contenu IA n’a proposé auparavant, une garantie professionnelle contre les dommages causés par le contenu manqué par son modèle.
« Le langage codé est la nouvelle insulte, mais il est ridiculement difficile à comprendre de manière cohérente », a déclaré Dean Gebert, fondateur de Hindsight. « Et un échange de modèle ou d’outil à l’identique ne fait que déplacer les angles morts de Perspective vers un autre fournisseur. »
La migration forcée se double d’un audit d’entreprise
La plupart des entreprises traiteront la fermeture de Perspective comme un ticket d’ingénierie de routine. Avec le recul, c’est l’occasion de poser une question plus difficile : l’ancien outil offrait-il une protection précise en premier lieu ?
Perspective évalue à quel point un commentaire est toxique »des sons” en surface. Cela fonctionne bien avec des insultes évidentes. Cela fonctionne mal avec un langage conçu pour paraître inoffensif.
Les mauvais acteurs le savent, c’est pourquoi ils sont passés au langage codé : des codes numériques comme “1488,« Un argot extrémiste comme »croque-mitaine», des caractères échangés (appelés « l33tspe@k ») et des fautes d’orthographe qui imitent le son phonétique d’une insulte comme «phag“. Le coût et la responsabilité apparaissent dans les forums, les publications, les commentaires, les biographies, les DM, les documents imprimés, etc.
Et cela ne se limite pas à l’anglais. Même une plate-forme uniquement américaine propose des publications en espagnol et dans des dizaines d’autres langues, donc Coded Language les accompagne. Hindsight a été pré-entraîné sur 110 langues, ce qui signifie qu’il peut suivre le langage codé dans chacune d’entre elles sans modèle distinct pour chaque langue.
Les enjeux sont réels. De 2016 à mi-2022, l’Anti-Defamation League a constaté que les extrémistes ont collecté au moins 6,2 millions de dollars grâce à 324 campagnes de financement participatif. En outre, plus de 30 poursuites fédérales contre une grande plateforme de jeu allèguent que ses mesures de protection ont laissé tomber les jeunes utilisateurs. Et enfin, des produits aux messages nationalistes blancs apparaissent toujours sur les principaux marchés en ligne.
Derrière chacun d’eux se trouvait un système de modération censé fonctionner. La fermeture de Perspective crée l’opportunité de repenser.
Pourquoi les modèles binaires sont contraints à un compromis
De nombreux outils de modération reposent sur une logique binaire rigide : sûr ou dangereux. Cela crée un compromis perdant-perdant pour les dirigeants de la plateforme. Ajustez le système pour qu’il soit strict, et il inonde les évaluateurs humains de fausses alarmes dans l’argot quotidien. Réglez-le pour qu’il soit indulgent, et il manque le contenu qui crée une responsabilité.
Les 3 classes de Hindsight, Red Flag, Yellow Flag et Safe, créent une voie médiane pour un langage ambigu et dépendant du contexte. L’automatisation élimine les cas faciles, permettant aux réviseurs humains de consacrer du temps aux cas les plus difficiles (qui servent à peaufiner l’instance de ce client).
Gebert reconnaît que ces conversations peuvent être inconfortables, donc son «exemple le plus sûr” est le mot salope, qui peut être désobligeant ou adorateur selon le contexte. Destiné à une personne en colère (qui diable est cette salope ?), c’est un signal d’alarme clair. Entre amis (c’est la chienne la plus méchante que je connaisse), c’est probablement sûr. Mais un modèle binaire ne peut toujours pas les distinguer.
“Trier systématiquement le texte contextuel dans une catégorie précise de drapeau jaune était extrêmement pénible,” Gebert rit. ” Il a fallu des doses égales d’obsession, d’entêtement et de café au lait. Mais cela permettra aux clients de moins compter sur la surveillance humaine et d’obtenir des résultats plus précis, ce qui sera donc payant.
Ce que montrent les benchmarks
Hindsight a comparé 9 modèles de modération de contenu IA (Mistral, OpenAI, Meta, Azure, AWS et autres) à un ensemble fixe de 2 205 publications en ligne réelles. Un humain étiqueté chacun comme drapeau rouge, drapeau jaune ou coffre-fort, et les variantes du modèle Hindsight n’ont jamais vu aucun des messages pendant le développement ou la formation.
Sur Coded Language, Hindsight a détecté 97,9% des cas. D’autres modèles ont obtenu un score de 65 % et moins. Son taux de signalements manqués était de 3,3 % et son taux de fausses alarmes était de 8,2 %. La société publie la méthodologie complète et les résultats de l’analyse comparative sur son site Web, avec la possibilité pour les entreprises de tester Hindsight avec leurs données.
L’efficacité de la spécialisation : tireur d’élite contre fusil de chasse
Le résultat remet directement en cause l’hypothèse selon laquelle les modèles plus grands fonctionnent toujours mieux. Hindsight n’utilise pas un seul grand modèle de base à usage général. Il s’appuie sur 3 modèles de base spécialisés, chacun avec moins de 600 millions de paramètres, et la société affirme que le résultat surpasse les modèles jusqu’à 14 fois sa taille. Gebert dit que c’est plus un tireur d’élite qu’un fusil de chasse.
Ses données de formation sont volontairement restreintes, avec 83 Mo de véritables publications en ligne, tirées de 18 ensembles de données (environ 37 livres de Harry Potter), dont 292 000 publications étiquetées par des évaluateurs humains. Sur 164 variantes formées, l’entreprise a suivi les performances de chacune et a promu la meilleure variante au rang de Champion.
Quels changements change une garantie de 1 million de dollars
La modération du contenu de l’IA d’entreprise est généralement vendue comme centre de coûts. Cela réduit les risques, mais peu de fournisseurs garantissent un résultat. Le recul change cela. Si son modèle qualifie une publication de sûre et que cette publication provoque un événement de responsabilité documenté, le client bénéficie d’un soutien financier pouvant atteindre 1 million de dollars, au lieu d’excuses et d’un correctif.
Pour les équipes confrontées à la date limite, le pitch pratique est simple. Le remplacement de Perspective nécessite un seul appel d’API et Hindsight détecte le langage codé pour lequel des outils similaires n’ont jamais été conçus.
La voie suggérée par Gebert est d’exécuter Hindsight et Perspective côte à côte pendant une semaine, puis d’examiner le delta là où ils ne sont pas d’accord. Ces désaccords montrent où un score de toxicité à lui seul peut avoir été insuffisant.
Hindsight limite sa cohorte de lancement à 4 clients commerciaux pour permettre un calibrage personnalisé des instances de modèle par rapport aux politiques communautaires et au profil de risque uniques de chaque plateforme. Des tarifs fondateurs seront proposés à ce premier groupe.
Pour rejoindre la liste de lancement et tester Hindsight avec vos données, visitez
