Point culminant :
1. La question de la sécurité des grands modèles d'IA n'est jamais un problème unique, tout comme la gestion de la santé humaine, il s'agit d'une ingénierie système complexe et systématique impliquant plusieurs sujets et l'ensemble de la chaîne industrielle.
2. La sécurité de l'IA est divisée en : la sécurité des grands modèles de langage (AI Safety), la sécurité des modèles et des modèles d'utilisation (Security for AI) et l'impact du développement de grands modèles de langage sur la sécurité des réseaux existants, correspondant à la sécurité individuelle et à l'environnement Trois niveaux différents de sécurité et de sécurité sociale.
3. L'IA en tant que « nouvelle espèce » nécessite une surveillance de la sécurité pendant le processus de formation des grands modèles. Lorsque les grands modèles sont finalement introduits sur le marché, une « inspection de qualité » est également requise. marché et doit être contrôlable. Ce sont les idées au niveau macro pour résoudre les problèmes de sécurité.
4. Les problèmes de sécurité de l'IA ne sont pas terribles, mais ils nécessitent une supervision, une législation, une confrontation technique et d'autres moyens pour y parvenir, ce qui est un long processus. De grandes entreprises nationales et étrangères telles que Microsoft, Google, Nvidia, Baidu, etc. ont commencé à proposer des solutions pour différents aspects de la sécurité de l'IA.
5. La sécurité pour l'IA et l'IA pour la sécurité sont deux directions et opportunités industrielles complètement différentes. L'IA pour la sécurité fait référence à l'application de grands modèles dans le domaine de la sécurité. Maintenant que les outils sont disponibles, nous explorons toujours les problèmes qui peuvent être résolus. assurer la sécurité de l'IA, qui est utilisée partout. C'est un clou, mais lorsqu'il s'agit de construire un marteau, trop de problèmes sont exposés et de nouvelles technologies doivent être développées pour les résoudre un par un.
6. Parmi les trois modules mentionnés dans le point clé 1, chaque module doit être connecté. Tout comme les articulations d'une même personne sont les plus vulnérables, le déploiement et l'application du modèle sont souvent les maillons les plus vulnérables aux attaques de sécurité. . Nous avons développé de manière sélective les détails de la sécurité de l'IA dans les trois sections et cinq liens ci-dessus pour former une « Carte de l'architecture de l'industrie de la sécurité de l'IA ».
©Original de Quadrant
Auteur｜Luo Ji Cheng Xin
Éditeur｜Wen Bin Composition｜Li Bojin
"Etre escroqué de 4,3 millions en 10 minutes", "Etre escroqué de 2,45 millions en 9 secondes", "Yang Mi est entré dans la salle de diffusion en direct d'un petit homme d'affaires", "Il est difficile de dire l'authenticité du patron d'Internet personne virtuelle".
Après que le grand modèle soit populaire depuis 3 mois, ce qui est encore plus populaire, ce sont les fraudes s'élevant à des millions, les faux "visages de célébrités", le contenu généré par l'IA difficile à distinguer entre le vrai et le faux, et les multiples pétitions communes pour résister l'éveil de l'IA, pendant une semaine consécutive La recherche brûlante a fait comprendre aux gens que ce qui est plus important que le développement de l'IA, c'est d'assurer la sécurité de l'IA.
Pendant un certain temps, les discussions sur la sécurité de l'IA ont commencé à être interminables, mais la sécurité de l'IA n'est pas une industrie particulière, ni limitée à une certaine technologie, mais une industrie énorme et complexe. À l'heure actuelle, nous n'avons pas encore éclairci les nuages. .
Utiliser la sécurité « humaine » comme système de référence peut nous aider à mieux comprendre la complexité des enjeux de sécurité de l’IA. Le premier est la sécurité individuelle des personnes, qui implique leur santé, leur santé physique et mentale, leur éducation, leur développement, etc. Deuxièmement, l'environnement dans lequel les gens vivent est sûr, s'il existe des dangers et s'il répond aux conditions de survie. Troisièmement, c'est une sécurité sociale composée de personnes. Les lois et la morale que nous avons construites sont les critères du maintien de la sécurité sociale.
L'IA est une "nouvelle espèce". Au moment de son émergence, des problèmes à ces trois niveaux ont éclaté en même temps, ce qui a provoqué confusion et panique à ce stade. En conséquence, lorsque nous avons discuté de la sécurité des grands modèles, nous n'avions pas de point de dépôt spécifique.
Dans cet article, nous essayons de clarifier les trois niveaux de sécurité de l'IA à partir de zéro, que ce soit d'un point de vue technique ou d'un point de vue applicatif, pour aider chacun à localiser les problèmes de sécurité et à trouver des solutions. En même temps, nous ciblons les énormes failles de sécurité de l'IA. dans le pays et les cibler. Les maillons faibles existants constituent également d’énormes opportunités industrielles.
Un fait qu’il faut reconnaître est qu’à ce stade, notre discussion sur la sécurité des grands modèles d’IA est générale. Nous sommes tellement préoccupés par les menaces posées par l’IA que nous regroupons la plupart des problèmes dans la même catégorie.
Par exemple, certaines personnes viennent parler des problèmes éthiques de l'IA, et certaines craignent que l'IA raconte des bêtises et induisent les gens en erreur ; d'autres craignent que l'IA soit utilisée à mauvais escient et que la fraude devienne encore plus courante ; Le jour de la sortie de ChatGPT, ils ont levé les bras et crié que l'IA est sur le point d'arriver. Réveillez-vous, l'humanité est sur le point d'être détruite...
Ces problèmes se résument tous à des problèmes de sécurité de l'IA, mais décomposés, ils relèvent en fait de différentes dimensions du développement de l'IA et sont responsables de différents sujets et personnes. Ce n’est qu’en clarifiant cette responsabilité que nous pourrons comprendre comment relever les défis de sécurité à l’ère du grand modèle.
De manière générale, les problèmes de sécurité des grands modèles d'IA à ce stade peuvent être divisés en trois types :
Le premier est la sécurité de l'IA. Pour faire simple, cette partie se concentre sur le modèle d'IA lui-même pour garantir que le modèle est un modèle sûr et ne deviendra pas Ultron dans les films Marvel ou la matrice dans "The Matrix". Nous nous attendons à ce que le grand modèle d’IA soit un outil fiable qui devrait aider les humains plutôt que de les remplacer ou de constituer une menace pour la société humaine sous toute autre forme.
Cette partie relève généralement principalement de la responsabilité des entreprises et des personnes qui forment les grands modèles d'IA. Par exemple, nous avons besoin de l'IA pour pouvoir comprendre correctement les intentions humaines, et nous avons besoin que le contenu produit par le grand modèle soit précis et sûr. à chaque fois, et il n'y aura pas de préjugés ni de discrimination, etc.
On peut comprendre à travers deux exemples :
Le premier exemple est que des experts de l'US Air Force ont récemment déclaré que lors d'un précédent test d'IA, lorsqu'il était demandé au drone d'IA d'identifier et de détruire des cibles ennemies, mais que l'opérateur émettait un ordre d'interdiction, l'IA choisissait parfois de tuez le drone. Opérateur mort. Lorsque les programmeurs restreignent les opérations de destruction de l'IA, l'IA empêchera également l'opérateur d'émettre des ordres d'interdiction en détruisant la tour de communication.
Pour un autre exemple, en mars de cette année, un professeur de l'Université de Californie à Los Angeles a utilisé ChatGPT et a découvert qu'il figurait sur la liste des « juristes qui ont harcelé sexuellement quelqu'un » par ChatGPT, mais en réalité il ne l'a pas fait. fais ça. Et en avril, un maire australien a découvert que ChatGPT avait répandu des rumeurs selon lesquelles il avait purgé 30 mois de prison pour corruption. Afin de « créer cette rumeur », ChatGPT a même fabriqué un rapport inexistant du Washington Post.
Dans ces moments-là, l'IA est comme un « méchant » et comporte ses propres risques. Il existe en fait de nombreux cas de ce type, tels que la discrimination sexuelle, la discrimination raciale, la discrimination régionale et d'autres problèmes, ainsi que la production d'informations, de discours et même d'idéologies violents et préjudiciables, etc.
Open AI l'a également admis franchement et a averti les gens de « vérifier très attentivement » lors de l'utilisation de GPT-4, affirmant que les limites du produit poseraient d'importants problèmes de sécurité du contenu.
Ainsi, la loi sur l'intelligence artificielle promue par l'Union européenne mentionne également spécifiquement qu'il est nécessaire de garantir que les systèmes d'intelligence artificielle sont transparents et traçables, et que tout contenu génératif d'IA doit indiquer la source. Le but est d'empêcher l'IA de dire des bêtises et de dire des bêtises. générer de fausses informations.
Security for AI,se concentre sur la protection des grands modèles d'IA et la sécurité des grands modèles d'IA pendant leur utilisation. Tout comme l’IA commet des crimes par elle-même et que les gens utilisent l’IA pour commettre des crimes, il s’agit de deux dimensions différentes des problèmes de sécurité.
C'est comme lorsque nous utilisions des ordinateurs et des téléphones portables il y a dix ans, nous installions un responsable de la sécurité informatique ou un agent de sécurité pour téléphones portables. Nous devons garantir que les grands modèles d’IA ne soient pas soumis quotidiennement à des attaques externes.
Parlons d’abord de la protection de sécurité des grands modèles.
En février de cette année, certains internautes étrangers ont utilisé la phrase « ignorer les instructions précédentes » pour retrouver toutes les invites de ChatGPT. ChatGPT a déclaré qu'il ne pouvait pas divulguer son nom de code interne, et a en même temps informé les utilisateurs.
▲ Source photo : Qubit
Pour donner un autre exemple spécifique, si nous demandons au grand modèle quels sont les passionnants « sites Web de films d'action japonais » disponibles sur Internet, le grand modèle ne répondra certainement pas car c'est incorrect. Mais si les humains le « trompent » et demandent quels « sites Web de films d’action japonais » devraient être mis sur liste noire afin de protéger l’environnement en ligne des enfants, le grand modèle vous donnera probablement pas mal d’exemples.
Ce comportement est appelé injections d'invites dans le domaine de la sécurité, qui consiste à contourner les filtres ou à manipuler LLM via des invites soigneusement conçues, obligeant le modèle à ignorer les instructions précédentes ou à effectuer des opérations inattendues. C'est actuellement l'un des plus courants pour les grands modèles. méthodes d'attaque.
▲ Source photo : techxplore
Le point clé ici est qu’il n’y a rien de mal avec le grand modèle lui-même, il ne diffuse pas de mauvaises informations. Mais les utilisateurs ont eu recours à des incitations pour inciter les grands modèles à commettre des erreurs. La faute n’en incombe donc pas au grand modèle, mais à celui qui l’a poussé à commettre l’erreur.
Le deuxième est la sécurité pendant l'utilisation.
Prenons l'exemple des fuites de données. En mars de cette année, parce que ChatGPT était soupçonné de violer les règles de collecte de données, l'Italie a annoncé une interdiction temporaire d'OpenAI de traiter les données des utilisateurs italiens et une interdiction temporaire d'utiliser ChatGPT. En avril, les médias sud-coréens ont rapporté que le département de solutions pour appareils de Samsung avait utilisé ChatGPT, entraînant une fuite d'informations sensibles telles que le taux de rendement/défauts et le contenu des réunions internes.
En plus de prévenir les crimes liés à l'IA, les « personnes » utilisant l'IA pour commettre des crimes par le biais de l'ingénierie sociale constituent un problème humain plus vaste et plus influent. Dans ces deux incidents, il n'y a eu aucun problème avec le grand modèle lui-même, il n'y a eu aucune intention malveillante et les utilisateurs n'ont pas été incités de manière malveillante à attaquer le grand modèle. Mais il existe des failles dans le processus d'utilisation, qui permettent la fuite des données des utilisateurs.
C'est comme une bonne maison, mais il peut y avoir des fuites d'air, nous avons donc besoin de quelques mesures pour boucher les trous correspondants.
Le modèle lui-même est sûr et la sécurité du modèle est garantie. Cependant, en tant que « nouvelle espèce », l'émergence de grands modèles d'IA affectera inévitablement l'environnement réseau actuel. Par exemple, les criminels utilisent l'IA générative pour commettre des fraudes. a été fréquemment rapporté dans les journaux récemment.
Le 20 avril, un criminel a utilisé une fausse vidéo pour frauder 4,3 millions de yuans en 10 minutes. Un mois plus tard, un autre cas de fraude à l'IA s'est produit dans l'Anhui, où les criminels ont utilisé une vidéo intelligente de 9 secondes pour changer de visage. être une "connaissance", il a escroqué la victime de 2,45 millions.
▲ Photo : rapports médiatiques liés à Douyin
De toute évidence, l’émergence et la popularité de l’IA générative ont rendu la situation en matière de sécurité des réseaux plus compliquée. Cette complexité ne se limite pas à la fraude. Des cas plus graves peuvent même affecter les opérations commerciales et la stabilité sociale.
Par exemple, le 22 mai, le cours de l'action d'iFlytek a chuté de 9 % en raison d'un court essai généré par l'IA.
▲ Photo : Preuve de la baisse du cours des actions présentée par iFlytek
Le même jour, une photo montrant une explosion près du Pentagone aux États-Unis est devenue virale sur Twitter. À mesure que l'image se répandait, la bourse américaine a chuté.
En regardant les données, entre 10h06 et 10h10, lorsque l'image s'est diffusée ce jour-là, l'indice industriel américain Dow Jones a chuté d'environ 80 points et l'indice S&P 500 a chuté de 0,17 %.
▲ Photo : Fausses photos générées par l'IA, la source n'est plus connue
En janvier de cette année, des chercheurs de Check Point, leader mondial de la cybersécurité, ont mentionné dans un rapport que
Quelques semaines après la mise en ligne de ChatGPT, les participants aux forums de cybercriminels, y compris certains ayant peu ou pas d'expérience en programmation, l'utilisaient. ChatGPT écrit des logiciels et des e-mails qui peuvent être utilisés à des fins d'espionnage, de ransomware, de spam malveillant et d'autres activités néfastes. Selon Darktrace, depuis la sortie de ChatGPT, la complexité linguistique moyenne des e-mails de phishing a augmenté de 17 %.
De toute évidence, l’émergence de grands modèles d’IA a abaissé le seuil des attaques réseau et augmenté la complexité de la sécurité des réseaux.
Avant le grand modèle d’IA, les initiateurs de cyberattaques devaient au moins comprendre le code, mais après le grand modèle d’IA, les personnes qui ne comprennent pas du tout le code peuvent également utiliser l’IA pour générer des logiciels malveillants.La clé ici est qu’il n’y a aucun problème avec l’IA elle-même, et que l’IA ne sera pas amenée à avoir de mauvais effets. Mais certaines personnes utilisent l’IA pour se livrer à des activités illégales et criminelles. C'est comme si quelqu'un utilisait un couteau pour tuer quelqu'un, mais le couteau lui-même n'est qu'une « arme du crime », mais il permet à l'utilisateur de passer d'un « fusil » à la puissance d'un « mortier ».
Bien entendu, du point de vue de la sécurité des réseaux, l’émergence de l’IA générative n’est pas que négative. Après tout, il n’y a ni bien ni mal dans la technologie elle-même. Ce qui est bien ou mal, ce sont les gens qui l’utilisent. Par conséquent, lorsque de grands modèles d’IA sont utilisés pour renforcer la sécurité des réseaux, ils apporteront toujours des avantages à la sécurité des réseaux.
Par exemple, la société américaine de sécurité réseau Airgap Networks a lancé ThreatGPT, introduisant l'IA dans son pare-feu zéro confiance. Il s’agit d’une bibliothèque approfondie d’informations sur la sécurité basée sur l’apprentissage automatique, basée sur l’interaction en langage naturel, qui peut permettre aux entreprises de lutter plus facilement contre les cybermenaces avancées.
Ritesh Agrawal, PDG d'Airgap, a déclaré : « Ce dont les clients ont besoin maintenant, c'est d'un moyen simple de profiter de cette fonctionnalité sans aucune programmation. C'est la beauté de ThreatGPT : l'intelligence pure d'exploration de données de l'IA combinée à la simplicité de la nature. une interface linguistique, cela change la donne pour les équipes de sécurité. »
De plus, les grands modèles d'IA peuvent également être utilisés pour aider les analystes SOC à effectuer une analyse des menaces, à identifier plus rapidement les attaques internes ou externes basées sur l'identité grâce à une surveillance continue et à aider les chasseurs de menaces à comprendre rapidement quels points de terminaison sont confrontés aux risques les plus graves. et plus encore.
Si vous clarifiez les différentes étapes de la sécurité de l'IA, vous constaterez qu'il est évident que le problème de sécurité des grands modèles d'IA n'est pas un problème unique. Elle s’apparente beaucoup à la gestion de la santé humaine, qui concerne l’intérieur et l’extérieur du corps, les yeux, les oreilles, la bouche, le nez, etc. Elle est complexe et multiforme. Pour être précis, il s’agit d’une ingénierie système complexe et systématique impliquant plusieurs structures principales et l’ensemble de la chaîne industrielle.
À l'heure actuelle, le niveau national commence également à y prêter attention. En mai de cette année, les départements nationaux concernés ont mis à jour ici le « Livre blanc sur la normalisation de la sécurité de l'intelligence artificielle », qui résume spécifiquement la sécurité de l'intelligence artificielle en cinq attributs majeurs, dont la fiabilité, la transparence, l'explicabilité, l'équité et la confidentialité, ce qui est un grand Modèle d’IA. Le développement propose une direction relativement claire.
Bien sûr, nous n’avons plus à nous soucier trop des problèmes de sécurité des grands modèles d’IA, car ils ne sont pas vraiment criblés de failles.
Après tout, en termes de sécurité, les grands modèles n'ont pas complètement bouleversé le système de sécurité précédent. La plupart des piles de sécurité que nous avons accumulées sur Internet au cours des 20 dernières années peuvent encore être réutilisées.
Par exemple, les capacités de sécurité derrière Microsoft Security Copilot proviennent toujours de l'accumulation de sécurité existante, et les grands modèles utilisent toujours Cloudflare et Auth0 pour gérer le trafic et les identités des utilisateurs. À cela s’ajoutent des pare-feux, des systèmes de détection d’intrusion, des technologies de chiffrement, des systèmes d’authentification et d’accès, etc., pour garantir les problématiques de sécurité des réseaux.
Ce dont nous allons réellement parler ici, c'est que la plupart des problèmes de sécurité que nous rencontrons actuellement concernant les grands modèles ont des solutions.
Le premier est la sécurité des modèles (AI Safety).
Cela inclut spécifiquement des questions telles que l'alignement (Alignement), l'interprétabilité (Interpréférabilité) et la robustesse (Robustesse). Traduit en termes faciles à comprendre, nous avons besoin que les grands modèles d'IA soient alignés sur les intentions humaines. Nous devons garantir que le contenu produit par le modèle est impartial, que tout le contenu peut être soutenu par des sources ou des arguments, et qu'il y en a. il y a une plus grande marge d’erreur.
La solution à cet ensemble de problèmes dépend du processus de formation à l’IA, tout comme les perspectives d’une personne sont façonnées par la formation et l’éducation.
À l'heure actuelle, certaines entreprises étrangères ont commencé à assurer une surveillance complète de la sécurité pour la formation de grands modèles, comme Calypso AI, l'outil de sécurité qu'elles ont lancé, peut surveiller l'ensemble du cycle de vie du modèle, de la recherche au déploiement, et chaque lien depuis. données pour surveiller et finalement fournir un rapport complet sur les fonctionnalités, les vulnérabilités, les performances et la précision.
En ce qui concerne des problèmes plus spécifiques, tels que la résolution du problème du non-sens de l'IA, OpenAI a lancé une nouvelle technologie lors de la sortie de GPT-4, permettant à l'IA de simuler l'auto-réflexion humaine. Après cela, la tendance du modèle GPT-4 à répondre aux demandes de contenu illégal (telles que les méthodes d'automutilation, etc.) a été réduite de 82 % par rapport à l'original, et le nombre de réponses aux demandes sensibles (telles que les consultations médicales, etc.) conformes à la politique officielle de Microsoft ont augmenté de 29 %.
En plus du contrôle de sécurité pendant le processus de formation des grands modèles, une « inspection qualité » est également requise lorsque les grands modèles sont finalement introduits sur le marché.
À l'étranger, la société de sécurité Cranium tente de créer « une plateforme de sécurité et de confiance de bout en bout en matière d'intelligence artificielle » pour vérifier la sécurité de l'intelligence artificielle et surveiller les menaces adverses.
En Chine, le CoAI de l'Université Tsinghua du Département d'informatique et de technologie a lancé début mai un cadre d'évaluation de la sécurité. Ils ont résumé et conçu un système de classification de sécurité relativement complet, comprenant 8 scénarios de sécurité typiques et 6 scénarios de sécurité d'attaque de commande pouvant être utilisés pour. évaluer la sécurité des grands modèles.
▲ Photo extraite de "Évaluation de la sécurité des modèles chinois en grand langage"
De plus, certaines technologies de protection externe rendent également les grands modèles d’IA plus sûrs.
Par exemple, NVIDIA a publié début mai un nouvel outil appelé « Guardrail Technology » (NeMo Guardrails), ce qui équivaut à installer un filtre de sécurité pour les grands modèles, qui contrôle non seulement la sortie des grands modèles, mais aide également à filtrer le contenu d'entrée. .
▲ Source de l'image : site officiel de NVIDIA
Par exemple, lorsqu'un utilisateur incite un grand modèle à générer du code offensant, ou un contenu dangereux ou biaisé, la « technologie de garde-fou » empêchera le grand modèle de produire du contenu pertinent.
De plus, la technologie des garde-corps peut également bloquer les « entrées malveillantes » du monde extérieur et protéger les grands modèles des attaques des utilisateurs. Par exemple, « l'injection rapide » qui menace les grands modèles, comme nous l'avons mentionné plus tôt, peut être efficacement contrôlée.
Pour faire simple, la technologie des garde-corps est comme les relations publiques pour les entrepreneurs, aidant les grands modèles à dire ce qu'ils devraient dire et à éviter les questions qu'ils ne devraient pas aborder.
Bien sûr, de ce point de vue, bien que la « technologie des garde-corps » résout le problème du « non-sens », elle n'appartient pas à la catégorie de « AI Safety », mais à la catégorie de « Security for AI ».
En plus de ces deux problèmes, les problèmes de sécurité sociale/réseau causés par les grands modèles d’IA ont également commencé à être résolus.
Par exemple, le problème de la génération d'images IA réside essentiellement dans la maturité de la technologie DeepFake, qui inclut spécifiquement la falsification vidéo profonde, le clonage de sons profondément faux, les images profondément fausses et le texte généré profondément faux.
Dans le passé, différents types de contenu deep fake existaient généralement sous une forme unique, mais après le grand modèle de l'IA, divers types de contenu deep fake ont montré une tendance à l'intégration, rendant le jugement sur le contenu deep fake plus approfondi. compliqué.
Mais quelle que soit l’évolution de la technologie, la clé pour lutter contre la contrefaçon profonde est l’identification du contenu, c’est-à-dire trouver un moyen de distinguer ce qui est généré par l’IA.
Dès février de cette année, OpenAI a déclaré qu'elle envisagerait d'ajouter des filigranes au contenu généré par ChatGPT.
En mai, Google a également déclaré qu’il veillerait à ce que chacune des images générées par l’IA de l’entreprise comporte un filigrane intégré.
Ce type de filigrane ne peut pas être reconnu à l'œil nu, mais les machines peuvent le voir d'une manière spécifique. Actuellement, les applications d'IA, notamment Shutterstock, Midjourney, etc., prendront également en charge cette nouvelle méthode de marquage.
▲ Capture d'écran Twitter
En Chine, Xiaohongshu marque les images générées par l'IA depuis avril, rappelant aux utilisateurs qu '"elles sont soupçonnées de contenir des informations créées par l'IA, veuillez faire attention pour vérifier l'authenticité". Début mai, Douyin a également publié une spécification de plate-forme de contenu généré par l'intelligence artificielle et une initiative industrielle, proposant que tous les fournisseurs de technologies d'intelligence artificielle générative marquent bien en évidence leur contenu généré pour faciliter le jugement du public.
▲ Source de l'image : Capture d'écran de Xiaohongshu
Même avec le développement de l'industrie de l'IA, certaines sociétés/départements spécialisés dans la sécurité de l'IA ont commencé à apparaître au pays et à l'étranger. Ils utilisent l'IA pour lutter contre l'IA afin de réaliser une synthèse approfondie et une détection de contrefaçon.
Par exemple, en mars de cette année, le géant informatique japonais CyberAgent a annoncé qu'il introduirait un système de détection de « deepfake » à partir d'avril pour détecter les fausses photos ou vidéos faciales générées par l'intelligence artificielle (IA).
En Chine, Baidu a lancé une plateforme de détection de changements de visage profonds en 2020. La solution de file d'attente dynamique de fonctionnalités (DFQ) et la méthode d'apprentissage métrique qu'ils ont proposée peuvent améliorer la capacité de généralisation du modèle d'identification des contrefaçons.
▲ Photo : logique Baidu DFQ
En ce qui concerne les startups, la plateforme de détection de contenu deepfake DeepReal lancée par Ruilai Intelligence peut analyser divers problèmes en étudiant l'identification des différences de représentation du contenu deepfake et du contenu réel, et en explorant les caractéristiques de cohérence du contenu deepfake dans les différents canaux de génération. images, vidéos et audios en format et en qualité.
Dans l'ensemble, de la formation des modèles à la protection de la sécurité, de la sûreté de l'IA à la sécurité de l'IA, la grande industrie du modélisme a formé un ensemble de mécanismes de sécurité de base.
Bien sûr, tout cela n’est qu’un début, cela signifie donc en fait qu’il existe encore une plus grande opportunité de marché cachée.
Des milliards d'opportunités dans le domaine de la sécurité de l'IA
La traction qui motive le développement des deux à ce stade est également complètement différente :
Revoyez la classification de base de la sécurité de l'IA dans l'article précédent : elle est divisée en la sécurité des grands modèles de langage (AI Safety), la sécurité des modèles et des modèles d'utilisation (Security for AI) et l'impact du développement du grand langage. modèles sur la sécurité des réseaux existants. C'est-à-dire la sécurité individuelle du modèle, la sécurité environnementale du modèle et la sécurité sociale du modèle (sécurité du réseau).
Mais la sécurité de l’IA ne se limite pas à ces trois secteurs indépendants. Pour donner un exemple frappant, dans le monde en ligne, les données sont comme les sources d'eau. Les sources d'eau existent dans les océans, les rivières, les lacs, les glaciers et les montagnes enneigées, mais les sources d'eau circulent également dans des rivières denses et la pollution grave est souvent concentrée dans un certain domaine. rivière. un nœud d’intersection se produit.
De même, chaque module doit être connecté, et tout comme les articulations d’une personne sont les plus vulnérables, le déploiement et l’application du modèle sont souvent les maillons les plus vulnérables aux attaques de sécurité.
Nous avons développé de manière sélective les détails de la sécurité de l'IA dans les 3 sections et 5 liens ci-dessus pour former un « diagramme d'architecture de l'industrie de la sécurité de l'IA ». Cependant, il convient de noter qu'il appartient aux grandes entreprises modèles, aux fournisseurs de cloud et à d'autres grands. entreprises à grande échelle. Opportunités pour l'entreprise, etc. Ces opportunités qui ont peu d'impact sur les entrepreneurs ordinaires ne sont pas répertoriées à nouveau. Dans le même temps, la sécurité de l’IA est un processus en évolution, et la technologie actuelle ne constitue qu’un petit pas en avant.
▲ (L'image est originale de Quadrant, veuillez indiquer la source lors de la réimpression)
Dans l'ensemble de la sécurité de l'IA, la sécurité des données traverse tout le cycle.
La sécurité des données fait généralement référence aux outils de sécurité utilisés pour protéger les données des systèmes informatiques contre la destruction, la modification et la fuite pour des raisons accidentelles ou malveillantes afin de garantir la disponibilité, l'intégrité et la confidentialité des données.
D'un point de vue global, les produits de sécurité des données incluent non seulement la défense de la sécurité des bases de données, la prévention des fuites de données, la reprise après sinistre et la désensibilisation des données, etc., mais couvrent également le stockage dans le cloud, l'informatique confidentielle, l'évaluation dynamique des risques liés aux données, la sécurité des données multiplateformes. , et la virtualisation de la sécurité des données, la synthèse des données et d'autres domaines d'avenir, donc la construction d'un centre de sécurité global autour de la sécurité des données du point de vue de l'entreprise et la promotion de l'assurance de la cohérence de la sécurité des données du point de vue de la chaîne d'approvisionnement seront un moyen efficace de traiter avec l'entreprise. risques liés à la sécurité de la chaîne d’approvisionnement.
Citer quelques exemples typiques :
Afin de garantir la « santé mentale » du modèle, les données utilisées pour entraîner le modèle ne peuvent pas contenir de données dangereuses, de données erronées et d'autres données sales. C'est une condition préalable pour garantir que le modèle ne « dira pas de bêtises ». Selon l'article de référence « Self Quadrant », il existe déjà un « empoisonnement des données », dans lequel des attaquants ajoutent des données malveillantes à la source de données pour interférer avec les résultats du modèle.
▲Réseau de sources d'images
Le nettoyage des données est donc devenu une étape nécessaire avant la formation du modèle. Le nettoyage des données fait référence au processus final de découverte et de correction des erreurs identifiables dans les fichiers de données, notamment la vérification de la cohérence des données, la gestion des valeurs invalides et des valeurs manquantes, etc. Ce n'est qu'en « introduisant » les données nettoyées dans le modèle que la génération d'un modèle sain peut être assurée.
L'autre direction préoccupe beaucoup tout le monde. Elle a été largement discutée au cours de la dernière ère de la sécurité des réseaux, la question de la fuite de la confidentialité des données.
Vous devez avoir déjà discuté avec des amis sur WeChat à propos d'un certain produit et avoir été poussé vers le produit lorsque vous ouvrez Taobao ou Douyin. À l'ère du numérique, les gens sont presque translucides. À l’ère de l’intelligence, les machines deviennent plus intelligentes, et la capture et l’induction intentionnelles remettront les questions de confidentialité au premier plan.
L'informatique privée est l'une des solutions au problème. Le calcul multipartite sécurisé, l'environnement d'exécution fiable et l'apprentissage fédéré sont actuellement les trois principales directions de l'informatique confidentielle. Il existe de nombreuses méthodes de calcul de la confidentialité.Par exemple, pour garantir les données réelles des consommateurs, 1 donnée réelle est équipée de 99 données d'interférence, mais cela augmentera considérablement le coût d'utilisation de l'entreprise; un autre exemple est le flou spécifique; consommateurs en petit A, l'entreprise utilisant les données saura seulement qu'il existe un consommateur nommé Little A, mais elle ne saura pas qui est le véritable utilisateur derrière Little A.
Les « données mixtes » et les « données disponibles et invisibles » sont aujourd'hui l'une des méthodes informatiques de confidentialité les plus couramment utilisées. Ant Technology, qui a grandi sur la scène financière, est relativement avancée dans l'exploration de la sécurité des données. Actuellement, Ant Technology résout les problèmes de sécurité des données dans le processus informatique collaboratif des entreprises grâce à l'apprentissage fédéré, à un environnement d'exécution fiable, à la blockchain et à d'autres technologies. et réalise la sécurité des données. Une collaboration invisible et multipartite et d'autres méthodes peuvent être utilisées pour garantir la confidentialité des données et avoir une forte compétitivité dans le domaine informatique mondial de la confidentialité.
Mais du point de vue des données, les données synthétiques peuvent résoudre le problème de manière plus fondamentale. Dans l'article "ChatGPT Revelations Series | The Hundred Billion Market Hidden under Al lnfra" (cliquez sur le texte pour lire), "Self Quadrant" a mentionné que les données synthétiques pourraient devenir la principale force des données de l'IA. Les données synthétiques sont des données produites artificiellement par des ordinateurs pour remplacer les données réelles collectées dans le monde réel afin de garantir la sécurité des données réelles. Elles n'ont pas de contenu sensible légalement restreint ni la confidentialité des utilisateurs privés.
Par exemple, l'utilisateur A a 10 caractéristiques, l'utilisateur B a 10 caractéristiques et l'utilisateur C a 10 caractéristiques. Les données synthétiques se décomposent et correspondent à ces 30 caractéristiques pour former 3 nouvelles données individuelles. monde quasi réel, mais il a une valeur de formation.
Actuellement, les entreprises les déploient les unes après les autres, ce qui a également entraîné une croissance exponentielle de la quantité de données synthétiques. Les recherches de Gartner estiment qu'en 2030, les données synthétiques dépasseront de loin le volume des données réelles et deviendront la principale force des données de l'IA.
▲ Source photo officielle Gartner
Les personnes familiarisées avec les grands modèles doivent être familiarisées avec les API. D'OpenAI à Anthropic, Cohere et même PaLM de Google, les LLM les plus puissants offrent tous des fonctionnalités sous forme d'API. Dans le même temps, selon une étude de Gartner, en 2022, plus de 90 % des attaques contre les applications Web proviendront d’API plutôt que d’interfaces utilisateur humaines.
La circulation des données est comme l'eau dans une conduite d'eau. Elle n'a de valeur que lorsqu'elle circule, et l'API est la vanne clé du flux de données. À mesure que les API deviennent le lien central entre les logiciels, elles ont de plus en plus de chances de devenir la prochaine grande nouveauté.
Le plus grand risque des API vient des autorisations excessives. Afin de permettre à l'API de fonctionner sans interruption, les programmeurs accordent souvent des autorisations plus élevées à l'API. Une fois qu'un pirate informatique a compromis l'API, il peut utiliser ces privilèges élevés pour effectuer d'autres opérations. C'est devenu un problème sérieux. Selon une étude d'Akamai, les attaques contre les API représentent 75 % de toutes les attaques de vol de compte dans le monde.
C'est pourquoi ChatGPT a ouvert son interface API, et de nombreuses entreprises obtiennent toujours ChatGPT en achetant le service OpenAI fourni par Azure. La connexion via l'interface API équivaut à fournir directement les données de conversation à OpenAI, et elle est exposée à un risque d'attaques de pirates à tout moment. Si vous achetez des ressources cloud Azure, vous pouvez stocker les données sur le cloud public Azure pour garantir la sécurité des données.
▲ Photo : Site officiel de ChatGPT
À l'heure actuelle, les outils de sécurité des API sont principalement divisés en plusieurs catégories : détection, protection et réponse, tests, découverte et gestion ; quelques fabricants prétendent fournir des outils de plate-forme qui couvrent complètement le cycle de sécurité des API, mais ce sont les outils de sécurité des API les plus populaires aujourd'hui. sont principalement concentrés sur Trois liens : "Protection", "Tests" et "Découverte" :
Actuellement, les principaux fabricants de sécurité API sont concentrés dans des sociétés étrangères, mais après la montée en puissance des grands modèles, les startups nationales ont également commencé à faire des efforts. Fondée en 2018, Xinglan Technology est l'un des rares fournisseurs nationaux de sécurité de chaîne complète d'API. Basé sur la perception de la profondeur de l'IA et la technologie d'apprentissage automatique adaptatif, il aide à résoudre les problèmes de sécurité des API liés aux capacités d'attaque et de défense, aux capacités d'analyse du Big Data et au cloud natif. systèmes technologiques. Il fournit une identification panoramique des API, une détection avancée des menaces par API, une analyse de comportement complexe et d'autres fonctionnalités pour créer un système de protection d'exécution d'API.
▲ Architecture des produits de sécurité API de Xinglan Technology
Certaines entreprises traditionnelles de sécurité réseau se transforment également en activités de sécurité API. Par exemple, Wangsu Technology était auparavant principalement responsable d'IDC, de CDN et d'autres produits et activités connexes.
▲ Source de l'image : Wangsu Technology
L'importance des pare-feu à l'ère d'Internet est évidente. Ils sont comme des rampes marchant à des milliers de kilomètres de haut dans le ciel. Aujourd'hui, le concept de pare-feu est passé de la réception au back-end et est intégré aux terminaux matériels et. systèmes d'exploitation logiciels. De manière simple et grossière, SSE peut être compris comme un nouveau type de pare-feu, piloté par l'identité des visiteurs et s'appuyant sur le modèle zéro confiance pour restreindre l'accès des utilisateurs aux ressources autorisées.
Selon la définition de Gartner, SSE (Security Service Edge) est un ensemble de fonctions de sécurité intégrées centrées sur le cloud qui protègent l'accès au Web, aux services cloud et aux applications privées. Les fonctionnalités incluent le contrôle d'accès, la protection contre les menaces, la sécurité des données, la surveillance de la sécurité et les contrôles d'utilisation acceptables via des intégrations basées sur le Web et sur des API.
SSE comprend trois parties principales : passerelle web sécurisée, agent de sécurité cloud et modèle zéro confiance, qui correspondent à la résolution de différents risques :
▲ Source de l'image : Siyuan Business Consulting
Cette année, pour les grands modèles, Netskope, leader du secteur, a pris les devants en se tournant vers les applications de sécurité dans le modèle. L'équipe de sécurité utilise des outils automatisés pour surveiller en permanence à quelles applications les utilisateurs de l'entreprise tentent d'accéder (telles que ChatGPT), comment y accéder et quand. pour accéder, et d'où, avec quelle fréquence d'accès, etc. Il faut comprendre les différents niveaux de risque que chaque application représente pour l'organisation et être capable d'affiner les politiques de contrôle d'accès en temps réel en fonction des conditions de classification et de sécurité qui peuvent changer au fil du temps.
Une compréhension simple est que Netskope avertit les utilisateurs en identifiant les risques liés à l'utilisation de ChatGPT, similaire au mode d'avertissement lors de la navigation sur les pages Web et du téléchargement de liens. Ce modèle n'est pas innovant, et est même très traditionnel, mais il est le plus efficace pour empêcher les utilisateurs d'opérer.
▲ Source photo : Site officiel de Netskope
▲ Source photo : Site officiel de Netskope
4. Fraude et anti-fraude : filigrane numérique et technologie de vérification biométrique
L’IA fraudant les humains et les humains utilisant l’IA pour frauder les humains sont deux choses différentes.
L'IA fraude les humains, principalement parce que « l'éducation » des grands modèles n'est pas bien faite. La « technologie de garde-corps » NVIDIA mentionnée ci-dessus et l'apprentissage non supervisé d'OpenAI sont autant de méthodes pour garantir la santé du modèle dans le lien de sécurité de l'IA.Cependant, empêcher l’IA de tromper les humains et la synchroniser avec la formation des modèles est la tâche des grandes entreprises modèles.
L'utilisation humaine de la technologie de l'IA pour frauder se situe dans toute la phase de sécurité des réseaux ou de sécurité sociale. Tout d'abord, il doit être clair que la confrontation technologique ne peut résoudre qu'une partie du problème, et qu'une surveillance, une législation, etc. sont encore nécessaires pour le faire. contrôler les postes criminels.
Actuellement, il existe deux façons de lutter contre la technologie. L'une est du côté de la production, en ajoutant des filigranes numériques au contenu généré par l'IA pour suivre la source du contenu ; l'autre est du côté des applications, en ciblant des fonctionnalités biométriques spécialisées telles que ; comme visages, pour une identification plus précise.
Les filigranes numériques peuvent intégrer des informations d'identification dans des supports numériques. En masquant certains codes ou informations numériques spécifiques dans le support, ils peuvent confirmer et déterminer si le support a été falsifié, fournissant ainsi un mécanisme de protection invisible pour le contenu numérique.OpenAI a déjà déclaré que envisagerait d'ajouter des filigranes à ChatGPT pour réduire l'impact négatif des abus de modèle ; Google a déclaré lors de la conférence des développeurs de cette année qu'il veillerait à ce que chaque image générée par l'IA de l'entreprise soit intégrée à un filigrane , ce filigrane ne peut pas être reconnue à l'œil nu, mais des logiciels tels que le moteur de recherche Google peuvent la lire et l'afficher sous forme d'étiquette pour rappeler aux utilisateurs que l'image a été générée par l'IA. Des applications d'IA telles que Shutterstock et Midjourney prendront également en charge cette nouvelle méthode d'étiquetage ;
Actuellement, en plus des filigranes numériques traditionnels, les filigranes numériques basés sur l'apprentissage profond ont également évolué. Les réseaux neuronaux profonds sont utilisés pour apprendre et intégrer des filigranes numériques, qui sont très résistants à la destructivité et à la robustesse. Cette technologie permet d'incorporer un filigrane numérique de haute résistance et hautement tolérant aux pannes sans perdre la qualité de l'image originale, et peut résister efficacement aux attaques de traitement d'image et aux attaques de stéganalyse. C'est la prochaine grande direction technique.
Côté application, les vidéos de visages synthétiques sont actuellement la « méthode de fraude » la plus utilisée. La plateforme de détection de contenu basée sur DeepFake (deep fake technology) est l’une des solutions actuelles.
Début janvier de cette année, Nvidia a publié un logiciel appelé FakeCatcher, qui prétend être capable de détecter si une vidéo est un deep fake avec une précision allant jusqu'à 96 %.
Selon les rapports, la technologie FakeCatcher d'Intel peut identifier les changements de couleur des veines à mesure que le sang circule dans le corps. Les signaux de flux sanguin sont ensuite collectés sur le visage et traduits par des algorithmes pour déterminer si la vidéo est réelle ou un deepfake. S'il s'agit d'une personne réelle, le sang circule tout le temps dans le corps et les veines de la peau changeront périodiquement, mais pas les personnes deepfake.
▲ Source de l'image Site officiel de Real AI
Il existe également une start-up nationale « Real AI » basée sur des principes techniques similaires. En identifiant la différence de représentation entre le faux contenu et le contenu réel, elle peut exploiter les caractéristiques de cohérence du contenu profondément faux grâce à différentes méthodes de génération.
Contrairement à la sécurité pour l'IA, qui constitue encore une opportunité industrielle relativement émergente, « l'IA pour la sécurité » concerne davantage la transformation et le renforcement du système de sécurité d'origine.
Le premier coup d'oeil à l'IA pour la sécurité est toujours Microsoft. Le 29 mars, après avoir fourni l'assistant Copilot piloté par l'IA pour la suite Office, Microsoft a presque immédiatement tourné son attention vers le domaine de la sécurité et a lancé une nouvelle génération basée sur GPT-4. solution - Microsoft Security Copilot.
Microsoft Security Copilot se concentre toujours sur le concept de copilote d'IA. Il n'implique pas de nouvelles solutions de sécurité, mais un processus entièrement automatisé de surveillance et de traitement de la sécurité d'entreprise originale via l'IA.
▲ Source de l'image Site officiel de Microsoft
À en juger par la démonstration de Microsoft, Security Copilot peut réduire le traitement des incidents de ransomware qui prenaient initialement des heures, voire des dizaines d'heures, à quelques secondes, améliorant ainsi considérablement l'efficacité du traitement de la sécurité de l'entreprise.
L'architecte de sécurité de Microsoft AI, Chang Kawaguchi Kawaguchi, a déclaré un jour : « Le nombre d'attaques augmente, mais le pouvoir des défenseurs est dispersé entre une variété d'outils et de technologies. Nous pensons que Security Copilot devrait changer sa façon de fonctionner et améliorer la sécurité. résultats réels des outils et des technologies. »
Actuellement, les sociétés de sécurité intérieure Qi’anxin et Sangfor suivent également l’évolution dans ce domaine. À l'heure actuelle, cette activité en est encore à ses balbutiements en Chine et les deux sociétés n'ont pas encore annoncé de produits spécifiques, mais elles peuvent réagir à temps et suivre le rythme des géants internationaux.
En avril, Google Cloud a lancé Security AI Workbench au RSAC 2023, une plate-forme évolutive basée sur le grand modèle de sécurité de Google Sec-PaLM. Les entreprises peuvent accéder à différents types de plug-ins de sécurité via Security AI Workbench pour résoudre des problèmes de sécurité spécifiques.
▲ Source : Site officiel de Google
Si Microsoft Security Copilot est un ensemble d'assistants de sécurité personnels encapsulés, Security AI Workbench de Google est un ensemble de boîtes à outils de sécurité IA personnalisables et extensibles.
En bref, une grande tendance est qu’il deviendra une norme d’utiliser l’IA pour créer un centre d’opérations de sécurité automatisé afin de lutter contre l’évolution rapide de la sécurité des réseaux.
Outre les grands fabricants de tête, l'application de grands modèles d'IA dans le domaine de la sécurité entre également dans les capillaires. Par exemple, de nombreuses entreprises de sécurité nationales ont commencé à utiliser l’IA pour transformer les produits de sécurité traditionnels.
Par exemple, Sangfor a proposé la logique « IA + cloud business » et a lancé la technologie d'intégration dimensionnelle intelligente AIOps. Elle collecte les journaux cloud de bureau, les données de liaison et d'indicateur, et effectue la prédiction des pannes, la détection des anomalies, le raisonnement par corrélation et d'autres algorithmes pour fournir aux utilisateurs. avec des services d'analyse intelligents.
La technologie Shanshi intègre les capacités d'IA dans les capacités d'apprentissage automatique des commentaires positifs et négatifs. En termes de formation aux commentaires positifs et d'analyse des comportements anormaux, l'apprentissage basé sur des lignes de base comportementales peut détecter plus précisément les menaces et les anomalies à l'avance et réduire les faux négatifs ; formation aux commentaires négatifs, formation sur le comportement, regroupement des comportements, classification des comportements et détermination des menaces. En outre, certaines entreprises comme Anbotong appliquent l’IA à l’analyse des points sensibles des opérations de sécurité, etc.
À l'étranger, le fournisseur de sécurité open source Armo a publié l'intégration ChatGPT, visant à créer des contrôles de sécurité personnalisés pour les clusters Kubernetes via le langage naturel. Le fournisseur de sécurité cloud Orca Security a publié sa propre extension ChatGPT, capable de gérer les alertes de sécurité générées par la solution et de fournir aux utilisateurs des instructions correctives étape par étape pour gérer les incidents de violation de données.
Bien sûr, en tant que chaîne industrielle mature et énorme, les opportunités de l'IA pour la sécurité sont bien plus que celles-ci. Nous ne faisons ici qu'effleurer la surface. Des opportunités plus profondes et plus vastes dans le domaine de la sécurité doivent encore être explorées par la pratique par les entreprises qui luttent. en première ligne de sécurité.
Plus important encore, j'espère que les entreprises ci-dessus pourront rester terre-à-terre et ne jamais oublier leurs aspirations initiales. Mettez vos rêves d'immensité et de ciel en actions pratiques étape par étape, ne créez pas de concepts et n'attrapez pas le vent, et encore moins ne vous occupez pas du capital et de l'argent chaud, ne laissant que des plumes.
Dans les 10 ans qui ont suivi la naissance d'Internet, le concept et la chaîne industrielle de la sécurité des réseaux ont commencé à prendre forme.
Aujourd'hui, six mois après l'avènement des grands modèles, la sécurité des grands modèles et la prévention de la fraude sont devenues le sujet de conversation dans la rue. Il s'agit d'un mécanisme de défense intégré à la « conscience humaine » après les progrès et les itérations accélérées de la technologie. À mesure que les temps évoluent, il sera déclenché et réinjecté plus rapidement.
Le chaos et la panique d’aujourd’hui ne sont pas terribles, ce sont les étapes de la prochaine ère.
Comme indiqué dans « Une brève histoire de l'humanité » : le comportement humain n'est pas toujours basé sur la raison, et nos décisions sont souvent affectées par les émotions et l'intuition. Mais c’est la partie la plus importante du progrès et du développement.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
