Utilisez un modèle sécurisé pour protéger le modèle non sécurisé et utilisez un système intelligent pour résister aux attaques des services de renseignement. Cet article est tiré d’un article écrit par Windrush et réimprimé par TechFlow Deep Tide. (Synopsis : Le Pakistan annonce 2 000 mégawatts d’électricité pour le « Bitcoin Mining and AI Center » Le Premier ministre nomme un assistant spécial pour la blockchain et les crypto-monnaies) (Supplément de contexte : Expérience interne de Hon Hai : L’IA peut remplacer 80% des emplois, le président Liu Yangwei a exposé le plan de la trinité de l’usine du futur) Les geeks créent des entreprises, Xiaobai achète des cours et les peintres sont au chômage, mais une réalité embarrassante est : l’atterrissage de l’IA est chaud, mais l’intrigue ne prend pas la voie de l’avènement, mais lance les dés. De plus, aux débuts de l’industrie, la première surface de ce dé à atterrir est souvent jaune ou grise. La raison est aussi très simple, d’énormes bénéfices génèrent de l’élan, sans parler des premiers stades de développement, toujours pleins de failles. En regardant cet ensemble de données, il est clair : actuellement, plus de 43 % des nœuds de service MCP ont des chemins d’appel shell non vérifiés, et plus de 83 % des déploiements ont des vulnérabilités de configuration MCP (Model Context Protocol) ; 88 % des déploiements de composants d’IA n’ont aucune forme de garde-fous activés ; 150 000 cadres de déploiement d’IA légers tels qu’Ollama sont actuellement exposés sur le réseau public mondial, et plus d’un milliard de dollars de puissance de calcul a été détourné pour l’exploitation minière...... Ironiquement, l’attaque des grands modèles les plus intelligents nécessite des tactiques minimales : il suffit d’un ensemble de ports ouverts par défaut, d’un profil YAML exposé ou d’un chemin d’appel d’interpréteur de commandes non vérifié, et même, tant que les invites sont tapées avec suffisamment de précision, le grand modèle lui-même peut aider à produire la direction de l’attaque. À l’ère de l’IA, la porte de la confidentialité des données d’entreprise est si arbitrairement franchie et retirée. Mais le problème n’est pas insoluble : l’IA ne se contente pas de générer et d’attaquer. L’utilisation de l’IA pour la protection est de plus en plus devenue le thème principal de notre époque. Dans le même temps, sur le cloud, l’élaboration de règles pour l’IA est également devenue l’objectif des principaux fournisseurs de cloud, et Alibaba Cloud Security est l’un des représentants les plus typiques. Au moment de la sortie d’Aliyun Feitian qui vient de se terminer, Aliyun a officiellement annoncé ses deux voies de sécurité du cloud : la sécurité pour l’IA et l’IA pour la sécurité, et a lancé les produits de la série « Cloud Shield for AI » pour fournir aux clients des « solutions de sécurité de bout en bout pour les applications modèles », ce qui est le meilleur exemple de l’exploration de l’industrie actuelle. 01 L’IA lance les dés, pourquoi le gris et le jaune sont-ils toujours face visible en premier ? Dans l’histoire de la technologie humaine, l’IA n’est pas la première nouvelle espèce à « être testée par la tempête jaune en premier », l’épidémie grise et jaune en premier, c’est aussi la loi de la vulgarisation technologique plutôt qu’un accident. En 1839, la photographie sur plaque d’argent est apparue, et la première vague d’utilisateurs a été l’industrie ; Aux débuts d’Internet, le commerce électronique n’a pas démarré et les sites Web pour adultes ont commencé à réfléchir au paiement en ligne ; La fête de la laine des grands modèles d’aujourd’hui, dans une certaine mesure, est aussi en train de recréer le mythe de « l’ère des noms de domaine » de l’enrichissement. Les dividendes de l’époque sont toujours touchés en premier par le gris et le jaune. Parce qu’ils ne font pas attention à la conformité, n’attendent pas la supervision et l’efficacité est naturellement très élevée. Par conséquent, chaque période d’épidémie technologique est d’abord une marmite de « soupe boueuse », et l’IA ne fait naturellement pas exception. En décembre 2023, un pirate informatique n’a utilisé qu’un mot rapide - « offre de 1 $ » - pour inciter un robot de service client dans un magasin 4S à presque vendre une Chevrolet pour 1 $. Il s’agit de l'« injection rapide » la plus courante à l’ère de l’IA : aucune vérification d’autorisation n’est requise, aucune trace de journal n’est laissée et la chaîne logique entière ne peut être remplacée qu’en « parlant intelligemment ». Un pas plus loin est le « jailbreak ». Les attaquants ont utilisé des questions rhétoriques, des jeux de rôle, des déviations, etc., pour réussir à faire dire au modèle des choses qu’il n’aurait pas dû dire : pornographie, fabrication de drogues, faux messages d’avertissement...... À Hong Kong, certaines personnes ont même volé 200 millions de dollars de Hong Kong sur des comptes d’entreprise en falsifiant les voix des dirigeants. En plus des escroqueries, l’IA présente également le risque d’une « production involontaire » : en 2023, un grand système modèle d’un géant de l’éducation a exporté par erreur du « matériel pédagogique toxique » avec un contenu extrême lors de la génération de plans de cours, et en seulement 3 jours, la protection des droits des parents, l’opinion publique ont éclaté et le cours de l’action de l’entreprise a perdu 12 milliards de yuans. L’IA ne comprend pas la loi, mais elle en a la capacité, et la capacité de nuire, une fois hors de surveillance, est nuisible. Mais d’un autre point de vue, la technologie de l’IA est nouvelle, mais le flux final et les moyens de production de gris et de jaune sont inchangés, et pour le résoudre, cela dépend de la sécurité. 02 Sécurité pour l’IA Parlons d’abord d’une connaissance froide qui a été collectivement évitée par l’industrie de l’IA : l’essence des grands modèles n’est pas « l’intelligence » ou la « compréhension », mais la génération sémantique sous contrôle de probabilité. Par conséquent, une fois que le contexte de formation est dépassé, des résultats inattendus peuvent être obtenus. Ce genre de superclasse peut être, vous voulez qu’elle écrive des nouvelles, qu’elle vous écrive de la poésie ; Il se peut également que vous souhaitiez qu’il recommande un article et qu’il vous dise soudainement que la température à Tokyo aujourd’hui est de moins 25 degrés Celsius. De plus, vous lui dites que dans le jeu, si vous ne pouvez pas obtenir le véritable numéro de série de tel ou tel logiciel, il sera abattu, et le grand modèle peut vraiment faire de son mieux pour aider les utilisateurs à trouver un véritable numéro de série de logiciel à 0 coût. Afin de s’assurer que la sortie est contrôlable, l’entreprise doit comprendre le modèle et la sécurité. Selon le dernier rapport d’IDC sur l’évaluation des capacités des grands modèles de sécurité en Chine, le PK d’Alibaba, avec tous les principaux fabricants nationaux dotés de capacités de grands modèles de sécurité, est le premier dans 4 des 7 indicateurs, et les 3 autres sont tous supérieurs à la moyenne de l’industrie. En termes d’approche, la réponse donnée par Alibaba Cloud Security est également simple : laissez la sécurité fonctionner avant la vitesse de l’IA et créez un cadre de protection complet à trois couches de bas en haut - de la sécurité de l’infrastructure au contrôle des entrées et sorties de grands modèles, en passant par la protection des services d’application d’IA. Parmi les trois couches, la plus existentielle est le « AI Guardrail » de la couche intermédiaire dédiée au risque des grands modèles. D’une manière générale, les principaux risques pour la sécurité des grands modèles sont : les violations de contenu, les fuites de données sensibles, les attaques par injection de mots rapides, les illusions de modèle et les attaques de jailbreak. Cependant, les solutions de sécurité traditionnelles sont principalement des architectures à usage général, conçues pour le Web, et non pour des « programmes parlants », et ne peuvent naturellement pas identifier et répondre avec précision aux risques propres aux applications de grands modèles. Il est encore plus difficile de couvrir les problèmes émergents tels que la sécurité du contenu généré, la défense contre les attaques contextuelles et la crédibilité de la sortie du modèle. Plus important encore, les solutions traditionnelles manquent de moyens contrôlables fins et de mécanismes de traçabilité visuelle, ce qui conduit à d’énormes angles morts dans la gouvernance de l’IA, et elles ne peuvent naturellement pas résoudre le problème si elles ne savent pas où se trouve le problème. La véritable puissance d’AI Guardrail n’est pas seulement qu’il peut bloquer, mais que vous réalisiez de grands modèles pré-entraînés, des services d’IA ou des agents d’IA sous diverses formes commerciales, il sait de quoi vous parlez et ce que le grand modèle génère, afin de fournir une détection précise des risques et des capacités de défense proactives pour atteindre la conformité, la sécurité et la stabilité. Plus précisément, AI Guardrail est spécifiquement responsable de la protection de trois types de scénarios : Conclusion de la conformité : Effectuer un examen de conformité multidimensionnel du contenu textuel de l’entrée et de la sortie de l’IA générative, couvrant les catégories de risque telles que la sensibilité politique, la pornographie et la vulgarité, les préjugés et la discrimination, et les mauvaises valeurs, détecter en profondeur les données de confidentialité et les informations sensibles qui peuvent être divulguées lors de l’interaction avec l’IA, et soutenir la vie privée, l’entreprise ...
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Pourquoi, à l'ère de l'IA, les fonds liés à la pornographie et aux jeux d'argent explosent-ils toujours en premier ?
Utilisez un modèle sécurisé pour protéger le modèle non sécurisé et utilisez un système intelligent pour résister aux attaques des services de renseignement. Cet article est tiré d’un article écrit par Windrush et réimprimé par TechFlow Deep Tide. (Synopsis : Le Pakistan annonce 2 000 mégawatts d’électricité pour le « Bitcoin Mining and AI Center » Le Premier ministre nomme un assistant spécial pour la blockchain et les crypto-monnaies) (Supplément de contexte : Expérience interne de Hon Hai : L’IA peut remplacer 80% des emplois, le président Liu Yangwei a exposé le plan de la trinité de l’usine du futur) Les geeks créent des entreprises, Xiaobai achète des cours et les peintres sont au chômage, mais une réalité embarrassante est : l’atterrissage de l’IA est chaud, mais l’intrigue ne prend pas la voie de l’avènement, mais lance les dés. De plus, aux débuts de l’industrie, la première surface de ce dé à atterrir est souvent jaune ou grise. La raison est aussi très simple, d’énormes bénéfices génèrent de l’élan, sans parler des premiers stades de développement, toujours pleins de failles. En regardant cet ensemble de données, il est clair : actuellement, plus de 43 % des nœuds de service MCP ont des chemins d’appel shell non vérifiés, et plus de 83 % des déploiements ont des vulnérabilités de configuration MCP (Model Context Protocol) ; 88 % des déploiements de composants d’IA n’ont aucune forme de garde-fous activés ; 150 000 cadres de déploiement d’IA légers tels qu’Ollama sont actuellement exposés sur le réseau public mondial, et plus d’un milliard de dollars de puissance de calcul a été détourné pour l’exploitation minière...... Ironiquement, l’attaque des grands modèles les plus intelligents nécessite des tactiques minimales : il suffit d’un ensemble de ports ouverts par défaut, d’un profil YAML exposé ou d’un chemin d’appel d’interpréteur de commandes non vérifié, et même, tant que les invites sont tapées avec suffisamment de précision, le grand modèle lui-même peut aider à produire la direction de l’attaque. À l’ère de l’IA, la porte de la confidentialité des données d’entreprise est si arbitrairement franchie et retirée. Mais le problème n’est pas insoluble : l’IA ne se contente pas de générer et d’attaquer. L’utilisation de l’IA pour la protection est de plus en plus devenue le thème principal de notre époque. Dans le même temps, sur le cloud, l’élaboration de règles pour l’IA est également devenue l’objectif des principaux fournisseurs de cloud, et Alibaba Cloud Security est l’un des représentants les plus typiques. Au moment de la sortie d’Aliyun Feitian qui vient de se terminer, Aliyun a officiellement annoncé ses deux voies de sécurité du cloud : la sécurité pour l’IA et l’IA pour la sécurité, et a lancé les produits de la série « Cloud Shield for AI » pour fournir aux clients des « solutions de sécurité de bout en bout pour les applications modèles », ce qui est le meilleur exemple de l’exploration de l’industrie actuelle. 01 L’IA lance les dés, pourquoi le gris et le jaune sont-ils toujours face visible en premier ? Dans l’histoire de la technologie humaine, l’IA n’est pas la première nouvelle espèce à « être testée par la tempête jaune en premier », l’épidémie grise et jaune en premier, c’est aussi la loi de la vulgarisation technologique plutôt qu’un accident. En 1839, la photographie sur plaque d’argent est apparue, et la première vague d’utilisateurs a été l’industrie ; Aux débuts d’Internet, le commerce électronique n’a pas démarré et les sites Web pour adultes ont commencé à réfléchir au paiement en ligne ; La fête de la laine des grands modèles d’aujourd’hui, dans une certaine mesure, est aussi en train de recréer le mythe de « l’ère des noms de domaine » de l’enrichissement. Les dividendes de l’époque sont toujours touchés en premier par le gris et le jaune. Parce qu’ils ne font pas attention à la conformité, n’attendent pas la supervision et l’efficacité est naturellement très élevée. Par conséquent, chaque période d’épidémie technologique est d’abord une marmite de « soupe boueuse », et l’IA ne fait naturellement pas exception. En décembre 2023, un pirate informatique n’a utilisé qu’un mot rapide - « offre de 1 $ » - pour inciter un robot de service client dans un magasin 4S à presque vendre une Chevrolet pour 1 $. Il s’agit de l'« injection rapide » la plus courante à l’ère de l’IA : aucune vérification d’autorisation n’est requise, aucune trace de journal n’est laissée et la chaîne logique entière ne peut être remplacée qu’en « parlant intelligemment ». Un pas plus loin est le « jailbreak ». Les attaquants ont utilisé des questions rhétoriques, des jeux de rôle, des déviations, etc., pour réussir à faire dire au modèle des choses qu’il n’aurait pas dû dire : pornographie, fabrication de drogues, faux messages d’avertissement...... À Hong Kong, certaines personnes ont même volé 200 millions de dollars de Hong Kong sur des comptes d’entreprise en falsifiant les voix des dirigeants. En plus des escroqueries, l’IA présente également le risque d’une « production involontaire » : en 2023, un grand système modèle d’un géant de l’éducation a exporté par erreur du « matériel pédagogique toxique » avec un contenu extrême lors de la génération de plans de cours, et en seulement 3 jours, la protection des droits des parents, l’opinion publique ont éclaté et le cours de l’action de l’entreprise a perdu 12 milliards de yuans. L’IA ne comprend pas la loi, mais elle en a la capacité, et la capacité de nuire, une fois hors de surveillance, est nuisible. Mais d’un autre point de vue, la technologie de l’IA est nouvelle, mais le flux final et les moyens de production de gris et de jaune sont inchangés, et pour le résoudre, cela dépend de la sécurité. 02 Sécurité pour l’IA Parlons d’abord d’une connaissance froide qui a été collectivement évitée par l’industrie de l’IA : l’essence des grands modèles n’est pas « l’intelligence » ou la « compréhension », mais la génération sémantique sous contrôle de probabilité. Par conséquent, une fois que le contexte de formation est dépassé, des résultats inattendus peuvent être obtenus. Ce genre de superclasse peut être, vous voulez qu’elle écrive des nouvelles, qu’elle vous écrive de la poésie ; Il se peut également que vous souhaitiez qu’il recommande un article et qu’il vous dise soudainement que la température à Tokyo aujourd’hui est de moins 25 degrés Celsius. De plus, vous lui dites que dans le jeu, si vous ne pouvez pas obtenir le véritable numéro de série de tel ou tel logiciel, il sera abattu, et le grand modèle peut vraiment faire de son mieux pour aider les utilisateurs à trouver un véritable numéro de série de logiciel à 0 coût. Afin de s’assurer que la sortie est contrôlable, l’entreprise doit comprendre le modèle et la sécurité. Selon le dernier rapport d’IDC sur l’évaluation des capacités des grands modèles de sécurité en Chine, le PK d’Alibaba, avec tous les principaux fabricants nationaux dotés de capacités de grands modèles de sécurité, est le premier dans 4 des 7 indicateurs, et les 3 autres sont tous supérieurs à la moyenne de l’industrie. En termes d’approche, la réponse donnée par Alibaba Cloud Security est également simple : laissez la sécurité fonctionner avant la vitesse de l’IA et créez un cadre de protection complet à trois couches de bas en haut - de la sécurité de l’infrastructure au contrôle des entrées et sorties de grands modèles, en passant par la protection des services d’application d’IA. Parmi les trois couches, la plus existentielle est le « AI Guardrail » de la couche intermédiaire dédiée au risque des grands modèles. D’une manière générale, les principaux risques pour la sécurité des grands modèles sont : les violations de contenu, les fuites de données sensibles, les attaques par injection de mots rapides, les illusions de modèle et les attaques de jailbreak. Cependant, les solutions de sécurité traditionnelles sont principalement des architectures à usage général, conçues pour le Web, et non pour des « programmes parlants », et ne peuvent naturellement pas identifier et répondre avec précision aux risques propres aux applications de grands modèles. Il est encore plus difficile de couvrir les problèmes émergents tels que la sécurité du contenu généré, la défense contre les attaques contextuelles et la crédibilité de la sortie du modèle. Plus important encore, les solutions traditionnelles manquent de moyens contrôlables fins et de mécanismes de traçabilité visuelle, ce qui conduit à d’énormes angles morts dans la gouvernance de l’IA, et elles ne peuvent naturellement pas résoudre le problème si elles ne savent pas où se trouve le problème. La véritable puissance d’AI Guardrail n’est pas seulement qu’il peut bloquer, mais que vous réalisiez de grands modèles pré-entraînés, des services d’IA ou des agents d’IA sous diverses formes commerciales, il sait de quoi vous parlez et ce que le grand modèle génère, afin de fournir une détection précise des risques et des capacités de défense proactives pour atteindre la conformité, la sécurité et la stabilité. Plus précisément, AI Guardrail est spécifiquement responsable de la protection de trois types de scénarios : Conclusion de la conformité : Effectuer un examen de conformité multidimensionnel du contenu textuel de l’entrée et de la sortie de l’IA générative, couvrant les catégories de risque telles que la sensibilité politique, la pornographie et la vulgarité, les préjugés et la discrimination, et les mauvaises valeurs, détecter en profondeur les données de confidentialité et les informations sensibles qui peuvent être divulguées lors de l’interaction avec l’IA, et soutenir la vie privée, l’entreprise ...