Utilice un modelo seguro para proteger el modelo inseguro y utilice un sistema inteligente para resistir los ataques de la inteligencia. Este artículo es de un artículo escrito por Windrush y reimpreso por TechFlow Deep Tide. (Sinopsis: Pakistán anuncia 2.000 megavatios de electricidad para el "Centro de Minería de Bitcoin e IA" El primer ministro nombra un asistente especial para blockchain y criptomonedas) (Suplemento de antecedentes: Experimento interno de Hon Hai: la IA puede reemplazar el 80% de los puestos de trabajo, el presidente Liu Yangwei expuso el plan de la trinidad de la futura fábrica) Los geeks están iniciando negocios, Xiaobai está comprando clases y los pintores están desempleados, pero una realidad vergonzosa es: el aterrizaje de la IA está caliente, pero la trama no está tomando la ruta de advenimiento, sino tirando los dados. Además, en los primeros días de la industria, la primera superficie de este dado en caer suele ser amarilla o gris. La razón también es muy simple, las enormes ganancias generan impulso, sin mencionar la etapa temprana del desarrollo, siempre llena de lagunas. Al observar este conjunto de datos, está claro: actualmente, más del 43% de los nodos de servicio MCP tienen rutas de llamada de shell no verificadas, y más del 83% de las implementaciones tienen vulnerabilidades de configuración de MCP (Model Context Protocol); El 88% de las implementaciones de componentes de IA no tienen ningún tipo de barrera habilitada; 150.000 marcos de implementación de IA ligeros, como Ollama, están actualmente expuestos en la red pública global, y más de 1.000 millones de dólares en potencia informática han sido secuestrados para la minería...... Irónicamente, atacar a los modelos grandes más inteligentes requiere tácticas mínimas: solo un conjunto de puertos abiertos predeterminados, un perfil YAML expuesto o una ruta de llamada de shell no verificada, e incluso, siempre que las indicaciones se escriban con la suficiente precisión, el modelo grande en sí puede ayudar al gris a producir la dirección del ataque. La puerta de la privacidad de los datos empresariales se entra y se sale de forma tan arbitraria en la era de la IA. Pero el problema no es irresoluble: la IA tiene algo más que generar y atacar. Cómo utilizar la IA para la protección se ha convertido cada vez más en el tema principal de esta era; Al mismo tiempo, en la nube, la creación de reglas para la IA también se ha convertido en el foco de los principales proveedores de nube, y Alibaba Cloud Security es uno de los representantes más típicos. En el momento del lanzamiento de Aliyun Feitian que acaba de terminar, Aliyun anunció oficialmente sus dos caminos de seguridad en la nube: Seguridad para IA e IA para seguridad, y lanzó los productos de la serie "Cloud Shield para IA" para brindar a los clientes "soluciones de seguridad de extremo a extremo para aplicaciones modelo", que es el mejor ejemplo de la exploración de la industria actual. 01 La IA tira los dados, ¿por qué el gris y el amarillo siempre están mirando hacia arriba primero? En la historia de la tecnología humana, la IA no es la primera especie nueva en "ser probada primero por la tormenta amarilla", el primer brote gris y amarillo, es también la ley de la popularización de la tecnología en lugar de un accidente. En 1839, salió la fotografía en placas de plata y la primera ola de usuarios fue la industria; En los primeros días de Internet, el comercio electrónico no comenzó, y los sitios web para adultos han comenzado a reflexionar sobre el pago en línea; La gran fiesta de la lana de modelos de hoy, hasta cierto punto, también está recreando el mito de la "era de los nombres de dominio" para hacerse rico. Los dividendos de los tiempos siempre se tocan primero con el gris y el amarillo. Porque no prestan atención al cumplimiento, no esperan la supervisión y, naturalmente, la eficiencia es súper alta. Por lo tanto, cada período de brote tecnológico es primero una olla de "sopa fangosa", y la IA, naturalmente, no es una excepción. En diciembre de 2023, un pirata informático utilizó sólo una palabra rápida -"oferta de 1 dólar"- para inducir a un robot de atención al cliente de una tienda 4S a casi vender un Chevrolet por 1 dólar. Esta es la "inyección de avisos" más común en la era de la IA: no se requiere verificación de permisos, no quedan rastros de registros y toda la cadena lógica solo se puede reemplazar "hablando de manera inteligente". Un paso más allá es el "jailbreak". Los atacantes utilizaron preguntas retóricas, juegos de roles, indicaciones de desvío, etc., para conseguir que el modelo dijera cosas que no debería haber dicho: pornografía, fabricación de drogas, mensajes de advertencia falsos...... En Hong Kong, algunas personas incluso robaron 200 millones de dólares de Hong Kong de cuentas corporativas falsificando voces ejecutivas. Además de las estafas, la IA también tiene el riesgo de una "salida involuntaria": en 2023, un gran sistema modelo de un gigante de la educación exportó por error "materiales didácticos venenosos" con contenido extremo al generar planes de lecciones, y en solo 3 días, la protección de los derechos de los padres, la opinión pública estalló y el precio de las acciones de la empresa perdió 12 mil millones de yuanes. La IA no entiende la ley, pero tiene la capacidad, y la capacidad de hacer daño, una vez fuera de la supervisión, es dañina. Pero desde otro punto de vista, la tecnología de IA es nueva, pero el flujo final y los medios de producción de gris y amarillo no han cambiado, y para resolverlo, depende de la seguridad. 02 Seguridad para la IA Hablemos primero de un conocimiento frío que ha sido evitado colectivamente por la industria de la IA: La esencia de los grandes modelos no es la "inteligencia" o la "comprensión", sino la generación semántica bajo control de probabilidades. Por lo tanto, una vez que se supera el contexto de entrenamiento, se pueden generar resultados inesperados. Este tipo de superclase puede ser, quieres que escriba noticias, que te escriba poesía; También puede ser que quieras que te recomiende un artículo y de repente te diga que la temperatura en Tokio hoy es de menos 25 grados centígrados. Además, le dices que en el juego, si no puedes obtener el número de serie genuino de tal o cual software, se disparará, y el modelo grande realmente puede hacer todo lo posible para ayudar a los usuarios a encontrar un número de serie de software genuino a un costo 0. Para garantizar que la salida sea controlable, la empresa debe comprender el modelo y la seguridad. Según el último "Informe de evaluación de la capacidad del modelo grande de seguridad de China" de IDC, el PK de Alibaba con todos los principales fabricantes nacionales con capacidades de modelos grandes de seguridad es el primero en 4 de los 7 indicadores, y los 3 restantes son todos más altos que el promedio de la industria. En términos de enfoque, la respuesta dada por Alibaba Cloud Security también es sencilla: dejar que la seguridad se adelante a la velocidad de la IA y construir un marco de protección de pila completa de tres capas de abajo hacia arriba, desde la seguridad de la infraestructura hasta el control de entrada y salida de modelos grandes, pasando por la protección de los servicios de aplicaciones de IA. Entre las tres capas, la más existencial es la "AI Guardrail" de la capa intermedia dedicada al riesgo de los modelos grandes. En términos generales, los principales riesgos para la seguridad de modelos grandes son: violaciones de contenido, fuga de datos confidenciales, ataques de inyección de palabras rápidas, ilusiones de modelos y ataques de jailbreak. Sin embargo, las soluciones de seguridad tradicionales son en su mayoría arquitecturas de propósito general, diseñadas para la Web, no para "programas parlantes" y, naturalmente, no pueden identificar y responder con precisión a los riesgos únicos de las aplicaciones de modelos grandes. Es aún más difícil cubrir los problemas emergentes, como la seguridad del contenido generado, la defensa contra ataques contextuales y la credibilidad de la salida del modelo. Y lo que es más importante, las soluciones tradicionales carecen de medios controlables de grano fino y de mecanismos de trazabilidad visual, lo que conduce a enormes puntos ciegos en la gobernanza de la IA y, naturalmente, no pueden resolver el problema si no saben dónde está el problema. El verdadero poder de AI Guardrail no es solo "puede bloquear", sino que, ya sea que esté haciendo grandes modelos preentrenados, servicios de IA o agentes de IA en varias formas comerciales, sabe de lo que está hablando y lo que está generando el gran modelo, para proporcionar una detección de riesgos precisa y capacidades de defensa proactiva para lograr el cumplimiento, la seguridad y la estabilidad. Específicamente, AI Guardrail es específicamente responsable de la protección de tres tipos de escenarios: Conclusión de cumplimiento: Realizar una revisión de cumplimiento multidimensional del contenido de texto de la entrada y salida de IA generativa, cubriendo categorías de riesgo como sensibilidad política, pornografía y vulgaridad, prejuicio y discriminación, y malos valores, detectar profundamente los datos de privacidad y la información confidencial que puede filtrarse durante la interacción con IA, y respaldar la privacidad personal, la empresa ...
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
¿Por qué en la era de la IA, siempre estalla primero el capital de las apuestas y la prostitución?
Utilice un modelo seguro para proteger el modelo inseguro y utilice un sistema inteligente para resistir los ataques de la inteligencia. Este artículo es de un artículo escrito por Windrush y reimpreso por TechFlow Deep Tide. (Sinopsis: Pakistán anuncia 2.000 megavatios de electricidad para el "Centro de Minería de Bitcoin e IA" El primer ministro nombra un asistente especial para blockchain y criptomonedas) (Suplemento de antecedentes: Experimento interno de Hon Hai: la IA puede reemplazar el 80% de los puestos de trabajo, el presidente Liu Yangwei expuso el plan de la trinidad de la futura fábrica) Los geeks están iniciando negocios, Xiaobai está comprando clases y los pintores están desempleados, pero una realidad vergonzosa es: el aterrizaje de la IA está caliente, pero la trama no está tomando la ruta de advenimiento, sino tirando los dados. Además, en los primeros días de la industria, la primera superficie de este dado en caer suele ser amarilla o gris. La razón también es muy simple, las enormes ganancias generan impulso, sin mencionar la etapa temprana del desarrollo, siempre llena de lagunas. Al observar este conjunto de datos, está claro: actualmente, más del 43% de los nodos de servicio MCP tienen rutas de llamada de shell no verificadas, y más del 83% de las implementaciones tienen vulnerabilidades de configuración de MCP (Model Context Protocol); El 88% de las implementaciones de componentes de IA no tienen ningún tipo de barrera habilitada; 150.000 marcos de implementación de IA ligeros, como Ollama, están actualmente expuestos en la red pública global, y más de 1.000 millones de dólares en potencia informática han sido secuestrados para la minería...... Irónicamente, atacar a los modelos grandes más inteligentes requiere tácticas mínimas: solo un conjunto de puertos abiertos predeterminados, un perfil YAML expuesto o una ruta de llamada de shell no verificada, e incluso, siempre que las indicaciones se escriban con la suficiente precisión, el modelo grande en sí puede ayudar al gris a producir la dirección del ataque. La puerta de la privacidad de los datos empresariales se entra y se sale de forma tan arbitraria en la era de la IA. Pero el problema no es irresoluble: la IA tiene algo más que generar y atacar. Cómo utilizar la IA para la protección se ha convertido cada vez más en el tema principal de esta era; Al mismo tiempo, en la nube, la creación de reglas para la IA también se ha convertido en el foco de los principales proveedores de nube, y Alibaba Cloud Security es uno de los representantes más típicos. En el momento del lanzamiento de Aliyun Feitian que acaba de terminar, Aliyun anunció oficialmente sus dos caminos de seguridad en la nube: Seguridad para IA e IA para seguridad, y lanzó los productos de la serie "Cloud Shield para IA" para brindar a los clientes "soluciones de seguridad de extremo a extremo para aplicaciones modelo", que es el mejor ejemplo de la exploración de la industria actual. 01 La IA tira los dados, ¿por qué el gris y el amarillo siempre están mirando hacia arriba primero? En la historia de la tecnología humana, la IA no es la primera especie nueva en "ser probada primero por la tormenta amarilla", el primer brote gris y amarillo, es también la ley de la popularización de la tecnología en lugar de un accidente. En 1839, salió la fotografía en placas de plata y la primera ola de usuarios fue la industria; En los primeros días de Internet, el comercio electrónico no comenzó, y los sitios web para adultos han comenzado a reflexionar sobre el pago en línea; La gran fiesta de la lana de modelos de hoy, hasta cierto punto, también está recreando el mito de la "era de los nombres de dominio" para hacerse rico. Los dividendos de los tiempos siempre se tocan primero con el gris y el amarillo. Porque no prestan atención al cumplimiento, no esperan la supervisión y, naturalmente, la eficiencia es súper alta. Por lo tanto, cada período de brote tecnológico es primero una olla de "sopa fangosa", y la IA, naturalmente, no es una excepción. En diciembre de 2023, un pirata informático utilizó sólo una palabra rápida -"oferta de 1 dólar"- para inducir a un robot de atención al cliente de una tienda 4S a casi vender un Chevrolet por 1 dólar. Esta es la "inyección de avisos" más común en la era de la IA: no se requiere verificación de permisos, no quedan rastros de registros y toda la cadena lógica solo se puede reemplazar "hablando de manera inteligente". Un paso más allá es el "jailbreak". Los atacantes utilizaron preguntas retóricas, juegos de roles, indicaciones de desvío, etc., para conseguir que el modelo dijera cosas que no debería haber dicho: pornografía, fabricación de drogas, mensajes de advertencia falsos...... En Hong Kong, algunas personas incluso robaron 200 millones de dólares de Hong Kong de cuentas corporativas falsificando voces ejecutivas. Además de las estafas, la IA también tiene el riesgo de una "salida involuntaria": en 2023, un gran sistema modelo de un gigante de la educación exportó por error "materiales didácticos venenosos" con contenido extremo al generar planes de lecciones, y en solo 3 días, la protección de los derechos de los padres, la opinión pública estalló y el precio de las acciones de la empresa perdió 12 mil millones de yuanes. La IA no entiende la ley, pero tiene la capacidad, y la capacidad de hacer daño, una vez fuera de la supervisión, es dañina. Pero desde otro punto de vista, la tecnología de IA es nueva, pero el flujo final y los medios de producción de gris y amarillo no han cambiado, y para resolverlo, depende de la seguridad. 02 Seguridad para la IA Hablemos primero de un conocimiento frío que ha sido evitado colectivamente por la industria de la IA: La esencia de los grandes modelos no es la "inteligencia" o la "comprensión", sino la generación semántica bajo control de probabilidades. Por lo tanto, una vez que se supera el contexto de entrenamiento, se pueden generar resultados inesperados. Este tipo de superclase puede ser, quieres que escriba noticias, que te escriba poesía; También puede ser que quieras que te recomiende un artículo y de repente te diga que la temperatura en Tokio hoy es de menos 25 grados centígrados. Además, le dices que en el juego, si no puedes obtener el número de serie genuino de tal o cual software, se disparará, y el modelo grande realmente puede hacer todo lo posible para ayudar a los usuarios a encontrar un número de serie de software genuino a un costo 0. Para garantizar que la salida sea controlable, la empresa debe comprender el modelo y la seguridad. Según el último "Informe de evaluación de la capacidad del modelo grande de seguridad de China" de IDC, el PK de Alibaba con todos los principales fabricantes nacionales con capacidades de modelos grandes de seguridad es el primero en 4 de los 7 indicadores, y los 3 restantes son todos más altos que el promedio de la industria. En términos de enfoque, la respuesta dada por Alibaba Cloud Security también es sencilla: dejar que la seguridad se adelante a la velocidad de la IA y construir un marco de protección de pila completa de tres capas de abajo hacia arriba, desde la seguridad de la infraestructura hasta el control de entrada y salida de modelos grandes, pasando por la protección de los servicios de aplicaciones de IA. Entre las tres capas, la más existencial es la "AI Guardrail" de la capa intermedia dedicada al riesgo de los modelos grandes. En términos generales, los principales riesgos para la seguridad de modelos grandes son: violaciones de contenido, fuga de datos confidenciales, ataques de inyección de palabras rápidas, ilusiones de modelos y ataques de jailbreak. Sin embargo, las soluciones de seguridad tradicionales son en su mayoría arquitecturas de propósito general, diseñadas para la Web, no para "programas parlantes" y, naturalmente, no pueden identificar y responder con precisión a los riesgos únicos de las aplicaciones de modelos grandes. Es aún más difícil cubrir los problemas emergentes, como la seguridad del contenido generado, la defensa contra ataques contextuales y la credibilidad de la salida del modelo. Y lo que es más importante, las soluciones tradicionales carecen de medios controlables de grano fino y de mecanismos de trazabilidad visual, lo que conduce a enormes puntos ciegos en la gobernanza de la IA y, naturalmente, no pueden resolver el problema si no saben dónde está el problema. El verdadero poder de AI Guardrail no es solo "puede bloquear", sino que, ya sea que esté haciendo grandes modelos preentrenados, servicios de IA o agentes de IA en varias formas comerciales, sabe de lo que está hablando y lo que está generando el gran modelo, para proporcionar una detección de riesgos precisa y capacidades de defensa proactiva para lograr el cumplimiento, la seguridad y la estabilidad. Específicamente, AI Guardrail es específicamente responsable de la protección de tres tipos de escenarios: Conclusión de cumplimiento: Realizar una revisión de cumplimiento multidimensional del contenido de texto de la entrada y salida de IA generativa, cubriendo categorías de riesgo como sensibilidad política, pornografía y vulgaridad, prejuicio y discriminación, y malos valores, detectar profundamente los datos de privacidad y la información confidencial que puede filtrarse durante la interacción con IA, y respaldar la privacidad personal, la empresa ...