Fuente de la imagen: generada por la herramienta de IA ilimitada
Este examen de ingreso a la universidad debería ser el más especial de los últimos cinco años. Porque hay un nuevo rol: candidatos de IA.
Tan pronto como terminó el examen de chino del primer día, se lanzó un concurso de composición de IA en Internet. Las personas utilizan modelos de IA como GhatGPT, Wenxin Yiyan y Tongyi Qianwen para escribir ensayos para los exámenes de ingreso a la universidad. Se puede generar un artículo en unos pocos segundos, que no solo es sorprendentemente rápido, lógicamente riguroso, sino que también cita clásicos.
A primera vista, la escritura de modelos a gran escala de IA es simplemente demasiado fácil y parece ser un golpe para los seres humanos. Después de todo, en términos de reservas de conocimiento, nadie puede compararse con la IA. AI aprende y digiere toda la información en Internet, y luego imita las expresiones humanas y usa su propia lógica para generar resultados.
Sin embargo, si analizamos cuidadosamente las "hojas de respuestas" de los candidatos a la IA, encontraremos que la IA no es tan omnipotente como mucha gente imagina. También aparecen en la composición problemas como la escritura rutinaria, la incapacidad para contar y las tonterías que son comunes en los modelos grandes de IA.
**De hecho, de acuerdo con los estándares de puntuación para los ensayos de examen de ingreso a la universidad, los ensayos generados por IA tienen algunas limitaciones. Todavía no es realista derrotar a los humanos. **
Deep AI probó tres grandes modelos de IA: GhatGPT (OpenAI), Wenxin Yiyan (Baidu) y Tongyi Qianwen (Ali), con la composición del examen de ingreso a la universidad, y encontró algunas conclusiones interesantes.
Por ejemplo, la IA no sabe contar, y ninguno de los ensayos escritos por Wenxin Yiyan y Tongyiqianqian han alcanzado el requisito rígido de "no menos de 800 palabras"; Said; La escritura de IA es básicamente inseparable de las rutinas, y una plantilla es aplicado repetidamente.
Los siguientes son los detalles, bienvenidos a discutir.
1 Un contestador automático sin emociones
El tema del examen A de ingreso a la universidad nacional de este año es "Personas·Tecnología·Tiempo". Debe comenzar con la oración "Las personas tienen un mejor control sobre el tiempo debido al desarrollo tecnológico, pero algunas personas se han convertido en sirvientes del tiempo" y escribir sus propias asociaciones y pensar.
Primero echemos un vistazo al "Análisis de las preguntas de la prueba" emitido por el Instituto de Examen Educativo del Ministerio de Educación:
**Puntos clave: Guíe a los candidatos para que piensen profundamente sobre la importancia del análisis racional y el juicio prudente en la era de la información. Este es el núcleo del artículo. **
Deep AI probó tres modelos grandes y descubrió que ninguno de ellos captaba el núcleo: hablaban de todo, pero no decían nada.
Primer vistazo a la composición de GhatGPT:
Mira las palabras de Wenxin nuevamente:
Finalmente, mire la pregunta de Tong Yiqian:
Estos tres ensayos pueden llamarse los principales "maestros de Duan Shui". Hablaron sobre los pros y los contras del tema, pero no explicaron completamente el punto del "pensamiento crítico". Solo Wenxin mencionó claramente "el cultivo del pensamiento profundo y el pensamiento crítico".
La composición de Tongyi Qianwen es la más vacía. Se centra en la "gestión del tiempo", que se desvía del tema, y la verdad de la discusión también es sentido común. Además, la composición de Tongyi Qianwen no tiene título y se deducirán puntos.
Usemos la pregunta de prueba de composición "El poder de la historia" en el Volumen I del nuevo estándar del plan de estudios para ver el desempeño de las tres escuelas.
Esta composición requiere que escribas tus propias asociaciones y pensamientos basados en el siguiente pasaje: una buena historia puede ayudarnos a expresarnos y comunicarnos mejor, tocar el corazón e iluminar la sabiduría; una buena historia puede cambiar el destino de una persona, puede presentar la imagen de un nación... Las historias tienen poder.
Composición de GhatGPT:
Literalmente:
Preguntas frecuentes:
Hay que decir que, aparte de la composición relativamente simple de Tongyi Qianwen, la expresión, la lógica de la escritura y especialmente el uso de palabras en los otros dos artículos son notables. En particular, Wen Xinyiyan utiliza un método de apertura basado en escenas, que es llamativo.
Pero el problema también es obvio: ** Se dice lo mismo una y otra vez con diferentes palabras, lo que resulta en la lectura del texto completo, dando a las personas la sensación de "Sé lo que dijiste". **
Un contestador automático sin emociones, esta es la evaluación de muchas personas.
"El contenido está vacío, y las ruedas cambian y hablan de un lado a otro", comentaron algunas personas. Otro dijo: "Son puras tonterías sin nutrición".
Bien podríamos desmontar esta composición de Wen Xinyiyan, y sabremos qué es "Chejiluhua".
Las partes marcadas en amarillo y verde en el texto tienen exactamente el mismo significado, e incluso se puede decir que son las mismas palabras, que aparecen repetidamente en el texto. Al final del artículo, todo el párrafo marcado como "en resumen" es una mezcolanza de los puntos de vista y las habilidades de expresión del artículo.
Esto le da a la gente un sentido visual de contar palabras.
Deep AI cambió las palabras del indicador para permitir que ChatGPT imaginara que era un candidato en el sitio del examen de ingreso a la universidad y escribió una redacción nuevamente. La primera oración que apareció fue "Cuando me senté en el asiento de este examen, sostuve un único bolígrafos electrónicos avanzados..."
Tomando la prueba de esta manera, se estima que será condenado a una infracción y obtendrá cero puntos directamente.
**No hay alma, que es el elemento negativo más grande para la composición de IA. **
2 rutinas, todas las rutinas
Para que la composición se viera así, la IA usó muchas rutinas.
Les gusta usar patrones de oraciones "primero, segundo, luego, último". El más típico es ChatGPT, el último párrafo debe ser "En general..."
Por ejemplo, estos dos ensayos de ChatGPT:
Hay rutinas similares en Wenxinyiyan y Tongyiqianwen. La salida en la comida anterior fue tan feroz como un tigre, y debe terminar con "en una palabra" y "en una palabra" al final.
Esto es lo mismo que tocar la guitarra, siempre que domines la fórmula universal de acordes (como la progresión del canon universal), puedes tocar cientos de melodías.
Incluso, le pedimos a Wen Xinyiyan que calificara la composición que escribimos, y también fue una larga discusión sobre "primero, segundo, otro y en general...".
En la pregunta de composición de "Personas·Tecnología·Tiempo", ChatGPT y Tongyi Qianwen en realidad usaron casi la misma expresión: usar "luego" para hacer una pregunta y usar "primero, segundo y último" para desarrollar una discusión específica. El marco y la lógica parecen tallados en el mismo molde.
** A pesar de esto, Wen Xinyiyan confiadamente le dio a su composición del examen de ingreso a la universidad un puntaje alto de 90 (suponiendo un puntaje total de 100), y también se autoevaluó como "digno de reconocimiento". Lanzamos su composición a ChatGPT, y ChatGPT le dio una puntuación perfecta de 100 sin dudarlo...**
El modelo grande AI es como una línea de montaje industrial, produciendo composiciones en lotes. Pero en esencia, no importa lo humano que hable, la tecnología impulsora son las matemáticas y las estadísticas, no la conciencia.
En la industria de la inteligencia artificial, siempre ha sido muy difícil para la IA comprender y hablar el lenguaje humano. El lenguaje natural humano es un sistema extremadamente complejo. Los científicos permiten que la máquina simule la red neuronal del cerebro humano, haciéndolo capaz de un aprendizaje profundo, pero aún no tiene la misma capacidad de lenguaje natural que los humanos.
Entonces, algunas personas encontraron otra forma de transformar el problema del lenguaje en un problema matemático y luego, indirectamente, resolver el problema del procesamiento del lenguaje natural a través del cálculo. Según Wu Jun, experto en procesamiento del lenguaje natural, un modelo de lenguaje no es un marco lógico o un sistema de retroalimentación biológica, sino un modelo construido por fórmulas matemáticas. **La palabra clave en esto es "matemáticas". **
**Esto determina que la inteligencia artificial no tiene autoconciencia ni emociones, y no puede hablar de acuerdo con los sentimientos personales. Para ellos, escribir una composición es una expresión lógica orientada a resultados y tareas. **
Al capturar cantidades masivas de datos de toda la red para entrenar y aprender continuamente a imitar las expresiones del lenguaje humano, el modelo grande de IA ahora habla muy cerca de los humanos. Aunque todavía no entiende el significado detrás de las palabras, no afecta comunicación.
Fundamentalmente, la IA no tiene mente propia. Esta es también la razón fundamental por la que su composición parece clara y lógica.Si lo lees con atención, encontrarás que no hay alma, y todo son rutinas.
3 AI realmente no puede contar
Como mencionamos anteriormente, los parámetros del modelo de lenguaje se obtienen todos mediante estadísticas. Su principio es predecir la probabilidad de la siguiente palabra dada la historia de un texto, y luego completar lo siguiente.
En 2017, Google propuso por primera vez el modelo Transformer basado en el mecanismo de autoatención. Ahora, los modelos de lenguaje grandes como ChatGPT se basan en la arquitectura Transformer.
El mecanismo de atención de Transformer tiene una memoria extremadamente larga que los algoritmos de aprendizaje profundo anteriores, como RNN (red neuronal recurrente), GRU y LSTM. **También puede recordar el orden de entrada, por lo que puede entender la diferencia entre "Te amo" y "Me amas". **
Pero aun así, tiene limitaciones.
Por ejemplo, Deep AI le pidió a Tongyi Qianwen que calificara su propia composición, lo que confundió los conceptos de "tú" y "yo". Primero dijo que era su propio artículo, y luego dijo que era "su" artículo...
Long Zhiyong, el autor de "La era de los modelos grandes", explicó a Deep AI, **Esto puede deberse al cambio de posición desde la perspectiva de la lucha entre la izquierda y la derecha. **
En el proceso de prueba del modelo grande de IA para escribir la composición del examen de ingreso a la universidad, también encontramos un fenómeno interesante: la IA no puede contar.
Existe un requisito para la composición del examen de ingreso a la universidad de que el recuento de palabras no sea inferior a 800 palabras. Deep AI ha interactuado con el modelo grande muchas veces. **A excepción de ChatGPT, la primera edición de Wenxin Yiyan y Tongyi Qianwen no alcanzó las 800 palabras. **
Por ejemplo, Wenxin Yiyan, Deep AI ha recordado repetidamente que la cantidad de palabras en el artículo no es suficiente para 800 y debe reescribirse. Wen Xin lo dijo cada vez: primero, se disculpó muy humildemente, prometió cumplir con los requisitos y luego generó rápidamente una nueva composición en diez segundos, aún menos de 800 palabras.
Este "candidato" no puede entender las preguntas de composición, y no las corrige después de la enseñanza repetida, lo cual es un gran punto negativo.
Long Zhiyong explicó a Deep AI: "El método de entrenamiento del gran modelo para predecir la siguiente palabra no le permite aprender a contar. No sabe cuánto es 800 y no sabe cómo contar las palabras para generar artículos**".
De hecho, sin mencionar 800, Wen Xin ni siquiera puede contar números como 10.
Este es un problema con los modelos de lenguaje en general. En cuanto a por qué no se pueden contar, cuándo y por qué método se pueden contar, aún no hay una conclusión. "Aunque hay algunos consejos para ayudarlo a contar, no es una solución general. *La etapa actual del modelo grande es verificar su habilidad haciendo experimentos de caja negra y mejorar su habilidad haciendo entrenamiento de caja negra. * "Dijo Long Zhiyong.
Bajo la sugerencia de Long Zhiyong, Deep AI cambió las palabras del mensaje e ingresó "cuanto más rico es el contenido, más largo es", y Wenxin Yiyan generó una composición de más de 800 palabras.
En las preguntas de composición anteriores para el examen de ingreso a la universidad, la composición de ChatGPT superó las 800 palabras, pero de hecho, no aprendió a contar.
ChatGPT explica Deep AI de esta manera:
Por lo tanto, de hecho, la cantidad de palabras en la composición de ChatGPT del "mejor estudiante" está a la altura del estándar, lo que se debe a Meng. No sabe cuántas 800 palabras son, por lo que solo escribe tanto como sea posible.
No puedo entender completamente el lenguaje humano, pero tengo grandes reservas de conocimiento y habilidades expresivas, lo que a veces conduce a escenas atónitas.
A juzgar por los resultados de esta composición del examen de ingreso a la universidad de guerra de IA, la capacidad de escritura del modelo grande ha progresado mucho. En términos de elección de palabras, discusión lógica y citas, incluso superó a muchas personas.
Sin embargo, la evaluación de la calidad de la composición en sí tiene factores subjetivos, a diferencia de un problema matemático donde solo hay una respuesta correcta. Las palabras y frases bonitas son las mismas, pero las almas interesantes son una en un millón. Cómo inyectar alma en la composición, el modelo de IA aún no lo ha entendido. Algunos problemas inherentes al gran modelo de IA también deben resolverse lentamente a través de iteraciones técnicas.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Composición del examen de ingreso a la universidad de AI Wars: maquillaje, palabras inventadas, rutina universal
Fuente: "Deep AI" (ID: DeepAI2023), Autor: Li Ming, Editor: Wei Jia
Este examen de ingreso a la universidad debería ser el más especial de los últimos cinco años. Porque hay un nuevo rol: candidatos de IA.
Tan pronto como terminó el examen de chino del primer día, se lanzó un concurso de composición de IA en Internet. Las personas utilizan modelos de IA como GhatGPT, Wenxin Yiyan y Tongyi Qianwen para escribir ensayos para los exámenes de ingreso a la universidad. Se puede generar un artículo en unos pocos segundos, que no solo es sorprendentemente rápido, lógicamente riguroso, sino que también cita clásicos.
A primera vista, la escritura de modelos a gran escala de IA es simplemente demasiado fácil y parece ser un golpe para los seres humanos. Después de todo, en términos de reservas de conocimiento, nadie puede compararse con la IA. AI aprende y digiere toda la información en Internet, y luego imita las expresiones humanas y usa su propia lógica para generar resultados.
Sin embargo, si analizamos cuidadosamente las "hojas de respuestas" de los candidatos a la IA, encontraremos que la IA no es tan omnipotente como mucha gente imagina. También aparecen en la composición problemas como la escritura rutinaria, la incapacidad para contar y las tonterías que son comunes en los modelos grandes de IA.
**De hecho, de acuerdo con los estándares de puntuación para los ensayos de examen de ingreso a la universidad, los ensayos generados por IA tienen algunas limitaciones. Todavía no es realista derrotar a los humanos. **
Deep AI probó tres grandes modelos de IA: GhatGPT (OpenAI), Wenxin Yiyan (Baidu) y Tongyi Qianwen (Ali), con la composición del examen de ingreso a la universidad, y encontró algunas conclusiones interesantes.
Por ejemplo, la IA no sabe contar, y ninguno de los ensayos escritos por Wenxin Yiyan y Tongyiqianqian han alcanzado el requisito rígido de "no menos de 800 palabras"; Said; La escritura de IA es básicamente inseparable de las rutinas, y una plantilla es aplicado repetidamente.
Los siguientes son los detalles, bienvenidos a discutir.
1 Un contestador automático sin emociones
El tema del examen A de ingreso a la universidad nacional de este año es "Personas·Tecnología·Tiempo". Debe comenzar con la oración "Las personas tienen un mejor control sobre el tiempo debido al desarrollo tecnológico, pero algunas personas se han convertido en sirvientes del tiempo" y escribir sus propias asociaciones y pensar.
Primero echemos un vistazo al "Análisis de las preguntas de la prueba" emitido por el Instituto de Examen Educativo del Ministerio de Educación:
Deep AI probó tres modelos grandes y descubrió que ninguno de ellos captaba el núcleo: hablaban de todo, pero no decían nada.
Primer vistazo a la composición de GhatGPT:
La composición de Tongyi Qianwen es la más vacía. Se centra en la "gestión del tiempo", que se desvía del tema, y la verdad de la discusión también es sentido común. Además, la composición de Tongyi Qianwen no tiene título y se deducirán puntos.
Usemos la pregunta de prueba de composición "El poder de la historia" en el Volumen I del nuevo estándar del plan de estudios para ver el desempeño de las tres escuelas.
Esta composición requiere que escribas tus propias asociaciones y pensamientos basados en el siguiente pasaje: una buena historia puede ayudarnos a expresarnos y comunicarnos mejor, tocar el corazón e iluminar la sabiduría; una buena historia puede cambiar el destino de una persona, puede presentar la imagen de un nación... Las historias tienen poder.
Composición de GhatGPT:
Pero el problema también es obvio: ** Se dice lo mismo una y otra vez con diferentes palabras, lo que resulta en la lectura del texto completo, dando a las personas la sensación de "Sé lo que dijiste". **
Un contestador automático sin emociones, esta es la evaluación de muchas personas.
"El contenido está vacío, y las ruedas cambian y hablan de un lado a otro", comentaron algunas personas. Otro dijo: "Son puras tonterías sin nutrición".
Bien podríamos desmontar esta composición de Wen Xinyiyan, y sabremos qué es "Chejiluhua".
Esto le da a la gente un sentido visual de contar palabras.
Deep AI cambió las palabras del indicador para permitir que ChatGPT imaginara que era un candidato en el sitio del examen de ingreso a la universidad y escribió una redacción nuevamente. La primera oración que apareció fue "Cuando me senté en el asiento de este examen, sostuve un único bolígrafos electrónicos avanzados..."
**No hay alma, que es el elemento negativo más grande para la composición de IA. **
2 rutinas, todas las rutinas
Para que la composición se viera así, la IA usó muchas rutinas.
Les gusta usar patrones de oraciones "primero, segundo, luego, último". El más típico es ChatGPT, el último párrafo debe ser "En general..."
Por ejemplo, estos dos ensayos de ChatGPT:
Esto es lo mismo que tocar la guitarra, siempre que domines la fórmula universal de acordes (como la progresión del canon universal), puedes tocar cientos de melodías.
Incluso, le pedimos a Wen Xinyiyan que calificara la composición que escribimos, y también fue una larga discusión sobre "primero, segundo, otro y en general...".
El modelo grande AI es como una línea de montaje industrial, produciendo composiciones en lotes. Pero en esencia, no importa lo humano que hable, la tecnología impulsora son las matemáticas y las estadísticas, no la conciencia.
En la industria de la inteligencia artificial, siempre ha sido muy difícil para la IA comprender y hablar el lenguaje humano. El lenguaje natural humano es un sistema extremadamente complejo. Los científicos permiten que la máquina simule la red neuronal del cerebro humano, haciéndolo capaz de un aprendizaje profundo, pero aún no tiene la misma capacidad de lenguaje natural que los humanos.
Entonces, algunas personas encontraron otra forma de transformar el problema del lenguaje en un problema matemático y luego, indirectamente, resolver el problema del procesamiento del lenguaje natural a través del cálculo. Según Wu Jun, experto en procesamiento del lenguaje natural, un modelo de lenguaje no es un marco lógico o un sistema de retroalimentación biológica, sino un modelo construido por fórmulas matemáticas. **La palabra clave en esto es "matemáticas". **
**Esto determina que la inteligencia artificial no tiene autoconciencia ni emociones, y no puede hablar de acuerdo con los sentimientos personales. Para ellos, escribir una composición es una expresión lógica orientada a resultados y tareas. **
Al capturar cantidades masivas de datos de toda la red para entrenar y aprender continuamente a imitar las expresiones del lenguaje humano, el modelo grande de IA ahora habla muy cerca de los humanos. Aunque todavía no entiende el significado detrás de las palabras, no afecta comunicación.
Fundamentalmente, la IA no tiene mente propia. Esta es también la razón fundamental por la que su composición parece clara y lógica.Si lo lees con atención, encontrarás que no hay alma, y todo son rutinas.
3 AI realmente no puede contar
Como mencionamos anteriormente, los parámetros del modelo de lenguaje se obtienen todos mediante estadísticas. Su principio es predecir la probabilidad de la siguiente palabra dada la historia de un texto, y luego completar lo siguiente.
En 2017, Google propuso por primera vez el modelo Transformer basado en el mecanismo de autoatención. Ahora, los modelos de lenguaje grandes como ChatGPT se basan en la arquitectura Transformer.
El mecanismo de atención de Transformer tiene una memoria extremadamente larga que los algoritmos de aprendizaje profundo anteriores, como RNN (red neuronal recurrente), GRU y LSTM. **También puede recordar el orden de entrada, por lo que puede entender la diferencia entre "Te amo" y "Me amas". **
Pero aun así, tiene limitaciones.
Por ejemplo, Deep AI le pidió a Tongyi Qianwen que calificara su propia composición, lo que confundió los conceptos de "tú" y "yo". Primero dijo que era su propio artículo, y luego dijo que era "su" artículo...
En el proceso de prueba del modelo grande de IA para escribir la composición del examen de ingreso a la universidad, también encontramos un fenómeno interesante: la IA no puede contar.
Existe un requisito para la composición del examen de ingreso a la universidad de que el recuento de palabras no sea inferior a 800 palabras. Deep AI ha interactuado con el modelo grande muchas veces. **A excepción de ChatGPT, la primera edición de Wenxin Yiyan y Tongyi Qianwen no alcanzó las 800 palabras. **
Por ejemplo, Wenxin Yiyan, Deep AI ha recordado repetidamente que la cantidad de palabras en el artículo no es suficiente para 800 y debe reescribirse. Wen Xin lo dijo cada vez: primero, se disculpó muy humildemente, prometió cumplir con los requisitos y luego generó rápidamente una nueva composición en diez segundos, aún menos de 800 palabras.
Este "candidato" no puede entender las preguntas de composición, y no las corrige después de la enseñanza repetida, lo cual es un gran punto negativo.
Long Zhiyong explicó a Deep AI: "El método de entrenamiento del gran modelo para predecir la siguiente palabra no le permite aprender a contar. No sabe cuánto es 800 y no sabe cómo contar las palabras para generar artículos**".
De hecho, sin mencionar 800, Wen Xin ni siquiera puede contar números como 10.
Bajo la sugerencia de Long Zhiyong, Deep AI cambió las palabras del mensaje e ingresó "cuanto más rico es el contenido, más largo es", y Wenxin Yiyan generó una composición de más de 800 palabras.
En las preguntas de composición anteriores para el examen de ingreso a la universidad, la composición de ChatGPT superó las 800 palabras, pero de hecho, no aprendió a contar.
ChatGPT explica Deep AI de esta manera:
No puedo entender completamente el lenguaje humano, pero tengo grandes reservas de conocimiento y habilidades expresivas, lo que a veces conduce a escenas atónitas.
A juzgar por los resultados de esta composición del examen de ingreso a la universidad de guerra de IA, la capacidad de escritura del modelo grande ha progresado mucho. En términos de elección de palabras, discusión lógica y citas, incluso superó a muchas personas.
Sin embargo, la evaluación de la calidad de la composición en sí tiene factores subjetivos, a diferencia de un problema matemático donde solo hay una respuesta correcta. Las palabras y frases bonitas son las mismas, pero las almas interesantes son una en un millón. Cómo inyectar alma en la composición, el modelo de IA aún no lo ha entendido. Algunos problemas inherentes al gran modelo de IA también deben resolverse lentamente a través de iteraciones técnicas.