Autor: MIT (Instituto Tecnológico de Massachusetts) extracto
Compilado por: Felix, PANews
Con la adopción generalizada de productos como ChatGPT de OpenAI, empresas y personas de todo el mundo están utilizando LLM casi a diario. Al igual que otras herramientas, los LLM tienen sus propias ventajas y limitaciones.
Recientemente, el Instituto Tecnológico de Massachusetts (MIT) publicó un informe de investigación de 206 páginas que explora el costo cognitivo de utilizar LLM (como ChatGPT) en un contexto educativo de redacción, revelando el impacto del uso de LLM en el cerebro y las capacidades cognitivas. La investigación muestra que depender en exceso de chatbots de inteligencia artificial como ChatGPT de OpenAI puede disminuir la capacidad cognitiva.
El equipo de investigación dividió a los participantes en tres grupos: el grupo de LLM, el grupo de motores de búsqueda y el grupo de solo cerebro, y estos participantes escribieron artículos dentro de un tiempo limitado durante un período de cuatro meses utilizando una herramienta específica (no hay herramientas en el grupo de solo cerebro), y el tema del artículo fue diferente en cada experimento. El equipo organizó 3 rondas de experimentos con el mismo grupo para cada participante. En la cuarta ronda del experimento, el equipo pidió a los participantes en el grupo LLM que no usaran ninguna herramienta (llamémoslo el grupo LLM-to-brain), mientras que los participantes en el grupo solo cerebral usaron LLM (grupo brain-to-LLM). Se reclutaron un total de 54 participantes para las 3 primeras rondas del experimento, de los cuales 18 completaron la 4ª ronda del experimento.
El equipo de investigación utilizó electroencefalografía (EEG) para registrar la actividad cerebral de los participantes, con el fin de evaluar su compromiso cognitivo y carga cognitiva, y profundizar en la activación neural durante la tarea de redacción de artículos. El equipo realizó un análisis de procesamiento de lenguaje natural (NLP) y entrevistó a cada participante al final de cada experimento. El equipo llevó a cabo la evaluación con la ayuda de un profesor humano y un juez de IA (un agente de IA construido específicamente).
En el análisis de procesamiento de lenguaje natural (NLP), los participantes que solo utilizan el cerebro muestran una gran variabilidad en la forma de escribir artículos sobre la mayoría de los temas. En comparación, el grupo de LLM tiende a homogeneizarse estadísticamente en los artículos escritos sobre cada tema, mostrando una desviación notablemente menor en comparación con otros grupos. El grupo de motores de búsqueda puede estar influenciado, al menos en cierta medida, por la promoción y optimización de contenido de los motores de búsqueda.
El grupo LLM utilizó la mayor cantidad de entidades nombradas específicas (NER), como personas, nombres, lugares, años y definiciones; mientras que el grupo de motores de búsqueda utilizó al menos la mitad de NER que el grupo LLM; el grupo que solo usó el cerebro utilizó un 60% menos de NER que el grupo LLM.
Los miembros del grupo de LLM y motores de búsqueda, debido a la limitación de tiempo (20 minutos), están bajo presión adicional y, por lo tanto, tienden a centrarse en los resultados de salida de las herramientas que utilizan. La mayoría de ellos se concentran en reutilizar el contenido generado por las herramientas, ocupándose continuamente en copiar y pegar en lugar de integrar sus propias ideas originales y editar ese contenido desde su propia perspectiva y experiencia.
En términos de patrones de conexión neuronal, los investigadores utilizaron el método de función de transferencia direccional dinámica (dDTF) para medir la carga cognitiva de los participantes. El dDTF puede revelar cambios sistemáticos y específicos de frecuencia en la coherencia de la red, lo que tiene una importancia significativa para la función ejecutiva, el procesamiento semántico y la regulación de la atención.
El análisis del electroencefalograma indica que hay diferencias significativas en los patrones de conexión neural entre el grupo LLM, el grupo de motores de búsqueda y el grupo que depende únicamente del cerebro, lo que refleja diferentes estrategias cognitivas. El grado de conexión cerebral disminuye sistemáticamente con el aumento del apoyo externo: el grupo que depende únicamente del cerebro muestra la red más fuerte y extensa, el grupo de motores de búsqueda muestra un grado de participación intermedio, mientras que el grupo asistido por LLM tiene la acoplamiento general más débil.
En la cuarta ronda de experimentos, los participantes que pasaron de LLM a solo cerebro mostraron conexiones neuronales más débiles, con una menor participación de las redes α y β; mientras que los participantes que pasaron de solo cerebro a LLM mostraron una mayor capacidad de recuperación de memoria, reactivando ampliamente nodos parieto-occipitales y frontales.
En la entrevista, el grupo de LLM tiene un bajo sentido de pertenencia a sus artículos. El grupo de motores de búsqueda tiene un fuerte sentido de pertenencia, pero es inferior al del grupo que solo utiliza el cerebro. El grupo de LLM también se queda atrás en la capacidad de citar artículos que escribieron hace unos minutos, más del 83% de los usuarios de ChatGPT no pueden citar artículos escritos hace unos minutos.
Este estudio, que aún no ha sido revisado por pares, indica que durante un período de investigación de 4 meses, los participantes del grupo LLM mostraron un rendimiento inferior en los niveles neuronal, lingüístico y de puntuación en comparación con el grupo de control que solo utilizó el cerebro. A medida que el impacto educativo de LLM en el público recién comienza a manifestarse, el uso de LLM de inteligencia artificial podría, de hecho, perjudicar la mejora de las habilidades de aprendizaje, especialmente para los usuarios jóvenes.
Los investigadores afirman que antes de que los LLM sean reconocidos como beneficiosos para la humanidad, es necesario realizar "estudios longitudinales" para comprender el impacto a largo plazo de los chatbots de inteligencia artificial en el cerebro humano.
Al preguntar a ChatGPT su opinión sobre esta investigación, su respuesta fue: "Esta investigación no dice que ChatGPT sea inherentemente dañino; por el contrario, advierte a las personas que no confíen en él de manera excesiva sin pensar o esforzarse."
Lectura relacionada: a16z: Desde agentes de IA, DePIN hasta micropagos, 11 direcciones clave para la fusión de criptomonedas y IA.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Informe del MIT: La dependencia excesiva de los Bots de chat AI puede Soltar la capacidad de pensamiento.
Autor: MIT (Instituto Tecnológico de Massachusetts) extracto
Compilado por: Felix, PANews
Con la adopción generalizada de productos como ChatGPT de OpenAI, empresas y personas de todo el mundo están utilizando LLM casi a diario. Al igual que otras herramientas, los LLM tienen sus propias ventajas y limitaciones.
Recientemente, el Instituto Tecnológico de Massachusetts (MIT) publicó un informe de investigación de 206 páginas que explora el costo cognitivo de utilizar LLM (como ChatGPT) en un contexto educativo de redacción, revelando el impacto del uso de LLM en el cerebro y las capacidades cognitivas. La investigación muestra que depender en exceso de chatbots de inteligencia artificial como ChatGPT de OpenAI puede disminuir la capacidad cognitiva.
El equipo de investigación dividió a los participantes en tres grupos: el grupo de LLM, el grupo de motores de búsqueda y el grupo de solo cerebro, y estos participantes escribieron artículos dentro de un tiempo limitado durante un período de cuatro meses utilizando una herramienta específica (no hay herramientas en el grupo de solo cerebro), y el tema del artículo fue diferente en cada experimento. El equipo organizó 3 rondas de experimentos con el mismo grupo para cada participante. En la cuarta ronda del experimento, el equipo pidió a los participantes en el grupo LLM que no usaran ninguna herramienta (llamémoslo el grupo LLM-to-brain), mientras que los participantes en el grupo solo cerebral usaron LLM (grupo brain-to-LLM). Se reclutaron un total de 54 participantes para las 3 primeras rondas del experimento, de los cuales 18 completaron la 4ª ronda del experimento.
El equipo de investigación utilizó electroencefalografía (EEG) para registrar la actividad cerebral de los participantes, con el fin de evaluar su compromiso cognitivo y carga cognitiva, y profundizar en la activación neural durante la tarea de redacción de artículos. El equipo realizó un análisis de procesamiento de lenguaje natural (NLP) y entrevistó a cada participante al final de cada experimento. El equipo llevó a cabo la evaluación con la ayuda de un profesor humano y un juez de IA (un agente de IA construido específicamente).
En el análisis de procesamiento de lenguaje natural (NLP), los participantes que solo utilizan el cerebro muestran una gran variabilidad en la forma de escribir artículos sobre la mayoría de los temas. En comparación, el grupo de LLM tiende a homogeneizarse estadísticamente en los artículos escritos sobre cada tema, mostrando una desviación notablemente menor en comparación con otros grupos. El grupo de motores de búsqueda puede estar influenciado, al menos en cierta medida, por la promoción y optimización de contenido de los motores de búsqueda.
El grupo LLM utilizó la mayor cantidad de entidades nombradas específicas (NER), como personas, nombres, lugares, años y definiciones; mientras que el grupo de motores de búsqueda utilizó al menos la mitad de NER que el grupo LLM; el grupo que solo usó el cerebro utilizó un 60% menos de NER que el grupo LLM.
Los miembros del grupo de LLM y motores de búsqueda, debido a la limitación de tiempo (20 minutos), están bajo presión adicional y, por lo tanto, tienden a centrarse en los resultados de salida de las herramientas que utilizan. La mayoría de ellos se concentran en reutilizar el contenido generado por las herramientas, ocupándose continuamente en copiar y pegar en lugar de integrar sus propias ideas originales y editar ese contenido desde su propia perspectiva y experiencia.
En términos de patrones de conexión neuronal, los investigadores utilizaron el método de función de transferencia direccional dinámica (dDTF) para medir la carga cognitiva de los participantes. El dDTF puede revelar cambios sistemáticos y específicos de frecuencia en la coherencia de la red, lo que tiene una importancia significativa para la función ejecutiva, el procesamiento semántico y la regulación de la atención.
El análisis del electroencefalograma indica que hay diferencias significativas en los patrones de conexión neural entre el grupo LLM, el grupo de motores de búsqueda y el grupo que depende únicamente del cerebro, lo que refleja diferentes estrategias cognitivas. El grado de conexión cerebral disminuye sistemáticamente con el aumento del apoyo externo: el grupo que depende únicamente del cerebro muestra la red más fuerte y extensa, el grupo de motores de búsqueda muestra un grado de participación intermedio, mientras que el grupo asistido por LLM tiene la acoplamiento general más débil.
En la cuarta ronda de experimentos, los participantes que pasaron de LLM a solo cerebro mostraron conexiones neuronales más débiles, con una menor participación de las redes α y β; mientras que los participantes que pasaron de solo cerebro a LLM mostraron una mayor capacidad de recuperación de memoria, reactivando ampliamente nodos parieto-occipitales y frontales.
En la entrevista, el grupo de LLM tiene un bajo sentido de pertenencia a sus artículos. El grupo de motores de búsqueda tiene un fuerte sentido de pertenencia, pero es inferior al del grupo que solo utiliza el cerebro. El grupo de LLM también se queda atrás en la capacidad de citar artículos que escribieron hace unos minutos, más del 83% de los usuarios de ChatGPT no pueden citar artículos escritos hace unos minutos.
Este estudio, que aún no ha sido revisado por pares, indica que durante un período de investigación de 4 meses, los participantes del grupo LLM mostraron un rendimiento inferior en los niveles neuronal, lingüístico y de puntuación en comparación con el grupo de control que solo utilizó el cerebro. A medida que el impacto educativo de LLM en el público recién comienza a manifestarse, el uso de LLM de inteligencia artificial podría, de hecho, perjudicar la mejora de las habilidades de aprendizaje, especialmente para los usuarios jóvenes.
Los investigadores afirman que antes de que los LLM sean reconocidos como beneficiosos para la humanidad, es necesario realizar "estudios longitudinales" para comprender el impacto a largo plazo de los chatbots de inteligencia artificial en el cerebro humano.
Al preguntar a ChatGPT su opinión sobre esta investigación, su respuesta fue: "Esta investigación no dice que ChatGPT sea inherentemente dañino; por el contrario, advierte a las personas que no confíen en él de manera excesiva sin pensar o esforzarse."
Lectura relacionada: a16z: Desde agentes de IA, DePIN hasta micropagos, 11 direcciones clave para la fusión de criptomonedas y IA.