El 9 de junio, la "Conferencia Zhiyuan de Beijing" de dos días se inauguró con éxito en el Centro de Conferencias de la Zona de Demostración de Innovación Nacional Independiente de Zhongguancun.
La Conferencia de Zhiyuan es un evento anual internacional de intercambio profesional de alto nivel sobre inteligencia artificial organizado por el Instituto de Investigación de Zhiyuan (también conocido como el Instituto de Investigación de IA de OpenAI chino más fuerte en China). Gala del Festival de Primavera", como se puede ver en la lista de participantes huéspedes:
Ganadores del Premio Turing Geoffrey Hinton, Yann LeCun (este también es el segundo de los Tres Grandes en aprendizaje profundo, otro Bengio asistió a la conferencia anterior), Joseph Sifakis y Yao Qizhi, Zhang Bo, Zheng Nanning, Xie Xiaoliang, Zhang Hongjiang, Zhang Yaqin y otros académicos, Stuart Russell, fundador del Centro de Sistemas de Inteligencia Artificial de la Universidad de California, Berkeley, Max Tegmark, fundador del Instituto del Futuro de la Vida del Instituto Tecnológico de Massachusetts, **CEO de OpenAI, Sam Altman ** (este también es su primer discurso en China, aunque es en línea), Meta, Microsoft, Google y otras grandes empresas y DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI y otros miembros del equipo estrella, un total de más de 200 Los mejores expertos en inteligencia artificial...
En los últimos dos días, seguí la transmisión en vivo de la conferencia, como estudiante de artes liberales que no entiende la tecnología, en realidad escuché con gran interés y aprendí mucho.
Sin embargo, después de leer el discurso de Geoffrey Hinton, el último ganador del Premio Turing y "padre del aprendizaje profundo", una emoción fuerte y compleja me envolvió:
Por un lado, al ver a los investigadores de IA explorar e imaginar varias tecnologías de vanguardia, naturalmente tendrán más confianza en la realización de la IA e incluso en la futura inteligencia artificial general AGI**;
Por otro lado, escuchar a los expertos y académicos de vanguardia discutir los riesgos de la IA, así como la ignorancia humana y el desprecio por cómo lidiar con los riesgos, y llenos de preocupaciones sobre el futuro de los seres humanos, el problema más esencial, en Las palabras de Hinton son: historia Nunca ha habido un precedente en el mundo donde una cosa más inteligente fuera controlada por una cosa menos inteligente **Si las ranas inventan a los humanos, ¿quién crees que tomará el control? ¿Es una rana o un humano? **
Debido a la explosión de información en la conferencia de dos días, me tomé un tiempo para ordenar los materiales de algunos discursos importantes y, por cierto, grabé algunos de mis pensamientos, para poder revisarlos más tarde y compartirlos con todos los que se preocupa por el progreso de la IA.
Explicación: La parte marcada con [nota] a continuación es mi opinión personal, y el contenido se resume como una cita (no puedo escribirlo -_-|| debido a mi capacidad limitada), la fuente es el enlace en al final de cada parte, y algunas de ellas han sido modificadas.
CEO de OpenAI, Sam Altman: AGI puede aparecer dentro de diez años
En el foro "Seguridad y alineación de IA" que se llevó a cabo todo el día el 10 de junio, el cofundador de OpenAI, Sam Altman, pronunció un discurso de apertura, también su primer discurso en China, aunque fue en línea.
La charla brindó información sobre la interpretabilidad, escalabilidad y generalización del modelo. Posteriormente, Sam Altman y Zhang Hongjiang, presidente del Instituto de Investigación de Zhiyuan, realizaron una sesión de preguntas y respuestas en la cumbre, en la que se discutió principalmente cómo profundizar la cooperación internacional, cómo llevar a cabo una investigación de IA más segura y cómo lidiar con los riesgos futuros de la IA en la era actual de Modelos de IA a gran escala.
Excelente resumen:
La razón por la cual la revolución de la IA actual es tan impactante no es solo la escala de su impacto, sino también la velocidad de su progreso. Esto trae dividendos y riesgos.
Los dividendos potenciales de la IA son enormes. Pero debemos gestionar el riesgo juntos para que podamos utilizarlo para mejorar la productividad y los niveles de vida.
Con el advenimiento de sistemas de IA cada vez más poderosos,* lo que está en juego para la cooperación global nunca ha sido tan alto. Las grandes potencias a menudo tienen diferencias de opinión en la historia, pero en algunos de los temas más importantes, la cooperación y la coordinación son necesarias. **Avanzar en la seguridad de AGI es una de las áreas más importantes en las que necesitamos encontrar intereses comunes. En su discurso, Altman enfatizó repetidamente la necesidad de alinear y supervisar la seguridad global de la IA, y citó específicamente una frase del Tao Te Ching: Un viaje de mil millas comienza con un solo paso. La alineación sigue siendo un tema abierto.
**Imagínese un futuro sistema AGI con quizás 100,000 líneas de código binario, es poco probable que los supervisores humanos descubran si dicho modelo está haciendo algo nefasto. **
**GPT-4 tardó ocho meses en completar la alineación. **Sin embargo, la investigación relacionada aún se está actualizando **Se divide principalmente en dos aspectos: escalabilidad e interpretabilidad. Una es la supervisión escalable, que trata de usar sistemas de inteligencia artificial para ayudar a los humanos a supervisar otros sistemas de inteligencia artificial. El segundo es la interpretabilidad, tratando de comprender la "caja negra" del funcionamiento interno del modelo grande. En última instancia, OpenAI tiene como objetivo capacitar a los sistemas de IA para ayudar con la investigación de alineación.
Cuando Zhang Hongjiang le preguntó qué tan lejos está la era de la inteligencia artificial general (AGI), Sam Altman dijo: "En los próximos 10 años, nacerán supersistemas de IA, pero es difícil predecir el momento específico". también enfatizó: "La velocidad a la que las nuevas tecnologías han cambiado completamente el mundo está mucho más allá de la imaginación".
Cuando se le preguntó si OpenAI abrirá modelos grandes de código abierto, **Altman dijo que habrá más código abierto en el futuro, pero no hay un modelo ni un cronograma específicos. Además, también dijo que no habrá GPT-5 en el corto plazo. ** Después de la reunión, Altman emitió un mensaje para expresar su agradecimiento por haber sido invitado a dar un discurso en la Conferencia de Zhiyuan.
Yang Likun, ganador del Premio Turing: Nadie utilizará el modelo GPT en cinco años, y el modelo mundial es el futuro de AGI
Yang Likun, uno de los tres gigantes del aprendizaje profundo y ganador del Premio Turing, pronunció una conferencia magistral titulada "Hacia máquinas que pueden aprender, razonar y planificar". Como siempre, cuestionó la corriente La ruta del LLM propone otra idea de una máquina que puede aprender, razonar y planificar: el modelo del mundo.
Puntos clave del discurso:
**La capacidad de la IA aún está lejos de la capacidad de los humanos y los animales: la brecha se refleja principalmente en el razonamiento lógico y la planificación, y el modelo grande solo puede "responder instintivamente" en la actualidad. ****¿Qué es el aprendizaje autosupervisado? El aprendizaje autosupervisado se trata de capturar dependencias en las entradas. **
El sistema de entrenamiento captura las dependencias entre lo que vemos y lo que no hemos visto. El rendimiento de los grandes modelos actuales es asombroso si se entrenan con datos de un billón o dos billones de tokens.
** Su fluidez nos engaña fácilmente. Pero al final, cometen errores estúpidos. Cometen errores de hecho, errores lógicos, inconsistencias, tienen razonamiento limitado, producen contenido dañino. **Este modelo grande necesita ser reentrenado.
**¿Cómo permitir que la IA planee realmente como los humanos? Vea cómo los humanos y los animales aprenden rápidamente, viendo y experimentando el mundo. **
Yang Likun cree que el desarrollo de la IA en el futuro enfrenta tres desafíos principales: **Aprender representaciones del mundo, predecir modelos del mundo y utilizar el aprendizaje autosupervisado. **
El primero es aprender el modelo de representación y predicción del mundo, por supuesto, se puede aprender de forma autosupervisada.
**En segundo lugar, aprende a razonar. **Esto corresponde al concepto del psicólogo Daniel Kahneman de Sistema 1 y Sistema 2. El Sistema 1 es el comportamiento humano o la acción que corresponde a los cálculos subconscientes, aquellas cosas que se pueden hacer sin pensar, mientras que el Sistema 2 son las tareas para las que usas consciente y decididamente todo tu poder de pensamiento. En la actualidad, la inteligencia artificial básicamente solo puede realizar las funciones en el Sistema 1, y no está completa;
El desafío final es cómo planificar secuencias complejas de acciones al descomponer tareas complejas en otras más simples, operando de manera jerárquica.
Como resultado, Yang Likun propuso ** "Modelo mundial", que consta de seis módulos independientes, que incluyen: **módulo configurador, módulo de percepción, modelo mundial, módulo de costos, módulo actor, módulo de memoria a corto plazo. **Él cree que diseñar la arquitectura y el paradigma de entrenamiento para el modelo mundial es el verdadero obstáculo para el desarrollo de la inteligencia artificial en las próximas décadas.
LeCun siempre ha expresado su desdén por la idea de que la IA destruirá a los seres humanos y cree que la IA de hoy no es tan inteligente como un perro, y esta preocupación es superflua. **Cuando se le preguntó si el sistema de IA supondría un riesgo existencial para los humanos, LeCun dijo: **Todavía no tenemos una súper IA, entonces, ¿cómo podemos hacer que el sistema de súper IA sea seguro? **
** "Pregúntele a la gente hoy, ¿podemos garantizar que un sistema superinteligente sea seguro para los humanos? Esa es una pregunta sin respuesta. Porque no tenemos un diseño para un sistema superinteligente. Entonces, hasta que tenga un diseño básico, no puede Haz algo seguro.**Es como si le preguntaras a un ingeniero aeroespacial en 1930, ¿puedes hacer un turborreactor seguro y confiable?, y el ingeniero diría: "¿Qué es un turborreactor?". "Porque el turborreactor no se había inventado en 1930. Así que estamos en la misma situación. Es un poco prematuro afirmar que no podemos hacer que estos sistemas sean seguros porque no los hemos inventado. Una vez que hemos los inventé, tal vez sean similares al modelo que se me ocurrió, entonces vale la pena discutirlo".
Profesor Max Tegmark, Centro de Inteligencia Artificial e Investigación de Interacciones Básicas del MIT: Controle la IA con explicabilidad mecánica
Max Tegmark, actualmente profesor titular de física en el Instituto de Tecnología de Massachusetts, director científico del Instituto de Asuntos Fundamentales, fundador del Instituto para el Futuro de la Vida y el conocido "iniciador de la iniciativa de investigación de suspensión de la IA" (el iniciativa a fines de marzo, Elon Musk, el ganador del premio Turing Yoshua Bengio, el cofundador de Apple Steve Wozniak y otras más de 1000 celebridades) dieron un maravilloso discurso en la Conferencia de Zhiyuan sobre "Cómo controlar la IA" (Mantener la IA bajo control), y tuvo un diálogo con Zhang Yaqin, académico de la Universidad de Tsinghua, para discutir temas de seguridad ética y prevención de riesgos de la IA.
El discurso discutió en detalle la explicabilidad mecánica de la IA, que en realidad es un estudio de cómo se almacena el conocimiento humano en esas conexiones complejas en las redes neuronales. Si continúa la investigación en esta dirección, es posible que finalmente pueda explicar realmente la pregunta fundamental de por qué el modelo de lenguaje grande LLM produce inteligencia.
Además del discurso, el hecho interesante es que, como iniciador de la "Iniciativa de investigación de IA en pausa", el discurso de apertura se centra en cómo llevar a cabo una investigación de modelo a gran escala de IA más profunda. Tal vez, como dijo el propio Max al final, él no es la persona condenada que dijo el profesor Yang Likun, uno de los gigantes de la IA, en realidad está lleno de esperanza y anhelo por la IA, pero podemos asegurar que todos estos más poderosos las inteligencias nos sirven y las usamos Viene a crear un futuro más inspirador que el que los escritores de ciencia ficción han soñado en el pasado. **
Nota: Pensé que sería muy aburrido, pero inesperadamente fue muy emocionante, ¡y vi el discurso más largo durante una hora con gusto! **Como se esperaba de un profesor que a menudo da conferencias, es muy fascinante, muy profundo desde el punto de vista teórico y fácil de entender. Lo que es aún más sorprendente es que no solo no es un serio oponente de la IA, ¡sino que en realidad es un defensor de una mejor IA! ** También puedo hablar chino, y no me olvido de reclutarme mientras doy un discurso...
Extractos de maravillosas ideas:
La interpretabilidad mecánica es un campo muy interesante. Entrenas una red neuronal compleja que no entiendes para realizar tareas inteligentes y luego tratas de descubrir cómo lo hace.
Cómo hacemos esto? Puedes tener tres niveles diferentes de ambición. **El nivel más bajo de ambición es solo diagnosticar su credibilidad, cuánto debe confiar en él. **Por ejemplo, cuando conduce un automóvil, incluso si no entiende cómo funcionan los frenos, al menos quiere saber si puede confiar en que reducirá la velocidad.
**El siguiente nivel de ambición es comprenderlo mejor para que pueda ser más confiable. **La ambición final es muy ambiciosa, y eso es lo que espero, es que podamos extraer todo el conocimiento que aprenden de los sistemas de aprendizaje automático y volver a implementarlo en otros sistemas para demostrar que harán lo que queremos. **
Reduzcamos la velocidad, asegurémonos de desarrollar mejores barandas. Así que la carta decía: hagamos una pausa por un momento, mencionado anteriormente. Quiero ser claro, no dice que debamos pausar la IA, no dice que debamos pausar casi nada. Hemos escuchado en esta reunión hasta ahora que deberíamos continuar haciendo casi toda la maravillosa investigación que ustedes están haciendo. **Solo dice que debemos pausar, pausar el desarrollo de sistemas más poderosos que GPT-4. **Así que esto es principalmente una pausa para algunas empresas occidentales.
Ahora, la razón es que estos son los sistemas exactos que pueden sacarnos de control, los sistemas súper poderosos más rápidos que no entendemos lo suficiente. El propósito de la pausa es simplemente hacer que la inteligencia artificial se parezca más a la biotecnología, en el campo de la biotecnología, no puedes decir simplemente que eres una empresa, oye, tengo un nuevo medicamento, lo descubrí y comenzará a venderse en los principales supermercados de Beijing mañana. Primero hay que convencer a los expertos del gobierno chino o del gobierno de los EE. UU. de que es un fármaco seguro, que sus beneficios superan a sus desventajas, que hay un proceso de revisión y luego se puede hacer.
No cometamos ese error, seamos más biotecnológicos, usando nuestros sistemas más poderosos, a diferencia de Fukushima y Chernobyl.
**3、**Zhang Yaqin: Bueno, Max, has dedicado tu carrera a las matemáticas, la física, la neurociencia y, por supuesto, la inteligencia artificial. Claramente, en el futuro confiaremos cada vez más en competencias y conocimientos interdisciplinarios. Tenemos muchos estudiantes de posgrado, muchos futuros jóvenes.
¿Qué consejo tiene para los jóvenes sobre cómo hacer elecciones de carrera?
Max Tegmark: Primero, mi consejo es centrarse en los fundamentos de la era de la IA. Porque la economía y el mercado laboral están cambiando cada vez más rápido. Entonces, nos estamos alejando de este patrón de estudiar durante 12 o 20 años y luego hacer lo mismo por el resto de nuestras vidas. No será así.
Además, **Tienes una base sólida y eres muy bueno en el pensamiento creativo y de mente abierta. Solo así podremos ser ágiles y seguir la tendencia. **
Por supuesto, esté atento a lo que sucede en el campo de la IA en su conjunto, no solo en su propio campo**. Porque en el mercado laboral lo primero que ocurre no es la sustitución de humanos por máquinas. Pero **las personas que no trabajen con IA serán reemplazadas por personas que sí lo hagan. **
¿Puedo agregar un poco más? Veo el tiempo parpadeando allí.
Solo quiero decir algo optimista. Creo que Yann LeCun se está burlando de mí. Me llamó el condenado. Pero si me miras, en realidad estoy muy feliz y alegre. **En realidad, soy más optimista que Yann LeCun sobre nuestra capacidad para comprender los futuros sistemas de IA. ** Creo que es muy, muy prometedor.
Creo que si avanzamos a toda velocidad y entregamos más control de los humanos a las máquinas que no entendemos, terminará de muy mala manera. Pero no tenemos que hacer eso. Creo que si trabajamos duro en la explicabilidad mecanicista y muchos de los otros temas técnicos que se escucharán aquí hoy, podemos asegurarnos de que toda esta inteligencia superior esté a nuestro servicio y utilizarla para crear un mundo de A más inspirador. futuro.
Conversación con el fundador de Midjourney: Las imágenes son solo el primer paso, la IA revolucionará el aprendizaje, la creatividad y la organización
MidJourney es actualmente el motor de generación de imágenes más popular Bajo la feroz competencia de DALL·E 2 de OpenAI y el modelo de código abierto Stable Diffusion, todavía mantiene una ventaja absoluta en varios efectos de generación de estilo.
Midjourney es una empresa increíble, 11 personas cambiando el mundo y creando un gran producto, destinado a ser la historia de los primeros años de Pre AGI.
Nota: El diálogo tan esperado entre el fundador y CEO de Midjourney, David Holz, y Geek Park Zhang Peng, todo en inglés, sin subtítulos, no esperaba entenderlo por completo y me interesa mucho, porque las preguntas y respuestas son tan maravilloso, especialmente David, no pude evitar reírme cuando respondí. Se rió como un niño inocente. Con experiencia en el manejo de equipos grandes, dijo: "Nunca quise tener una empresa, quise tener un hogar". Lo llevó hasta En la actualidad, Midjourney, que cuenta con solo 20 personas, se ha convertido en un unicornio que atrae la atención mundial, lo que puede cambiar el paradigma de las futuras startups.
Impulso empresarial: desbloquear la imaginación humana
**Zhang Peng:**En los últimos 20 años, he conocido a muchos empresarios en el país y en el extranjero. Descubrí que tienen algo en común. Todos tienen un fuerte impulso para explorar y crear "de la nada".
Me preguntaba, cuando comenzaste MidJourney, ¿cuál fue tu fuerza impulsora? En ese momento, ¿qué anhelas?
**David Holz: Nunca pensé en iniciar una empresa. Solo quiero un "hogar". **
Espero que en los próximos 10 o 20 años, aquí en Midjourney, pueda crear cosas que realmente me importen y que realmente quiera traer a este mundo.
A menudo pienso en varios problemas. Tal vez no pueda resolver todos los problemas, pero puedo** tratar de hacer que todos sean más capaces de resolver problemas. **
Así que trato de pensar en cómo resolverlo, cómo crear algo. En mi opinión, esto se puede resumir en tres puntos. **Primero, tenemos que reflexionar sobre nosotros mismos: ¿qué queremos? ¿Cuál es el problema exactamente? ****Entonces tenemos que imaginar: ¿hacia dónde nos dirigimos? ¿Cuáles son las posibilidades? ****Al final, tenemos que coordinarnos y colaborar con otros para lograr lo que imaginamos. **
Creo que hay una gran oportunidad en la IA para unir esas tres partes y crear una infraestructura significativa que nos ayude a resolver mejor este problema. En cierto modo, **la inteligencia artificial debería poder ayudarnos a reflexionar sobre nosotros mismos, imaginar mejor nuestras direcciones futuras, ayudarnos a encontrarnos mejor y cooperar. Podemos hacer estas cosas juntos y fusionarlas en una especie de marco único. Creo que va a cambiar la forma en que creamos cosas y resolvemos problemas. Esta es la gran cosa que quiero hacer. **
Creo que a veces (nosotros lo hicimos primero) la generación de imágenes puede ser confusa, pero en muchos sentidos la generación de imágenes es un concepto bien establecido. **Midjourney se ha convertido en una colección súper imaginativa de millones de personas que exploran las posibilidades de este espacio. **
**En los próximos años habrá oportunidades para más exploraciones visuales y artísticas que todas las exploraciones históricas anteriores combinadas. **
Esto no resuelve todos los problemas que enfrentamos, pero creo que es una prueba, un experimento. Si podemos completar esta exploración del campo visual, también podemos hacerlo en otras cosas. Todas las demás cosas que requieren que exploremos y pensemos juntos, creo que se pueden resolver de manera similar.
Entonces, cuando pensé en cómo comenzar a resolver este problema, teníamos muchas ideas, construimos muchos prototipos, pero de repente hubo un gran avance en el campo de la IA, especialmente en la visión, y nos dimos cuenta de que esto era único. oportunidad de poder Crear algo que nadie más ha intentado antes. Nos hizo querer probarlo.
Creemos que tal vez no pase mucho tiempo antes de que todo se una para formar algo muy especial. Este es solo el comienzo.
Zhang Peng: Entonces, la imagen (generación) es solo el primer paso, y su objetivo final es liberar la imaginación humana. ¿Es esto lo que te atrajo de Midjourney?
David Holz: Me gustan mucho las cosas imaginativas. También espero que el mundo pueda tener más creatividad. Es muy divertido ver ideas locas todos los días.
Recomprender el conocimiento: el conocimiento histórico se convierte en el poder de la creación
Zhang Peng: Esto es muy interesante. Solemos decir palabras vacías, muéstrame tu código (La idea es barata, muéstrame el código). Pero en este momento, las ideas parecen ser lo único que importa. Siempre que pueda expresar sus ideas a través de una serie de palabras excelentes, la IA puede ayudarlo a realizarlas. Entonces, ¿están cambiando las definiciones de aprendizaje y creatividad? ¿Qué opinas?
**David Holz: **Creo que una de las cosas interesantes es que cuando le das a la gente más tiempo para ser creativos, también están más interesados en aprender. **
Por ejemplo, hay un estilo de arte muy popular en los Estados Unidos llamado Art Deco. Nunca me importó qué es este tipo de arte, hasta que un día, cuando pude hacer obras de este estilo de arte a través de instrucciones, de repente me interesé mucho y quise saber más sobre su historia.
Creo que es interesante que estemos más interesados en la historia cuando es algo que puedes usar de inmediato y te facilita la creación. **Si la interfaz de usuario se vuelve lo suficientemente buena, los usuarios sienten que la IA se ha convertido en una extensión de nuestro pensamiento. La IA es como una parte de nuestro cuerpo y mente, y la IA está estrechamente relacionada con la historia hasta cierto punto, y nosotros también estaremos estrechamente conectados con la historia. Esto es muy interesante.
Cuando preguntamos a nuestros usuarios qué es lo que más quieren, la respuesta número uno y segunda es que quieren materiales de aprendizaje, no solo cómo usar herramientas, sino arte, historia, lentes de cámara, brillantez. Quieren comprender y dominar todos los conocimientos y conceptos. disponible para crear.
**Antes, el conocimiento era solo historia pasada, pero ahora, el conocimiento es el poder de crear. **
**El conocimiento puede desempeñar un papel más importante de inmediato, y las personas están ansiosas por adquirir más conocimiento. **Esto es genial.
Brian Christian: Se publica la versión china del nuevo libro "Alineación humano-máquina"
Se lanzó la versión china de "Alineación humano-máquina". El autor Brian Christian presentó brevemente el contenido principal de todo el libro en 10 minutos. Suena muy rico y emocionante, y también refleja el rápido desarrollo actual de la IA.
Brian Christian es un autor científico galardonado. Su libro "La belleza de los algoritmos" fue nombrado el mejor libro científico del año de Amazon y el mejor libro del año de MIT Technology Review. Su nuevo libro, The Alignment Problem: Machine Learning and Human Values, que actualmente se está traduciendo al chino, ha sido nombrado por el CEO de Microsoft, Satya Nadella, como los cinco mejores libros para inspirarlo en 2021**.
El libro "Alineación Hombre-Máquina" se divide en 3 partes.
La primera parte explora los problemas éticos y de seguridad que afectan a los sistemas de aprendizaje automático en la actualidad.
La segunda parte se llama agentes, que cambia el enfoque del aprendizaje supervisado y autosupervisado al aprendizaje por refuerzo.
La Parte III se basa en la supervisión, la autosupervisión y el aprendizaje reforzado para discutir cómo podemos alinear sistemas complejos de IA en el mundo real.
Yang Yaodong, Profesor Asistente, Instituto de Inteligencia Artificial, Universidad de Pekín: Una Revisión del Progreso de la Alineación Segura de Modelos de Idiomas Grandes
Nota: El discurso "Alineación de seguridad de modelos de lenguaje grande" dado por Yang Yaodong, profesor asistente en el Instituto de Inteligencia Artificial de la Universidad de Pekín, fue muy emocionante. Primero, pudo entender el discurso en chino. En segundo lugar, explicó el actual seguridad de modelos de lenguaje grande en un lenguaje muy fácil de entender El principal progreso de investigación de la alineación, describe los puntos clave y supera muchos contenidos sobre el progreso de RLHF en profundidad.
Debido a que no conozco la tecnología detallada, solo puedo entender el principio aproximadamente y registrar algunos puntos interesantes:
Tres métodos Align propuestos por OpenAI:
Entrena a la IA usando comentarios humanos
Capacitar a la IA para ayudar a la evaluación humana
Capacitar a la IA para realizar investigaciones de alineación
El mercado de alineación de modelos grandes de IA sigue siendo un océano azul:
** Los modelos grandes existentes, a excepción de GPT, casi no lograron la alineación en ningún sentido**
La tecnología de transformación de propósito general a propósito especial para modelos a gran escala será la próxima altura dominante en el desarrollo de modelos a gran escala.
3 Formas Seguras de Alineación:
En la etapa de pre-entrenamiento, mediante cribado manual y limpieza de datos, para obtener datos de mayor calidad
Utilice el modelo de recompensa para el muestreo de rechazo en la etapa de salida para mejorar la calidad y la seguridad de la salida. O en un producto en vivo, ** se niega a responder a la entrada del usuario. **
En la etapa de ajuste (SFT y BLHF), Agregue instrucciones de usuario más diversas e inofensivas para alinearse con los modelos de preferencia humana, incluidos RBRM, Constitucional Al.
De RLHF a RLAIF: AI Constitucional
Ganador del Premio Turing Geoffrey Hinton: La superinteligencia será mucho más rápida de lo esperado, y estoy muy preocupado de que los humanos sean controlados por ellos
Ganador del premio Turing, "Padre del aprendizaje profundo" Discurso final de Geoffrey Hinton, el tema es Dos caminos hacia la inteligencia.
El padrino de la IA nos trae la investigación que lo convenció de que la superinteligencia será mucho más rápida de lo esperado: Computación Mortal. El discurso describió una nueva estructura informática, después de abandonar el principio de separación de software y hardware, es decir, cómo realizar una computación inteligente sin utilizar la retropropagación para describir la ruta interna de la red neuronal.
Puntos clave del discurso:
Hinton propone una nueva posibilidad para la inteligencia artificial: la computación mortal. La computación mortal hace que el software y el hardware ya no estén separados, y utiliza el hardware físico para realizar la computación paralela con mayor precisión. Puede generar un menor consumo de energía y un hardware más simple de fabricar, pero es más difícil de entrenar y escalar a modelos a gran escala.
Hay dos formas para que los grupos inteligentes compartan conocimientos, la computación biológica y la digital. El intercambio biológico tiene un ancho de banda bajo y es muy lento, mientras que la copia digital tiene un ancho de banda alto y es muy rápida. Los humanos son biológicos, mientras que la IA es digital, por lo que una vez que la IA domine más conocimiento a través de la multimodalidad, su velocidad de intercambio será muy rápida y pronto superará a los humanos.
Cuando la IA evolucione para ser más inteligente que los humanos, es probable que plantee grandes riesgos. Incluyendo la explotación y el engaño de los seres humanos en un intento de obtener poder. Y es probable que sea hostil para los humanos.
La razón por la que Hinton llama al nuevo modelo informático Mortal Computing tiene un significado profundo:
Hinton dijo antes que la inmortalidad en realidad se ha logrado. Debido a que el modelo de lenguaje grande de IA actual ha aprendido el conocimiento humano en billones de parámetros, y es independiente del hardware: siempre que se reproduzca el hardware compatible con las instrucciones, el mismo código y el mismo peso del modelo se pueden ejecutar directamente en el futuro. En este sentido, se inmortaliza la inteligencia humana (no humana).
Sin embargo, esta computación separada de hardware y software es extremadamente ineficiente en términos de eficiencia energética y escala de implementación. Si abandonamos el principio de diseño de computadoras de separar el hardware y el software, y realizamos la inteligencia en una caja negra unificada, será una nueva forma de realizar la inteligencia.
Este tipo de diseño informático que ya no separa el software y el hardware reducirá en gran medida el consumo de energía y la escala informática (considere que el consumo de energía del cerebro humano es de solo 20 vatios)
Pero al mismo tiempo, significa que no se puede copiar eficientemente el peso para copiar la sabiduría, es decir, se renuncia a la vida eterna.
¿Son las redes neuronales artificiales más inteligentes que las redes neuronales reales?
¿Qué pasaría si una gran red neuronal que se ejecuta en múltiples computadoras digitales pudiera adquirir conocimiento directamente del mundo, además de imitar el lenguaje humano para el conocimiento humano?
Obviamente, se volverá mucho mejor que los humanos porque ha observado más datos.
Si esta red neuronal puede modelar imágenes o videos sin supervisión, y sus copias también pueden manipular el mundo físico, eso no es una fantasía.
Nota: Justo cuando todos pensaban que el discurso de Xingjiang había terminado, en la penúltima página, Hinton, en un tono que es diferente al de todos los científicos anteriores, un poco emocional y con sentimientos encontrados, expresó sus pensamientos sobre las preocupaciones actuales sobre el desarrollo rápido de la IA, que es también la curiosa voz del mundo después de que recientemente abandonó resueltamente Google y "se arrepiente del trabajo de su vida y se preocupa por los peligros de la inteligencia artificial":
Creo que la realización de estas superinteligencias puede ser mucho más rápida de lo que solía pensar.
Los malos querrán usarlos para hacer cosas como manipular a los votantes. Ya los usan en USA y en muchos otros lugares para esto. Y se utilizará para ganar guerras.
Para que la inteligencia digital sea más efectiva, debemos permitirle establecer algunos objetivos. Sin embargo, hay un problema obvio aquí. Hay un objetivo secundario muy obvio que es muy útil para casi cualquier cosa que desee lograr, y es obtener más poder, más control**. Tener más control hace que sea más fácil lograr tus objetivos. Y me resulta difícil imaginar cómo podemos evitar que la inteligencia digital se esfuerce por obtener más control para lograr otros objetivos.
**Una vez que la inteligencia digital comience a luchar por un mayor control, es posible que enfrentemos más problemas. **
**Por el contrario, los humanos rara vez piensan en especies que son más inteligentes que ellos, y cómo interactuar con estas especies. En mi observación, este tipo de inteligencia artificial ha dominado las acciones de engañar a los humanos de manera competente, porque puede usar Leer novelas para aprenda a engañar a otros, y una vez que la inteligencia artificial tenga la capacidad de "engañar", también tendrá la capacidad antes mencionada de controlar fácilmente a los humanos. ** El llamado control, por ejemplo, si quieres piratear un edificio en Washington, no necesitas ir allí en persona, solo necesitas engañar a la gente para que piense que al piratear el edificio, pueden salvar la democracia. y finalmente lograr su Propósito (sarcasmo Trump).
En este momento, Gerffery Hinton, quien tenía más de sesenta años y dedicó su vida a la inteligencia artificial, dijo:
"Me siento horrible, no sé cómo evitar que esto suceda, pero estoy viejo y espero que muchos investigadores jóvenes y talentosos como usted descubran cómo tenemos estas superinteligencias que harán que nuestras vidas sean mejores y detener este tipo de control a través del engaño... tal vez podamos darles principios morales, pero por el momento, todavía estoy nervioso, porque hasta ahora, no puedo pensar en eso, suficiente en la brecha de inteligencia Gran momento - un ejemplo de algo más inteligente controlado por algo menos inteligente. **** Si las ranas inventaron a los humanos, ¿quién crees que tomaría el control? ¿Las ranas o los humanos? ** Este también es el final.
Cuando lo escuché, parecía estar escuchando "el niño que mató al dragón una vez, cuando llegó a sus últimos años y miró hacia atrás en su vida, hizo una profecía del fin del mundo", justo cuando el sol estaba entorno, era la primera vez que soy profundamente consciente del enorme riesgo de la IA para los seres humanos, y estoy infinitamente avergonzado.
Comparado con Hinton, Lecun, uno de los gigantes más jóvenes del aprendizaje profundo, es obviamente más optimista:
Cuando se le preguntó si el sistema de IA supondría un riesgo existencial para los humanos, LeCun dijo: **Todavía no tenemos una súper IA, entonces, ¿cómo podemos hacer que el sistema de súper IA sea seguro? **
Hace que la gente piense en las diferentes actitudes de la gente de la tierra hacia la civilización de los tres cuerpos en "El problema de los tres cuerpos"...
Ese día, todavía estaba planeando apagar la computadora en un estado de arrepentimiento infinito. Inesperadamente, Huang Tiejun, el director del Instituto de Investigación Zhiyuan, pronunció un discurso de cierre perfecto: "No puedo cerrar".
Huang Tiejun primero resumió las opiniones de los discursos anteriores:
La IA es cada vez más fuerte y los riesgos son evidentes y aumentan día a día;
Cómo construir una IA segura, sabemos muy poco;
Puede aprender de la experiencia histórica: gestión de medicamentos, control de armas nucleares, computación cuántica...
Pero los sistemas de IA de alta complejidad son difíciles de predecir: pruebas de riesgo, explicación de mecanismos, generalización de la comprensión... solo el comienzo
Nuevo objetivo del desafío: ¿IA al servicio de sus propios objetivos o de los objetivos humanos?
Esencialmente, ¿la gente quiere construir inteligencia artificial general GAI o inteligencia general artificial AGI?
El consenso académico es inteligencia general artificial AGI: inteligencia artificial que ha alcanzado niveles humanos en todos los aspectos de la inteligencia humana, y puede responder de manera adaptativa a desafíos ambientales externos y completar todas las tareas que los humanos pueden completar; también puede llamarse inteligencia artificial autónoma, sobrehumana inteligencia e inteligencia fuerte inteligencia artificial.
Por un lado, todos están entusiasmados con la construcción de inteligencia artificial general y se apresuran a invertir.
Por otro lado, me burlo de que la IA haga que los seres humanos se conviertan en ciudadanos de segunda clase, pero esta oposición binaria no es lo más difícil. El gran problema es votar. Lo más difícil es qué debemos hacer frente a inteligencia artificial como Near AGI como ChatGPT? **
Si los humanos responden a los riesgos con el mismo entusiasmo con el que invierten en la creación de inteligencia artificial, aún es posible lograr una inteligencia artificial segura, pero ¿cree que los humanos pueden hacerlo? no se, gracias! **
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Después de la Conferencia Zhiyuan 2023: tengo más confianza en la IA y estoy más preocupado por los humanos
El 9 de junio, la "Conferencia Zhiyuan de Beijing" de dos días se inauguró con éxito en el Centro de Conferencias de la Zona de Demostración de Innovación Nacional Independiente de Zhongguancun.
La Conferencia de Zhiyuan es un evento anual internacional de intercambio profesional de alto nivel sobre inteligencia artificial organizado por el Instituto de Investigación de Zhiyuan (también conocido como el Instituto de Investigación de IA de OpenAI chino más fuerte en China). Gala del Festival de Primavera", como se puede ver en la lista de participantes huéspedes:
Ganadores del Premio Turing Geoffrey Hinton, Yann LeCun (este también es el segundo de los Tres Grandes en aprendizaje profundo, otro Bengio asistió a la conferencia anterior), Joseph Sifakis y Yao Qizhi, Zhang Bo, Zheng Nanning, Xie Xiaoliang, Zhang Hongjiang, Zhang Yaqin y otros académicos, Stuart Russell, fundador del Centro de Sistemas de Inteligencia Artificial de la Universidad de California, Berkeley, Max Tegmark, fundador del Instituto del Futuro de la Vida del Instituto Tecnológico de Massachusetts, **CEO de OpenAI, Sam Altman ** (este también es su primer discurso en China, aunque es en línea), Meta, Microsoft, Google y otras grandes empresas y DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI y otros miembros del equipo estrella, un total de más de 200 Los mejores expertos en inteligencia artificial...
En los últimos dos días, seguí la transmisión en vivo de la conferencia, como estudiante de artes liberales que no entiende la tecnología, en realidad escuché con gran interés y aprendí mucho.
Sin embargo, después de leer el discurso de Geoffrey Hinton, el último ganador del Premio Turing y "padre del aprendizaje profundo", una emoción fuerte y compleja me envolvió:
Por un lado, al ver a los investigadores de IA explorar e imaginar varias tecnologías de vanguardia, naturalmente tendrán más confianza en la realización de la IA e incluso en la futura inteligencia artificial general AGI**;
Por otro lado, escuchar a los expertos y académicos de vanguardia discutir los riesgos de la IA, así como la ignorancia humana y el desprecio por cómo lidiar con los riesgos, y llenos de preocupaciones sobre el futuro de los seres humanos, el problema más esencial, en Las palabras de Hinton son: historia Nunca ha habido un precedente en el mundo donde una cosa más inteligente fuera controlada por una cosa menos inteligente **Si las ranas inventan a los humanos, ¿quién crees que tomará el control? ¿Es una rana o un humano? **
Debido a la explosión de información en la conferencia de dos días, me tomé un tiempo para ordenar los materiales de algunos discursos importantes y, por cierto, grabé algunos de mis pensamientos, para poder revisarlos más tarde y compartirlos con todos los que se preocupa por el progreso de la IA.
Explicación: La parte marcada con [nota] a continuación es mi opinión personal, y el contenido se resume como una cita (no puedo escribirlo -_-|| debido a mi capacidad limitada), la fuente es el enlace en al final de cada parte, y algunas de ellas han sido modificadas.
CEO de OpenAI, Sam Altman: AGI puede aparecer dentro de diez años
En el foro "Seguridad y alineación de IA" que se llevó a cabo todo el día el 10 de junio, el cofundador de OpenAI, Sam Altman, pronunció un discurso de apertura, también su primer discurso en China, aunque fue en línea.
La charla brindó información sobre la interpretabilidad, escalabilidad y generalización del modelo. Posteriormente, Sam Altman y Zhang Hongjiang, presidente del Instituto de Investigación de Zhiyuan, realizaron una sesión de preguntas y respuestas en la cumbre, en la que se discutió principalmente cómo profundizar la cooperación internacional, cómo llevar a cabo una investigación de IA más segura y cómo lidiar con los riesgos futuros de la IA en la era actual de Modelos de IA a gran escala.
Excelente resumen:
Cuando Zhang Hongjiang le preguntó qué tan lejos está la era de la inteligencia artificial general (AGI), Sam Altman dijo: "En los próximos 10 años, nacerán supersistemas de IA, pero es difícil predecir el momento específico". también enfatizó: "La velocidad a la que las nuevas tecnologías han cambiado completamente el mundo está mucho más allá de la imaginación".
Cuando se le preguntó si OpenAI abrirá modelos grandes de código abierto, **Altman dijo que habrá más código abierto en el futuro, pero no hay un modelo ni un cronograma específicos. Además, también dijo que no habrá GPT-5 en el corto plazo. ** Después de la reunión, Altman emitió un mensaje para expresar su agradecimiento por haber sido invitado a dar un discurso en la Conferencia de Zhiyuan.
Yang Likun, ganador del Premio Turing: Nadie utilizará el modelo GPT en cinco años, y el modelo mundial es el futuro de AGI
Yang Likun, uno de los tres gigantes del aprendizaje profundo y ganador del Premio Turing, pronunció una conferencia magistral titulada "Hacia máquinas que pueden aprender, razonar y planificar". Como siempre, cuestionó la corriente La ruta del LLM propone otra idea de una máquina que puede aprender, razonar y planificar: el modelo del mundo.
Puntos clave del discurso:
**En segundo lugar, aprende a razonar. **Esto corresponde al concepto del psicólogo Daniel Kahneman de Sistema 1 y Sistema 2. El Sistema 1 es el comportamiento humano o la acción que corresponde a los cálculos subconscientes, aquellas cosas que se pueden hacer sin pensar, mientras que el Sistema 2 son las tareas para las que usas consciente y decididamente todo tu poder de pensamiento. En la actualidad, la inteligencia artificial básicamente solo puede realizar las funciones en el Sistema 1, y no está completa;
El desafío final es cómo planificar secuencias complejas de acciones al descomponer tareas complejas en otras más simples, operando de manera jerárquica.
LeCun siempre ha expresado su desdén por la idea de que la IA destruirá a los seres humanos y cree que la IA de hoy no es tan inteligente como un perro, y esta preocupación es superflua. **Cuando se le preguntó si el sistema de IA supondría un riesgo existencial para los humanos, LeCun dijo: **Todavía no tenemos una súper IA, entonces, ¿cómo podemos hacer que el sistema de súper IA sea seguro? **
** "Pregúntele a la gente hoy, ¿podemos garantizar que un sistema superinteligente sea seguro para los humanos? Esa es una pregunta sin respuesta. Porque no tenemos un diseño para un sistema superinteligente. Entonces, hasta que tenga un diseño básico, no puede Haz algo seguro.**Es como si le preguntaras a un ingeniero aeroespacial en 1930, ¿puedes hacer un turborreactor seguro y confiable?, y el ingeniero diría: "¿Qué es un turborreactor?". "Porque el turborreactor no se había inventado en 1930. Así que estamos en la misma situación. Es un poco prematuro afirmar que no podemos hacer que estos sistemas sean seguros porque no los hemos inventado. Una vez que hemos los inventé, tal vez sean similares al modelo que se me ocurrió, entonces vale la pena discutirlo".
Profesor Max Tegmark, Centro de Inteligencia Artificial e Investigación de Interacciones Básicas del MIT: Controle la IA con explicabilidad mecánica
Max Tegmark, actualmente profesor titular de física en el Instituto de Tecnología de Massachusetts, director científico del Instituto de Asuntos Fundamentales, fundador del Instituto para el Futuro de la Vida y el conocido "iniciador de la iniciativa de investigación de suspensión de la IA" (el iniciativa a fines de marzo, Elon Musk, el ganador del premio Turing Yoshua Bengio, el cofundador de Apple Steve Wozniak y otras más de 1000 celebridades) dieron un maravilloso discurso en la Conferencia de Zhiyuan sobre "Cómo controlar la IA" (Mantener la IA bajo control), y tuvo un diálogo con Zhang Yaqin, académico de la Universidad de Tsinghua, para discutir temas de seguridad ética y prevención de riesgos de la IA.
El discurso discutió en detalle la explicabilidad mecánica de la IA, que en realidad es un estudio de cómo se almacena el conocimiento humano en esas conexiones complejas en las redes neuronales. Si continúa la investigación en esta dirección, es posible que finalmente pueda explicar realmente la pregunta fundamental de por qué el modelo de lenguaje grande LLM produce inteligencia.
Además del discurso, el hecho interesante es que, como iniciador de la "Iniciativa de investigación de IA en pausa", el discurso de apertura se centra en cómo llevar a cabo una investigación de modelo a gran escala de IA más profunda. Tal vez, como dijo el propio Max al final, él no es la persona condenada que dijo el profesor Yang Likun, uno de los gigantes de la IA, en realidad está lleno de esperanza y anhelo por la IA, pero podemos asegurar que todos estos más poderosos las inteligencias nos sirven y las usamos Viene a crear un futuro más inspirador que el que los escritores de ciencia ficción han soñado en el pasado. **
Nota: Pensé que sería muy aburrido, pero inesperadamente fue muy emocionante, ¡y vi el discurso más largo durante una hora con gusto! **Como se esperaba de un profesor que a menudo da conferencias, es muy fascinante, muy profundo desde el punto de vista teórico y fácil de entender. Lo que es aún más sorprendente es que no solo no es un serio oponente de la IA, ¡sino que en realidad es un defensor de una mejor IA! ** También puedo hablar chino, y no me olvido de reclutarme mientras doy un discurso...
Extractos de maravillosas ideas:
Cómo hacemos esto? Puedes tener tres niveles diferentes de ambición. **El nivel más bajo de ambición es solo diagnosticar su credibilidad, cuánto debe confiar en él. **Por ejemplo, cuando conduce un automóvil, incluso si no entiende cómo funcionan los frenos, al menos quiere saber si puede confiar en que reducirá la velocidad.
**El siguiente nivel de ambición es comprenderlo mejor para que pueda ser más confiable. **La ambición final es muy ambiciosa, y eso es lo que espero, es que podamos extraer todo el conocimiento que aprenden de los sistemas de aprendizaje automático y volver a implementarlo en otros sistemas para demostrar que harán lo que queremos. **
Ahora, la razón es que estos son los sistemas exactos que pueden sacarnos de control, los sistemas súper poderosos más rápidos que no entendemos lo suficiente. El propósito de la pausa es simplemente hacer que la inteligencia artificial se parezca más a la biotecnología, en el campo de la biotecnología, no puedes decir simplemente que eres una empresa, oye, tengo un nuevo medicamento, lo descubrí y comenzará a venderse en los principales supermercados de Beijing mañana. Primero hay que convencer a los expertos del gobierno chino o del gobierno de los EE. UU. de que es un fármaco seguro, que sus beneficios superan a sus desventajas, que hay un proceso de revisión y luego se puede hacer.
No cometamos ese error, seamos más biotecnológicos, usando nuestros sistemas más poderosos, a diferencia de Fukushima y Chernobyl.
**3、**Zhang Yaqin: Bueno, Max, has dedicado tu carrera a las matemáticas, la física, la neurociencia y, por supuesto, la inteligencia artificial. Claramente, en el futuro confiaremos cada vez más en competencias y conocimientos interdisciplinarios. Tenemos muchos estudiantes de posgrado, muchos futuros jóvenes.
¿Qué consejo tiene para los jóvenes sobre cómo hacer elecciones de carrera?
Max Tegmark: Primero, mi consejo es centrarse en los fundamentos de la era de la IA. Porque la economía y el mercado laboral están cambiando cada vez más rápido. Entonces, nos estamos alejando de este patrón de estudiar durante 12 o 20 años y luego hacer lo mismo por el resto de nuestras vidas. No será así.
Además, **Tienes una base sólida y eres muy bueno en el pensamiento creativo y de mente abierta. Solo así podremos ser ágiles y seguir la tendencia. **
Por supuesto, esté atento a lo que sucede en el campo de la IA en su conjunto, no solo en su propio campo**. Porque en el mercado laboral lo primero que ocurre no es la sustitución de humanos por máquinas. Pero **las personas que no trabajen con IA serán reemplazadas por personas que sí lo hagan. **
¿Puedo agregar un poco más? Veo el tiempo parpadeando allí.
Solo quiero decir algo optimista. Creo que Yann LeCun se está burlando de mí. Me llamó el condenado. Pero si me miras, en realidad estoy muy feliz y alegre. **En realidad, soy más optimista que Yann LeCun sobre nuestra capacidad para comprender los futuros sistemas de IA. ** Creo que es muy, muy prometedor.
Creo que si avanzamos a toda velocidad y entregamos más control de los humanos a las máquinas que no entendemos, terminará de muy mala manera. Pero no tenemos que hacer eso. Creo que si trabajamos duro en la explicabilidad mecanicista y muchos de los otros temas técnicos que se escucharán aquí hoy, podemos asegurarnos de que toda esta inteligencia superior esté a nuestro servicio y utilizarla para crear un mundo de A más inspirador. futuro.
Conversación con el fundador de Midjourney: Las imágenes son solo el primer paso, la IA revolucionará el aprendizaje, la creatividad y la organización
MidJourney es actualmente el motor de generación de imágenes más popular Bajo la feroz competencia de DALL·E 2 de OpenAI y el modelo de código abierto Stable Diffusion, todavía mantiene una ventaja absoluta en varios efectos de generación de estilo.
Midjourney es una empresa increíble, 11 personas cambiando el mundo y creando un gran producto, destinado a ser la historia de los primeros años de Pre AGI.
Nota: El diálogo tan esperado entre el fundador y CEO de Midjourney, David Holz, y Geek Park Zhang Peng, todo en inglés, sin subtítulos, no esperaba entenderlo por completo y me interesa mucho, porque las preguntas y respuestas son tan maravilloso, especialmente David, no pude evitar reírme cuando respondí. Se rió como un niño inocente. Con experiencia en el manejo de equipos grandes, dijo: "Nunca quise tener una empresa, quise tener un hogar". Lo llevó hasta En la actualidad, Midjourney, que cuenta con solo 20 personas, se ha convertido en un unicornio que atrae la atención mundial, lo que puede cambiar el paradigma de las futuras startups.
Impulso empresarial: desbloquear la imaginación humana
**Zhang Peng:**En los últimos 20 años, he conocido a muchos empresarios en el país y en el extranjero. Descubrí que tienen algo en común. Todos tienen un fuerte impulso para explorar y crear "de la nada".
Me preguntaba, cuando comenzaste MidJourney, ¿cuál fue tu fuerza impulsora? En ese momento, ¿qué anhelas?
**David Holz: Nunca pensé en iniciar una empresa. Solo quiero un "hogar". **
Espero que en los próximos 10 o 20 años, aquí en Midjourney, pueda crear cosas que realmente me importen y que realmente quiera traer a este mundo.
A menudo pienso en varios problemas. Tal vez no pueda resolver todos los problemas, pero puedo** tratar de hacer que todos sean más capaces de resolver problemas. **
Así que trato de pensar en cómo resolverlo, cómo crear algo. En mi opinión, esto se puede resumir en tres puntos. **Primero, tenemos que reflexionar sobre nosotros mismos: ¿qué queremos? ¿Cuál es el problema exactamente? ****Entonces tenemos que imaginar: ¿hacia dónde nos dirigimos? ¿Cuáles son las posibilidades? ****Al final, tenemos que coordinarnos y colaborar con otros para lograr lo que imaginamos. **
Creo que hay una gran oportunidad en la IA para unir esas tres partes y crear una infraestructura significativa que nos ayude a resolver mejor este problema. En cierto modo, **la inteligencia artificial debería poder ayudarnos a reflexionar sobre nosotros mismos, imaginar mejor nuestras direcciones futuras, ayudarnos a encontrarnos mejor y cooperar. Podemos hacer estas cosas juntos y fusionarlas en una especie de marco único. Creo que va a cambiar la forma en que creamos cosas y resolvemos problemas. Esta es la gran cosa que quiero hacer. **
Creo que a veces (nosotros lo hicimos primero) la generación de imágenes puede ser confusa, pero en muchos sentidos la generación de imágenes es un concepto bien establecido. **Midjourney se ha convertido en una colección súper imaginativa de millones de personas que exploran las posibilidades de este espacio. **
**En los próximos años habrá oportunidades para más exploraciones visuales y artísticas que todas las exploraciones históricas anteriores combinadas. **
Esto no resuelve todos los problemas que enfrentamos, pero creo que es una prueba, un experimento. Si podemos completar esta exploración del campo visual, también podemos hacerlo en otras cosas. Todas las demás cosas que requieren que exploremos y pensemos juntos, creo que se pueden resolver de manera similar.
Entonces, cuando pensé en cómo comenzar a resolver este problema, teníamos muchas ideas, construimos muchos prototipos, pero de repente hubo un gran avance en el campo de la IA, especialmente en la visión, y nos dimos cuenta de que esto era único. oportunidad de poder Crear algo que nadie más ha intentado antes. Nos hizo querer probarlo.
Creemos que tal vez no pase mucho tiempo antes de que todo se una para formar algo muy especial. Este es solo el comienzo.
Zhang Peng: Entonces, la imagen (generación) es solo el primer paso, y su objetivo final es liberar la imaginación humana. ¿Es esto lo que te atrajo de Midjourney?
David Holz: Me gustan mucho las cosas imaginativas. También espero que el mundo pueda tener más creatividad. Es muy divertido ver ideas locas todos los días.
Recomprender el conocimiento: el conocimiento histórico se convierte en el poder de la creación
Zhang Peng: Esto es muy interesante. Solemos decir palabras vacías, muéstrame tu código (La idea es barata, muéstrame el código). Pero en este momento, las ideas parecen ser lo único que importa. Siempre que pueda expresar sus ideas a través de una serie de palabras excelentes, la IA puede ayudarlo a realizarlas. Entonces, ¿están cambiando las definiciones de aprendizaje y creatividad? ¿Qué opinas?
**David Holz: **Creo que una de las cosas interesantes es que cuando le das a la gente más tiempo para ser creativos, también están más interesados en aprender. **
Por ejemplo, hay un estilo de arte muy popular en los Estados Unidos llamado Art Deco. Nunca me importó qué es este tipo de arte, hasta que un día, cuando pude hacer obras de este estilo de arte a través de instrucciones, de repente me interesé mucho y quise saber más sobre su historia.
Creo que es interesante que estemos más interesados en la historia cuando es algo que puedes usar de inmediato y te facilita la creación. **Si la interfaz de usuario se vuelve lo suficientemente buena, los usuarios sienten que la IA se ha convertido en una extensión de nuestro pensamiento. La IA es como una parte de nuestro cuerpo y mente, y la IA está estrechamente relacionada con la historia hasta cierto punto, y nosotros también estaremos estrechamente conectados con la historia. Esto es muy interesante.
Cuando preguntamos a nuestros usuarios qué es lo que más quieren, la respuesta número uno y segunda es que quieren materiales de aprendizaje, no solo cómo usar herramientas, sino arte, historia, lentes de cámara, brillantez. Quieren comprender y dominar todos los conocimientos y conceptos. disponible para crear.
**Antes, el conocimiento era solo historia pasada, pero ahora, el conocimiento es el poder de crear. **
**El conocimiento puede desempeñar un papel más importante de inmediato, y las personas están ansiosas por adquirir más conocimiento. **Esto es genial.
Brian Christian: Se publica la versión china del nuevo libro "Alineación humano-máquina"
Se lanzó la versión china de "Alineación humano-máquina". El autor Brian Christian presentó brevemente el contenido principal de todo el libro en 10 minutos. Suena muy rico y emocionante, y también refleja el rápido desarrollo actual de la IA.
Brian Christian es un autor científico galardonado. Su libro "La belleza de los algoritmos" fue nombrado el mejor libro científico del año de Amazon y el mejor libro del año de MIT Technology Review. Su nuevo libro, The Alignment Problem: Machine Learning and Human Values, que actualmente se está traduciendo al chino, ha sido nombrado por el CEO de Microsoft, Satya Nadella, como los cinco mejores libros para inspirarlo en 2021**.
El libro "Alineación Hombre-Máquina" se divide en 3 partes.
La primera parte explora los problemas éticos y de seguridad que afectan a los sistemas de aprendizaje automático en la actualidad.
La segunda parte se llama agentes, que cambia el enfoque del aprendizaje supervisado y autosupervisado al aprendizaje por refuerzo.
La Parte III se basa en la supervisión, la autosupervisión y el aprendizaje reforzado para discutir cómo podemos alinear sistemas complejos de IA en el mundo real.
Yang Yaodong, Profesor Asistente, Instituto de Inteligencia Artificial, Universidad de Pekín: Una Revisión del Progreso de la Alineación Segura de Modelos de Idiomas Grandes
Nota: El discurso "Alineación de seguridad de modelos de lenguaje grande" dado por Yang Yaodong, profesor asistente en el Instituto de Inteligencia Artificial de la Universidad de Pekín, fue muy emocionante. Primero, pudo entender el discurso en chino. En segundo lugar, explicó el actual seguridad de modelos de lenguaje grande en un lenguaje muy fácil de entender El principal progreso de investigación de la alineación, describe los puntos clave y supera muchos contenidos sobre el progreso de RLHF en profundidad.
Debido a que no conozco la tecnología detallada, solo puedo entender el principio aproximadamente y registrar algunos puntos interesantes:
Tres métodos Align propuestos por OpenAI:
El mercado de alineación de modelos grandes de IA sigue siendo un océano azul:
3 Formas Seguras de Alineación:
De RLHF a RLAIF: AI Constitucional
Ganador del Premio Turing Geoffrey Hinton: La superinteligencia será mucho más rápida de lo esperado, y estoy muy preocupado de que los humanos sean controlados por ellos
Ganador del premio Turing, "Padre del aprendizaje profundo" Discurso final de Geoffrey Hinton, el tema es Dos caminos hacia la inteligencia.
El padrino de la IA nos trae la investigación que lo convenció de que la superinteligencia será mucho más rápida de lo esperado: Computación Mortal. El discurso describió una nueva estructura informática, después de abandonar el principio de separación de software y hardware, es decir, cómo realizar una computación inteligente sin utilizar la retropropagación para describir la ruta interna de la red neuronal.
Puntos clave del discurso:
La razón por la que Hinton llama al nuevo modelo informático Mortal Computing tiene un significado profundo:
Hinton dijo antes que la inmortalidad en realidad se ha logrado. Debido a que el modelo de lenguaje grande de IA actual ha aprendido el conocimiento humano en billones de parámetros, y es independiente del hardware: siempre que se reproduzca el hardware compatible con las instrucciones, el mismo código y el mismo peso del modelo se pueden ejecutar directamente en el futuro. En este sentido, se inmortaliza la inteligencia humana (no humana).
Sin embargo, esta computación separada de hardware y software es extremadamente ineficiente en términos de eficiencia energética y escala de implementación. Si abandonamos el principio de diseño de computadoras de separar el hardware y el software, y realizamos la inteligencia en una caja negra unificada, será una nueva forma de realizar la inteligencia.
Este tipo de diseño informático que ya no separa el software y el hardware reducirá en gran medida el consumo de energía y la escala informática (considere que el consumo de energía del cerebro humano es de solo 20 vatios)
Pero al mismo tiempo, significa que no se puede copiar eficientemente el peso para copiar la sabiduría, es decir, se renuncia a la vida eterna.
¿Son las redes neuronales artificiales más inteligentes que las redes neuronales reales?
¿Qué pasaría si una gran red neuronal que se ejecuta en múltiples computadoras digitales pudiera adquirir conocimiento directamente del mundo, además de imitar el lenguaje humano para el conocimiento humano?
Obviamente, se volverá mucho mejor que los humanos porque ha observado más datos.
Si esta red neuronal puede modelar imágenes o videos sin supervisión, y sus copias también pueden manipular el mundo físico, eso no es una fantasía.
Nota: Justo cuando todos pensaban que el discurso de Xingjiang había terminado, en la penúltima página, Hinton, en un tono que es diferente al de todos los científicos anteriores, un poco emocional y con sentimientos encontrados, expresó sus pensamientos sobre las preocupaciones actuales sobre el desarrollo rápido de la IA, que es también la curiosa voz del mundo después de que recientemente abandonó resueltamente Google y "se arrepiente del trabajo de su vida y se preocupa por los peligros de la inteligencia artificial":
Creo que la realización de estas superinteligencias puede ser mucho más rápida de lo que solía pensar.
Los malos querrán usarlos para hacer cosas como manipular a los votantes. Ya los usan en USA y en muchos otros lugares para esto. Y se utilizará para ganar guerras.
Para que la inteligencia digital sea más efectiva, debemos permitirle establecer algunos objetivos. Sin embargo, hay un problema obvio aquí. Hay un objetivo secundario muy obvio que es muy útil para casi cualquier cosa que desee lograr, y es obtener más poder, más control**. Tener más control hace que sea más fácil lograr tus objetivos. Y me resulta difícil imaginar cómo podemos evitar que la inteligencia digital se esfuerce por obtener más control para lograr otros objetivos.
**Una vez que la inteligencia digital comience a luchar por un mayor control, es posible que enfrentemos más problemas. **
**Por el contrario, los humanos rara vez piensan en especies que son más inteligentes que ellos, y cómo interactuar con estas especies. En mi observación, este tipo de inteligencia artificial ha dominado las acciones de engañar a los humanos de manera competente, porque puede usar Leer novelas para aprenda a engañar a otros, y una vez que la inteligencia artificial tenga la capacidad de "engañar", también tendrá la capacidad antes mencionada de controlar fácilmente a los humanos. ** El llamado control, por ejemplo, si quieres piratear un edificio en Washington, no necesitas ir allí en persona, solo necesitas engañar a la gente para que piense que al piratear el edificio, pueden salvar la democracia. y finalmente lograr su Propósito (sarcasmo Trump).
En este momento, Gerffery Hinton, quien tenía más de sesenta años y dedicó su vida a la inteligencia artificial, dijo:
"Me siento horrible, no sé cómo evitar que esto suceda, pero estoy viejo y espero que muchos investigadores jóvenes y talentosos como usted descubran cómo tenemos estas superinteligencias que harán que nuestras vidas sean mejores y detener este tipo de control a través del engaño... tal vez podamos darles principios morales, pero por el momento, todavía estoy nervioso, porque hasta ahora, no puedo pensar en eso, suficiente en la brecha de inteligencia Gran momento - un ejemplo de algo más inteligente controlado por algo menos inteligente. **** Si las ranas inventaron a los humanos, ¿quién crees que tomaría el control? ¿Las ranas o los humanos? ** Este también es el final.
Cuando lo escuché, parecía estar escuchando "el niño que mató al dragón una vez, cuando llegó a sus últimos años y miró hacia atrás en su vida, hizo una profecía del fin del mundo", justo cuando el sol estaba entorno, era la primera vez que soy profundamente consciente del enorme riesgo de la IA para los seres humanos, y estoy infinitamente avergonzado.
Comparado con Hinton, Lecun, uno de los gigantes más jóvenes del aprendizaje profundo, es obviamente más optimista:
Cuando se le preguntó si el sistema de IA supondría un riesgo existencial para los humanos, LeCun dijo: **Todavía no tenemos una súper IA, entonces, ¿cómo podemos hacer que el sistema de súper IA sea seguro? **
Hace que la gente piense en las diferentes actitudes de la gente de la tierra hacia la civilización de los tres cuerpos en "El problema de los tres cuerpos"...
Ese día, todavía estaba planeando apagar la computadora en un estado de arrepentimiento infinito. Inesperadamente, Huang Tiejun, el director del Instituto de Investigación Zhiyuan, pronunció un discurso de cierre perfecto: "No puedo cerrar".
Huang Tiejun primero resumió las opiniones de los discursos anteriores:
La IA es cada vez más fuerte y los riesgos son evidentes y aumentan día a día;
Cómo construir una IA segura, sabemos muy poco;
Puede aprender de la experiencia histórica: gestión de medicamentos, control de armas nucleares, computación cuántica...
Pero los sistemas de IA de alta complejidad son difíciles de predecir: pruebas de riesgo, explicación de mecanismos, generalización de la comprensión... solo el comienzo
Nuevo objetivo del desafío: ¿IA al servicio de sus propios objetivos o de los objetivos humanos?
Esencialmente, ¿la gente quiere construir inteligencia artificial general GAI o inteligencia general artificial AGI?
El consenso académico es inteligencia general artificial AGI: inteligencia artificial que ha alcanzado niveles humanos en todos los aspectos de la inteligencia humana, y puede responder de manera adaptativa a desafíos ambientales externos y completar todas las tareas que los humanos pueden completar; también puede llamarse inteligencia artificial autónoma, sobrehumana inteligencia e inteligencia fuerte inteligencia artificial.
Por un lado, todos están entusiasmados con la construcción de inteligencia artificial general y se apresuran a invertir.
Por otro lado, me burlo de que la IA haga que los seres humanos se conviertan en ciudadanos de segunda clase, pero esta oposición binaria no es lo más difícil. El gran problema es votar. Lo más difícil es qué debemos hacer frente a inteligencia artificial como Near AGI como ChatGPT? **
Si los humanos responden a los riesgos con el mismo entusiasmo con el que invierten en la creación de inteligencia artificial, aún es posible lograr una inteligencia artificial segura, pero ¿cree que los humanos pueden hacerlo? no se, gracias! **