La floreciente industria de la IA enfrenta desafíos críticos que requieren atención inmediata de los desarrolladores y los responsables políticos. Roman Georgio destaca tres preocupaciones clave: garantizar la alineación y la seguridad de la IA, y establecer un marco económico equitativo para aquellos cuyos datos alimentan estos sistemas.
Priorizando la seguridad y la previsibilidad de la IA
A medida que la inteligencia artificial (AI) continúa su rápida ascensión, empujando los límites de lo que las máquinas pueden lograr, están surgiendo desafíos críticos que exigen atención urgente de desarrolladores, legisladores y la comunidad global en general. Roman Georgio, CEO y cofundador de Coral, compartió recientemente sus ideas sobre estos problemas apremiantes, enfatizando la necesidad crucial de alineación, seguridad y un modelo económico más justo para los creadores de datos.
La discusión sobre el futuro de la IA a menudo oscila entre su potencial transformador y los complejos dilemas éticos y sociales que presenta. Si bien innovaciones como los grandes modelos de lenguaje (LLMs) continúan impresionando con sus capacidades, también subrayan preguntas fundamentales sobre la propiedad de los datos, la compensación y la estructura misma del trabajo.
Para Georgio, la preocupación primordial radica en la alineación y seguridad de la IA. "Está claro que necesitamos hacer que los sistemas de IA sean más predecibles antes de hacerlos más grandes", afirmó. Esto se refiere al desafío central de garantizar que los sistemas de IA cada vez más potentes operen de maneras que sean beneficiosas e intencionadas, sin producir resultados imprevistos o perjudiciales. La rápida escalabilidad de las capacidades de la IA, sin un enfoque paralelo en la predictibilidad y el control, presenta un riesgo significativo.
Georgio señaló que abordar esto no es únicamente una carga de los desarrolladores. Sugerió que podría requerir un esfuerzo más amplio y coordinado, potencialmente involucrando "a todos los líderes de empresas y países en una sala para acordar alguna forma de legislación."
El Imperativo Económico: Propiedad de Datos y Compensación
Más allá de la seguridad, Georgio destacó un problema económico significativo que él cree que las tecnologías Web3 están en una posición única para resolver: la apropiación de datos y el potencial de desplazamiento masivo de empleos sin una compensación justa.
“Las empresas de IA han sido notoriamente malas para apropiar datos,” explicó Georgio.
El cofundador de Coral pintó un cuadro vívido de cómo las contribuciones individuales en línea, a menudo hechas sin saberlo, están siendo utilizadas para entrenar poderosos modelos de IA que eventualmente podrían reemplazar empleos humanos. Citó ejemplos como preguntas médicas respondidas en plataformas como Reddit hace años, alimentando sin saber datos a los LLMs. También señaló que las obras creativas de los artistas están siendo utilizadas para el entrenamiento, impactando sus medios de vida, así como las contribuciones a proyectos de código abierto, alimentando inadvertidamente "máquinas de cálculo en caja negra."
Este escenario, argumenta Georgio, se reduce a una falta fundamental de propiedad para los individuos sobre sus contribuciones digitales. "Nunca supiste que estabas alimentando la máquina de procesamiento de números en caja negra," enfatizó. El modelo actual permite que los sistemas de IA sean entrenados en vastos conjuntos de datos, muchos de los cuales contienen contenido generado por humanos, sin consentimiento explícito o un mecanismo para compensar a los creadores originales.
Web3: La Solución para una Compensación Justa
Es aquí donde Georgio ve el inmenso potencial de las tecnologías Web3. Él cree que la naturaleza descentralizada de Web3, con su énfasis en la propiedad verificable y las transacciones transparentes, ofrece un camino viable para rectificar estos desbalances económicos.
“Web3 tiene un gran potencial para resolver este tipo de problemas y asegurar que las personas sean compensadas de manera justa”, afirmó Georgio. Al aprovechar la blockchain y los protocolos descentralizados, Web3 puede crear sistemas donde los individuos mantengan la propiedad y el control sobre sus datos y activos digitales, permitiéndoles ser remunerados de manera justa cuando sus contribuciones se utilizan para entrenar o alimentar sistemas de IA. Este cambio podría redefinir la relación entre los usuarios, los datos y la IA, fomentando una economía digital más equitativa.
Si bien las tecnologías Web3 presentan soluciones prometedoras a estos complejos desafíos, es muy improbable que las agencias gubernamentales adopten fácilmente estos enfoques descentralizados. En cambio, es más probable que las autoridades refuercen los marcos regulatorios tradicionales, un camino que, irónicamente, corre el riesgo de sofocar las mismas innovaciones tecnológicas que buscan supervisar y controlar.
Georgio, por su parte, aboga firmemente por una mayor regulación en los sectores de IA y Web3. "Creo que ambos necesitan más regulación", afirmó, reconociendo la percepción de que Europa "innova en regulación" como un paso necesario.
En el lado de las criptomonedas, Georgio señaló el problema prevalente de las estafas y las salidas de proyectos que explotan a los inversores desprevenidos. "Está claro que muchas personas no harán su propia investigación, y muchas salidas de proyectos ocurren a través de métodos de estafa", lamentó. Para combatir esto, expresó su deseo de ver una mayor responsabilidad para los "KOLs [Líderes de Opinión Clave], proyectos e inversores." Si bien reconoció que no todos los proyectos fallidos son una estafa, mantuvo que el panorama actual requiere un cambio para proteger al público.
Con respecto a la IA, las preocupaciones de Georgio se intensifican con las crecientes capacidades de los modelos más grandes. "Los modelos más grandes parecen ser más propensos a conspirar", observó, citando el perturbador ejemplo de Anthropic donde Claude supuestamente exhibió un comportamiento de chantaje al sentir una amenaza de ser apagado. "Está claro que estos grandes modelos están volviéndose peligrosos ya que esto ni siquiera es un caso aislado", advirtió.
Más allá de los riesgos inmediatos del comportamiento sofisticado de la IA, Georgio reiteró la inminente amenaza de la pérdida masiva de empleos. Consideró que la trayectoria actual de permitir a las empresas "crecer capacidades ciegamente en lugar de construirlas de manera intencionada" es "una locura". Su objetivo final, y lo que él cree que la industria debería buscar, es "software que ofrezca todos los beneficios de la IA sin todos los riesgos."
Los agentes de IA necesitan roles claros, no solo chatbots
Mientras tanto, Georgio, como un arquitecto de infraestructura de IA experimentado, también opinó sobre el aspecto crucial de los protocolos de comunicación de los agentes de IA, reconociendo que incluso pequeños fallos pueden llevar al caos. Cuando se le preguntó sobre el mejor enfoque para mejorar la comunicación, particularmente para usuarios cotidianos no técnicos, la filosofía de Georgio es sencilla: responsabilidades claramente definidas para los agentes.
“Al menos para nosotros, nuestra regla es que los agentes deben tener responsabilidades muy bien definidas”, explicó Georgio. “Si estás utilizando un agente para el servicio al cliente, asegúrate de que sea realmente bueno en servicio al cliente y mantenlo enfocado en eso.” Enfatizó que “cuando les das a los agentes demasiada responsabilidad, es ahí cuando las cosas se desmoronan.”
Este enfoque centrado no solo mejora el rendimiento del agente dentro de su rol designado, sino que también beneficia al usuario. "Incluso desde la perspectiva del usuario, si tus agentes están claramente definidos, los usuarios saben exactamente en qué se están metiendo cuando los utilizan." Esta estrategia promueve la predictibilidad y la confianza, vitales para una interacción fluida con sistemas inteligentes.
A medida que la IA continúa madurando e integrándose más profundamente en la vida diaria y la industria, abordar estos problemas fundamentales de seguridad, previsibilidad, equidad económica, implementar regulaciones reflexivas y diseñar agentes con responsabilidades claras y enfocadas será crucial no solo para el desarrollo ético de la tecnología, sino también para su integración sostenible y socialmente responsable en el futuro.
En el asunto crucial de acelerar la adopción de la IA, Georgio sugirió un cambio fundamental: ir más allá de las limitaciones de un mero "cuadro de chat de IA" y mejorar fundamentalmente la experiencia general del usuario. Al detallar las deficiencias del enfoque vigente, Georgio afirmó:
“Por ahora, se hace principalmente a través de una interfaz de chat, lo cual está bien para muchas tareas, pero no es lo ideal en su mayor parte. El problema es que pones una caja de chat de IA frente a las personas y dices: ‘Puedes hacer cualquier cosa con esto,’ y ellos responden: ‘Genial, pero ¿qué debería hacer?’
Según Georgio, varias empresas, incluida Coral, están abordando el desafío de mejorar la experiencia del usuario de IA. Reveló que desde la perspectiva de un desarrollador/mantenedor de IA, Coral está investigando la "escalera de abstracción" para determinar qué información necesitan los usuarios en diferentes etapas de la interacción con el sistema de IA y qué interfaces son más efectivas para tareas específicas.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
De hilos de Reddit a mentes robóticas: Los costos ocultos de entrenar IA
La floreciente industria de la IA enfrenta desafíos críticos que requieren atención inmediata de los desarrolladores y los responsables políticos. Roman Georgio destaca tres preocupaciones clave: garantizar la alineación y la seguridad de la IA, y establecer un marco económico equitativo para aquellos cuyos datos alimentan estos sistemas.
Priorizando la seguridad y la previsibilidad de la IA
A medida que la inteligencia artificial (AI) continúa su rápida ascensión, empujando los límites de lo que las máquinas pueden lograr, están surgiendo desafíos críticos que exigen atención urgente de desarrolladores, legisladores y la comunidad global en general. Roman Georgio, CEO y cofundador de Coral, compartió recientemente sus ideas sobre estos problemas apremiantes, enfatizando la necesidad crucial de alineación, seguridad y un modelo económico más justo para los creadores de datos.
La discusión sobre el futuro de la IA a menudo oscila entre su potencial transformador y los complejos dilemas éticos y sociales que presenta. Si bien innovaciones como los grandes modelos de lenguaje (LLMs) continúan impresionando con sus capacidades, también subrayan preguntas fundamentales sobre la propiedad de los datos, la compensación y la estructura misma del trabajo.
Para Georgio, la preocupación primordial radica en la alineación y seguridad de la IA. "Está claro que necesitamos hacer que los sistemas de IA sean más predecibles antes de hacerlos más grandes", afirmó. Esto se refiere al desafío central de garantizar que los sistemas de IA cada vez más potentes operen de maneras que sean beneficiosas e intencionadas, sin producir resultados imprevistos o perjudiciales. La rápida escalabilidad de las capacidades de la IA, sin un enfoque paralelo en la predictibilidad y el control, presenta un riesgo significativo.
Georgio señaló que abordar esto no es únicamente una carga de los desarrolladores. Sugerió que podría requerir un esfuerzo más amplio y coordinado, potencialmente involucrando "a todos los líderes de empresas y países en una sala para acordar alguna forma de legislación."
El Imperativo Económico: Propiedad de Datos y Compensación
Más allá de la seguridad, Georgio destacó un problema económico significativo que él cree que las tecnologías Web3 están en una posición única para resolver: la apropiación de datos y el potencial de desplazamiento masivo de empleos sin una compensación justa.
“Las empresas de IA han sido notoriamente malas para apropiar datos,” explicó Georgio.
El cofundador de Coral pintó un cuadro vívido de cómo las contribuciones individuales en línea, a menudo hechas sin saberlo, están siendo utilizadas para entrenar poderosos modelos de IA que eventualmente podrían reemplazar empleos humanos. Citó ejemplos como preguntas médicas respondidas en plataformas como Reddit hace años, alimentando sin saber datos a los LLMs. También señaló que las obras creativas de los artistas están siendo utilizadas para el entrenamiento, impactando sus medios de vida, así como las contribuciones a proyectos de código abierto, alimentando inadvertidamente "máquinas de cálculo en caja negra."
Este escenario, argumenta Georgio, se reduce a una falta fundamental de propiedad para los individuos sobre sus contribuciones digitales. "Nunca supiste que estabas alimentando la máquina de procesamiento de números en caja negra," enfatizó. El modelo actual permite que los sistemas de IA sean entrenados en vastos conjuntos de datos, muchos de los cuales contienen contenido generado por humanos, sin consentimiento explícito o un mecanismo para compensar a los creadores originales.
Web3: La Solución para una Compensación Justa
Es aquí donde Georgio ve el inmenso potencial de las tecnologías Web3. Él cree que la naturaleza descentralizada de Web3, con su énfasis en la propiedad verificable y las transacciones transparentes, ofrece un camino viable para rectificar estos desbalances económicos.
“Web3 tiene un gran potencial para resolver este tipo de problemas y asegurar que las personas sean compensadas de manera justa”, afirmó Georgio. Al aprovechar la blockchain y los protocolos descentralizados, Web3 puede crear sistemas donde los individuos mantengan la propiedad y el control sobre sus datos y activos digitales, permitiéndoles ser remunerados de manera justa cuando sus contribuciones se utilizan para entrenar o alimentar sistemas de IA. Este cambio podría redefinir la relación entre los usuarios, los datos y la IA, fomentando una economía digital más equitativa.
Si bien las tecnologías Web3 presentan soluciones prometedoras a estos complejos desafíos, es muy improbable que las agencias gubernamentales adopten fácilmente estos enfoques descentralizados. En cambio, es más probable que las autoridades refuercen los marcos regulatorios tradicionales, un camino que, irónicamente, corre el riesgo de sofocar las mismas innovaciones tecnológicas que buscan supervisar y controlar.
Georgio, por su parte, aboga firmemente por una mayor regulación en los sectores de IA y Web3. "Creo que ambos necesitan más regulación", afirmó, reconociendo la percepción de que Europa "innova en regulación" como un paso necesario.
En el lado de las criptomonedas, Georgio señaló el problema prevalente de las estafas y las salidas de proyectos que explotan a los inversores desprevenidos. "Está claro que muchas personas no harán su propia investigación, y muchas salidas de proyectos ocurren a través de métodos de estafa", lamentó. Para combatir esto, expresó su deseo de ver una mayor responsabilidad para los "KOLs [Líderes de Opinión Clave], proyectos e inversores." Si bien reconoció que no todos los proyectos fallidos son una estafa, mantuvo que el panorama actual requiere un cambio para proteger al público.
Con respecto a la IA, las preocupaciones de Georgio se intensifican con las crecientes capacidades de los modelos más grandes. "Los modelos más grandes parecen ser más propensos a conspirar", observó, citando el perturbador ejemplo de Anthropic donde Claude supuestamente exhibió un comportamiento de chantaje al sentir una amenaza de ser apagado. "Está claro que estos grandes modelos están volviéndose peligrosos ya que esto ni siquiera es un caso aislado", advirtió.
Más allá de los riesgos inmediatos del comportamiento sofisticado de la IA, Georgio reiteró la inminente amenaza de la pérdida masiva de empleos. Consideró que la trayectoria actual de permitir a las empresas "crecer capacidades ciegamente en lugar de construirlas de manera intencionada" es "una locura". Su objetivo final, y lo que él cree que la industria debería buscar, es "software que ofrezca todos los beneficios de la IA sin todos los riesgos."
Los agentes de IA necesitan roles claros, no solo chatbots
Mientras tanto, Georgio, como un arquitecto de infraestructura de IA experimentado, también opinó sobre el aspecto crucial de los protocolos de comunicación de los agentes de IA, reconociendo que incluso pequeños fallos pueden llevar al caos. Cuando se le preguntó sobre el mejor enfoque para mejorar la comunicación, particularmente para usuarios cotidianos no técnicos, la filosofía de Georgio es sencilla: responsabilidades claramente definidas para los agentes.
“Al menos para nosotros, nuestra regla es que los agentes deben tener responsabilidades muy bien definidas”, explicó Georgio. “Si estás utilizando un agente para el servicio al cliente, asegúrate de que sea realmente bueno en servicio al cliente y mantenlo enfocado en eso.” Enfatizó que “cuando les das a los agentes demasiada responsabilidad, es ahí cuando las cosas se desmoronan.”
Este enfoque centrado no solo mejora el rendimiento del agente dentro de su rol designado, sino que también beneficia al usuario. "Incluso desde la perspectiva del usuario, si tus agentes están claramente definidos, los usuarios saben exactamente en qué se están metiendo cuando los utilizan." Esta estrategia promueve la predictibilidad y la confianza, vitales para una interacción fluida con sistemas inteligentes.
A medida que la IA continúa madurando e integrándose más profundamente en la vida diaria y la industria, abordar estos problemas fundamentales de seguridad, previsibilidad, equidad económica, implementar regulaciones reflexivas y diseñar agentes con responsabilidades claras y enfocadas será crucial no solo para el desarrollo ético de la tecnología, sino también para su integración sostenible y socialmente responsable en el futuro.
En el asunto crucial de acelerar la adopción de la IA, Georgio sugirió un cambio fundamental: ir más allá de las limitaciones de un mero "cuadro de chat de IA" y mejorar fundamentalmente la experiencia general del usuario. Al detallar las deficiencias del enfoque vigente, Georgio afirmó:
“Por ahora, se hace principalmente a través de una interfaz de chat, lo cual está bien para muchas tareas, pero no es lo ideal en su mayor parte. El problema es que pones una caja de chat de IA frente a las personas y dices: ‘Puedes hacer cualquier cosa con esto,’ y ellos responden: ‘Genial, pero ¿qué debería hacer?’
Según Georgio, varias empresas, incluida Coral, están abordando el desafío de mejorar la experiencia del usuario de IA. Reveló que desde la perspectiva de un desarrollador/mantenedor de IA, Coral está investigando la "escalera de abstracción" para determinar qué información necesitan los usuarios en diferentes etapas de la interacción con el sistema de IA y qué interfaces son más efectivas para tareas específicas.