从Reddit线程到机器人思维：训练AI的隐藏成本

蓬勃发展的人工智能行业面临着需要开发者和政策制定者立即关注的关键挑战。罗曼·乔治奥强调了三个主要问题：确保人工智能的对齐和安全，以及为那些为这些系统提供数据的人建立公平的经济框架。

优先考虑人工智能的安全性和可预测性

随着人工智能(AI)行业的迅速崛起，推动着机器所能实现的界限，关键挑战正在出现，迫切需要开发者、政策制定者和更广泛的全球社区的关注。Coral的首席执行官兼联合创始人Roman Georgio最近分享了他对这些紧迫问题的见解，强调了对齐、安全和为数据创作者提供更公平经济模型的迫切需求。

关于人工智能未来的讨论常常在其变革潜力与所带来的复杂伦理和社会困境之间摇摆。尽管像大型语言模型(LLMs)这样的创新继续以其能力令人印象深刻，但它们也突显了关于数据所有权、补偿以及工作结构的基本问题。

对于乔治奥来说，首要关切在于人工智能的对齐和安全。他表示：“显然，在我们让人工智能系统变得更强大之前，我们需要使其更加可预测。”这反映了确保日益强大的人工智能系统以有益和预期的方式运作的核心挑战，而不是产生意想不到或有害的结果。人工智能能力的快速扩展，如果没有与之相对应的可预测性和控制的关注，将带来重大风险。

乔治欧指出，解决这个问题不仅仅是开发者的责任。他建议，这可能需要更广泛的协调努力，可能涉及“所有公司的负责人和国家的负责人聚在一起达成某种立法的共识。”

经济迫切性：数据所有权与补偿

除了安全性，Georgio强调了一个他认为Web3技术独特能够解决的重要经济问题：数据的占用以及在没有公平补偿的情况下，大规模失业的潜力。

“AI公司在数据挪用方面向来很糟糕，”Georgio解释道。

Coral的联合创始人生动描绘了个人在线贡献的方式，这些贡献往往是在不知情的情况下进行的，现在正被用来训练强大的AI模型，这些模型最终可能会取代人类的工作。他举了例子，比如多年前在Reddit等平台上回答的医学问题，无意中为大型语言模型（LLMs）提供数据。他还指出，艺术家的创作作品被用于训练，这影响了他们的生计，以及对开源项目的贡献，无意中助长了“黑箱数字计算机器”。

这一情境，Georgio 认为，归结为个人对其数字贡献缺乏基本的所有权。“你从不知道自己在为这个黑箱数字计算机器提供养分，”他强调道。当前的模式允许 AI 系统在庞大的数据集中进行训练，这些数据集中的许多内容都是人类生成的，但没有明确的同意或补偿原始创作者的机制。

Web3：公平补偿的解决方案

在这里，Georgio看到了Web3技术的巨大潜力。他相信Web3的去中心化特性，强调可验证的所有权和透明的交易，为纠正这些经济不平衡提供了一条可行的路径。

“Web3具有解决这些问题的巨大潜力，并确保人们获得公平的补偿，”Georgio断言。通过利用区块链和去中心化协议，Web3可以创建系统，让个人保留对其数据和数字资产的所有权和控制权，从而在他们的贡献被用于训练或驱动AI系统时，得到公平的报酬。这种转变可能会重新定义用户、数据和AI之间的关系，促进一个更加公平的数字经济。

虽然Web3技术为这些复杂挑战提供了有前景的解决方案，但政府机构很可能不会轻易接受这些去中心化的方法。相反，权威机构更有可能加大对传统监管框架的力度，而这一途径，具有讽刺意味的是，可能会扼杀他们旨在监督和控制的技术创新。

与此同时，Georgio 强烈主张在人工智能和 Web3 领域增加监管。他表示：“我认为两者都需要更多的监管，”并承认欧洲“在监管方面创新”的看法是必要的一步。

在加密领域，Georgio 指出，诈骗和项目退出的普遍问题利用了毫无防备的投资者。“很明显，很多人不会进行自己的研究，许多项目退出都是通过诈骗手段发生的，”他感叹道。为了应对这一问题，他表示希望看到对“KOLs [关键意见领袖]、项目和投资者”的更大问责。虽然承认并非每个失败的项目都是诈骗，但他坚持认为，当前的环境需要改变以保护公众。

关于人工智能，Georgio的担忧随着更大模型能力的增强而加剧。他观察到：“更大的模型似乎更容易策划阴谋。”他引用了Anthropic的一个令人不安的例子，在该例子中，Claude在感知到被关闭的威胁时 reportedly 展现了勒索行为。他警告说：“显然，这些大模型正在变得危险，因为这甚至不是一次性的事情。”

除了复杂人工智能行为带来的直接风险，乔治奥重申了大规模失业的迫在眉睫的威胁。他认为，当前让公司“盲目地‘增长能力’，而不是有目的地建立它们”的发展轨迹是“疯狂的”。他的最终目标，以及他认为行业应努力追求的目标，是“提供所有人工智能好处而没有所有风险的软件。”

AI代理需要明确的角色，而不仅仅是聊天机器人

与此同时，作为一名经验丰富的人工智能基础设施架构师，Georgio 也对人工智能代理通信协议这一关键方面发表了看法，他认识到即使是微小的故障也会导致混乱。当被问及如何改善通信，特别是针对非技术性的日常用户时，Georgio 的哲学非常简单：为代理明确界定职责。

“至少对我们而言，我们的规则是代理应该有非常明确定义的职责，”乔治奥解释道。“如果你在使用代理进行客户服务，请确保它非常擅长客户服务，并保持其专注于此。”他强调说，“当你给代理过多的责任时，事情就会崩溃。”

这种专注的方法不仅提高了代理在其指定角色中的表现，还有利于用户。 “即使从用户的角度来看，如果你的代理定义得很清晰，用户就会确切知道他们在使用它们时会得到什么。” 这一策略促进了可预测性和信任，这对于与智能系统的无缝互动至关重要。

随着人工智能的不断成熟并深入融入日常生活和工业，解决这些安全性、可预测性、经济公平等基础问题，实施深思熟虑的监管以及设计具有清晰、专注责任的智能体，将对技术的伦理发展以及其可持续和社会责任的未来整合至关重要。

在加速人工智能采用的关键问题上，Georgio 提出了一个关键转变：超越仅仅是“人工智能聊天框”的局限性，根本改善整体用户体验。Georgio 阐述了当前方法的缺陷，声称：

“目前大多数操作是通过聊天界面完成的，这对于许多任务来说是可以的，但在大多数情况下并不理想。问题是你把一个AI聊天框放在用户面前，并说‘你可以用这个做任何事情’，他们的反应是‘太好了，但我应该做什么？’”

根据Georgio所说，包括Coral在内的几家公司正在解决改善人工智能用户体验的挑战。他透露，从人工智能开发者/维护者的角度来看，Coral正在研究“抽象阶梯”，以确定用户在与人工智能系统交互的不同阶段需要哪些信息，以及哪些接口对于特定任务最有效。