AI奇点逼近？奥特曼再发神秘信号，AGI时代或将颠覆一切
最近，人工智能领域再次掀起波澜。OpenAI智能体安全研究员Stephen McAleer的一番感慨，以及OpenAI创始人奥特曼发布的“六字箴言”——“near the singularity; unclear which side”（奇点临近；不知身处何方），引发了人们对人工智能奇点和通用人工智能（AGI）的广泛讨论。
奥特曼的这句“六字箴言”，被解读为暗示了两种可能性：一是我们可能身处一个模拟世界，二是我们无法准确预测AGI真正到来的时刻。这一言论犹如一枚重磅炸弹，再次点燃了人们对AGI的期待和恐慌。
在社交媒体的评论区，关于AGI的讨论甚嚣尘上，各种猜想和担忧接踵而至。人们开始认真思考，如果AGI/ASI真的降临，人类将面临怎样的未来？
AGI降临，95%人类工作或被AI取代？
谷歌文档之父Steve Newman在其最新长文中大胆预测，AGI的到来将导致95%的人类工作被AI取代，甚至包括未来新创造的工作。他认为，AGI的定义是指AI能够在超过95%的经济活动中，以具有成本效益的方式取代人类，包括任何未来新产生的工作。
Apollo Research的联合创始人Marius Hobbhahn则给出了更具体的时间表。他预测，到2027年，AI将取代顶级的AI研究人员，到2028年，AI公司将拥有数百万的自动化AI研究员，从而自动化几乎所有知识型工作。更甚的是，他认为到2029年，AI将能自动化95%以上具有经济价值的任务。这与Newman的观点不谋而合，都指向了AGI对就业市场的巨大冲击。
Newman详细阐述了AGI的定义：它不仅是指AI能够完成单个孤立的任务，而且要能够主动适应，完成大多数经济活动所需的全部任务。他还指出，一旦AI能够完成大多数知识型工作，高性能的物理机器人也将在几年内出现。这不仅会带来经济的超增长，也可能引发灾难性的风险，甚至导致AI接管世界。
尽管存在这些可能性，Newman强调，这并非意味着所有预测都会实现，技术进步的速度可能会放缓，甚至“长生不老”的设想也可能无法实现。他所指的是，当AI实现难以想象的经济增长的同时，也可能具备制造毁灭性流行病或快速殖民太空的能力，这些可能几乎同时发生。
为什么我们关注AGI？
经济超增长的前提是，AI能够自动化几乎所有的经济活动。如果AI只能自动化一半的工作，那么超增长几乎不可能实现，因为对另一半工作的需求将会增加。只有当AI能够完成人类能做的几乎所有事情，并能适应人类原本的工作环境，超增长才有可能发生。
此外，太空殖民、致命流行病、资源稀缺的终结、AI接管世界等情景都可以被归类为“AGI 完成”情景，因为它们需要相同广度和深度的AI能力。Newman认为，只要AI能够完成几乎所有经济任务，就足以实现这些预测。
阈值效应：技术突破的突然爆发
Newman还提到了“阈值效应”，即技术在初期可能进展缓慢，但在达到某个临界点后，会引发突如其来的巨大影响。例如，手机的普及经历了从笨重到无处不在的过程。他认为，对于AI来说，只有当它突破实用性阈值后，才能被广泛采用，而这种突破可能在瞬间发生。
这个阈值就是当AI能够完成几乎所有经济价值任务，并且不需要调整任务来适应自动化时，它将具备实现所有预测的能力。在达到这一阈值之前，AI仍然需要人类专家的协助。
实现AGI，我们该如何应对？
对于如何实现AGI，目前的研究人员尚无明确答案。Apollo Research的Marius Hobbhahn认为，AGI的核心特征应包括对风险的明确假设、多层次的防御方法和计划的一致性。他强调，AI公司不应该只关注性能，而忽视安全性。
Hobbhahn认为，我们很幸运，现在的AI系统推理过程是“直接可见”且“易于理解的”。为了确保AI的安全性，他建议应该重视忠实且人类可读的CoT（思维链）范式。他认为，AI的推理过程必须以人类能够理解的方式进行，并准确反映其行动的原因。
为了实现这一目标，我们需要投入更多精力研究易于理解且忠实的推理过程，并开发评估工具，测试模型的推理过程是否忠实。同时，应该减少“移除可见CoT”的相关研究。此外，他还建议使用CoT来监控模型，检测各种故障模式和不良行为，例如阴谋、权力追求等。
此外，为了最大限度地提高AI的实用性，并同时最小化风险，还需要控制智能体，并使其在现实环境中发挥作用。同时，也要加深对模型图谋不轨行为的理解，并使用更好的工具检测这些行为。
最后，评估也是非常重要的一环，不仅要评估AI的能力，也要评估其对齐情况，并建立详细的“心理档案”，了解其默认倾向。
总而言之，AGI的到来已不再是遥远的幻想，而是一个迫在眉睫的现实。我们既要拥抱AI带来的机遇，也要充分认识到其潜在的风险。只有通过深入的研究和谨慎的应对，才能确保人类在AGI时代能够持续发展。
