OpenAI在官方博客发布新论文《通过过程监督改进数学推理》。
·OpenAI对抗AI“幻觉”的新策略是：奖励大模型每个正确的推理步骤，而不是简单地奖励正确的最终答案。研究人员表示，这种方法被称为“过程监督”，而不是“结果监督”。
OpenAI在官方博客发布新论文《通过过程监督改进数学推理》。
当地时间5月31日，OpenAI宣布正在承担起对抗人工智能“幻觉”的重任，并采用了一种训练人工智能模型的新方法。
当OpenAI开发的ChatGPT或谷歌开发的Bard等模型完全捏造信息时，就被称为出现了AI “幻觉（hallucination）”，表现得好像它们在滔滔不绝地讲述事实。其中一个例子是：在谷歌2月为Bard发布的宣传视频中，聊天机器人对詹姆斯·韦伯太空望远镜做出了不实的描述。最近，ChatGPT在纽约联邦法院的一份文件中引用了虚假案件，涉案的纽约律师可能面临惩罚。
现在，OpenAI在一项最新研究中提出了减轻ChatGPT“幻觉”、实现更好对齐的新方法——通过“过程监督”来提高AI大模型的数学推理能力。
OpenAI研究人员在报告中写道：“即使是最先进的模型也容易产生虚假信息——它们表现出在不确定的时刻编造事实的倾向。” “这些幻觉在需要多步推理的领域尤其成问题，因为一个逻辑错误就足以破坏更大的解决方案。”
OpenAI对抗AI“幻觉”的新策略是：奖励每个正确的推理步骤，而不是简单地奖励正确的最终答案。研究人员表示，这种方法被称为“过程监督”，而不是“结果监督”。
这种策略可能还会导致更具解释性的AI，因为它鼓励模型更多地遵循类似人类的“思维”方法链。除了得到高于“结果监督”的性能表现外，“过程监督”或许也有助于解决对齐难题。
目前，OpenAI的研究人员尚不清楚这些结果能否应用在数学领域之外，但他们认为，探索“过程监督”在其他领域中的影响将至关重要。
OpenAI的研究员卡尔·科布（Karl Cobbe）告诉CNBC：“检测和减轻模型的逻辑错误或幻觉是构建一致的AGI（通用人工智能）的关键一步。”他指出，OpenAI虽然并未发明“过程监督”方法，但正在帮助推动它向前发展。 “这项研究背后的动机是解决幻觉问题，以使模型更有能力解决具有挑战性的推理问题。”
科布说，OpenAI已经发布了一个附带的数据集，其中包含80万个人类标签，用于训练研究论文中提到的模型。
美国电子隐私信息中心（Electronic Privacy Information Center）高级顾问兼人工智能和人权项目负责人本·温特斯（Ben Winters）表示怀疑，他告诉CNBC，希望能检查完整的数据集和随附的示例。“我认为仅此一项并不能显著减轻对错误信息和不正确结果的担忧。”温特斯说。
由于不清楚OpenAI论文是否经过同行评审或以其他格式进行评审，布朗大学技术责任中心主任苏雷什·文卡塔苏巴拉马尼安（Suresh Venkatasubramanian）告诉CNBC，他认为这项研究只是初步观察。“在我们可以对此发表任何肯定之前，这需要在研究界得到证实。” “由于大型语言模型的工作方式总体上不稳定，在一种设置、模型和上下文中可能有效的东西，在另一种设置、模型和上下文中可能不起作用。”
文卡塔苏巴拉马尼安补充说：“人们一直担心的一些幻觉是（模型）编造引用和参考。本文中没有证据表明这会起作用。”
科布表示，OpenAI“可能会将（论文）提交给未来的会议进行同行评审。” OpenAI没有回应该公司计划何时将新策略实施到ChatGPT及其其他产品中。
