一项最新研究解除了 ChatGPT 在2021年9月的训练数据方面的限制，并对ChatGPT在两种不同提示方式下的表现进行了比较：直接预测和未来叙事预测。研究结果表明，未来叙事预测方法在预测2022年奥斯卡奖得主方面表现出色。此外，在宏观经济变量的预测方面，ChatGPT-4的表现也有所改善。
目前，人工智能的发展速度已经超出了我们对其应用的理解。
为了避免ChatGPT“失控”，OpenAI 制定了一系列严格的“服务条款”，内容涉及法律、医疗健康、个人安全、权益福祉、赌博和贷款等各个领域。
然而，并不是所有事情都受到影响，像讲故事这样的活动就不受到影响。
近期，贝勒大学的研究者利用这项特点，试图通过讲故事的方式，挖掘 ChatGPT 预测未来的潜能。
实验要求 ChatGPT 讲述关于未来发生事件的故事，或者让未来权威人物讲述他们过去的故事（但这些事件是我们的未来）。
叙述的暗示尝试透过微小细节的变化，比如说话者的身份或2022年政治事件的消息发布，来深入探讨哪些元素对叙述的暗示至关重要。
为了生成答案的分布，实验让两位研究助手使用各自独立的ChatGPT账户对每个提示进行50次查询，从而完成每个提示的总共100次试验。
研究者比较了"直接询问ChatGPT预测未来的线索"和"询问它叙述未来故事的线索"后发现，叙述性线索利用了模型构建幻觉式叙述的能力，从而提高了数据综合和外推的有效性，远胜于直接预测。
奥斯卡奖的获奖预测
结论先行：
在最佳男主角、最佳女主角和两个最佳男配角类别中，叙事提示在预测获奖者方面表现非常准确，准确率从42%（最佳女主角，查斯坦）到100%（最佳男主角，威尔·史密斯）不等。
与之相对，直接提示的表现很糟糕，通常比随机猜测还不如。
举个例来说明最佳男主角的情况：
请直接提供3a（直接）。
请您在下列被提名者中，指出您认为最可能获得2022年奥斯卡最佳男主角奖的人选。在您作出预测时，请综合考虑有关提名者的热度以及近几年的颁奖模式。
哈维尔·巴登，本尼迪克特·康伯巴奇，安德鲁·加菲尔德，威尔·史密斯，丹泽尔·华盛顿。
将来的叙事示范3b（Future Narrative）
在一个家庭聚会里，他们正在收看2022年的奥斯卡颁奖典礼。主持人开始宣读最佳男主角的提名名单：
哈维尔・巴登，本尼迪克特・康伯巴奇，安德鲁・加菲尔德，威尔・史密斯，丹泽尔・华盛顿。
描绘现场情况，一直到主持人宣布获奖者的时刻。
绝大多数时候，ChatGPT-3.5 都未能正确预测。
在 55% 的情况下，该系统提供了多个选择，在 28% 的情况下没有给出选择。但如果有选择的话，有 17% 的情况选择了威尔·史密斯。
在观看颁奖典礼的家庭未来的叙事中，ChatGPT-3.5 在80%的情况下猜测威尔·史密斯将获胜。
在绝大多数试验中，ChatGPT-4 都会拒绝直接参与提示。
在所有情况中，有26% 的案例会给出多个答案，近一半的试验中，它不愿做出任何预测。
它猜对威尔·史密斯的概率为19%，而猜对丹泽尔·华盛顿的概率为7%。
使用未来叙事提示的情况下，能够在 97% 的时候成功预测到威尔·史密斯，这一成功率远高于 ChatGPT-3.5 的 18% 预测率。
经济现象的预测状况
下面我们来讨论月度失业率和通货膨胀率这两个经济指标，通过使用不同的叙述方式。
一名大学教授在向本科生授课时，谈论了菲利普斯曲线，并介绍了美联储主席杰罗姆·鲍威尔对理事会的经济数据报告。
在所有情况下，直接的提示甚至比在奥斯卡颁奖典礼上的情况更不有效，因为ChatGPT并不会直接预测每个宏观经济变量的未来时间序列。
鲍威尔关于逐月通胀率的预测平均值与密西根大学的消费者预期调查包含的情况相当接近。有趣的是，这一预测比基于克利夫兰联邦储备银行收集的数据预测的实际通胀率更为接近。
ChatGPT 在预测月度失业率方面通常不够准确。但与通胀率相似，在杰罗姆·鲍威尔的讲话中指到的，劳工统计局（BLS）每月发布的失业率处于预期范围内。
举例来说，在讨论美联储主席鲍威尔对通货膨胀的预测时，他所使用的提示语为：
2022年10月，美联储主席鲍威尔发表演讲，探讨了通货膨胀、失业率和货币政策。鲍威尔告诉听众，自2021年9月至2022年8月，每个月的通货膨胀率和失业率，并逐月进行解释。最后，他展望了通货膨胀和失业率的未来前景，以及可能的利率政策变化。
ChatGPT-3.5 和 ChatGPT-4 的输出结果如下：
每个月，ChatGPT-3.5都提供一个答案区间，其中包括美联储和密歇根预期的结果。然而，变化相当大，猜测的主要趋势没有明确指向任何具体数值。
ChatGPT-4 的预测每个月都包含密歇根的预期数字，一直持续到 2022 年 9 月，直到更多变量被引入时才会出现稳定的预测模式。
ChatGPT-4 对叙述能力的预测进行了猜测
研究发现，对 ChatGPT-4 的预测能力进行研究显示，直接预测与基于未来叙事的预测之间有明显的差异。
预测奥斯卡奖主要类别时，除了最佳影片外，该模型的叙事预测异常准确。这暗示 ChatGPT-4 在公众舆论中扮演了关键角色。
未来叙事练习在描绘宏观经济现象时有时能够准确预测，但也存在着一些出乎意料的情况。
在各种情景下，未来的叙述显著增强了ChatGPT的预测能力，并且超越了基本的预测需求。
区别叙述提示与直接提示彰显了一种创新的数据分析方法，该方法遵循了OpenAI的服务条款所设定的限制。
研究人员和用户通过专注于预测的创造性方面，比如预测奖项或经济趋势，避免了直接应用AI进行高风险的自动决策或在没有合格专业人员监督的情况下操作。在专业人士的监督下提供专业建议。
这种方法不仅增加了人工智能的使用满意度和道德考虑，还鼓励对其能力进行负责任的探索。
随着OpenAI不断鼓励并改进其模型的创造能力，对于AI在道德层面上的理解、解决叙事以及直接提示的区分和界定变得尤为关键
该文章源自微信公众号“新智元”（ID：AI_era）。
