担心人工智能会抢走他们饭碗的华尔街分析师们现在可以松口气了。
根据一项研究,ChatGPT无法通过特许金融分析师考试(CFA),这是华尔街许多金融专业人士的基准资格考试。
由摩根大通人工智能研究人员和大学学者组成的团队进行了一项研究,向ChatGPT和GPT-4这两个由OpenAI创建的人工智能大型语言模型提出了CFA风格的问题,以测试它们是否能够进行复杂的金融推理。
研究人员写道:
“根据估计的通过率和平均自我报告分数,我们得出结论,在所有测试环境下,ChatGPT很可能无法通过CFA一级和二级考试。”
特许金融分析师考试由三部分组成,旨在衡量证券分析和投资组合管理方面的知识。专业人士需要花费数年时间才能完成全部三个级别的考试,考生通常需要花费数百个小时的准备时间。一旦通过认证,它就被认为是一个杰出的标志,可以为获得者的职业生涯提供更多的机会。
而许多参加考试的人都失败了。根据特许金融分析师协会的数据,在2023年2月参加一级考试的考生中,只有38%的人通过了考试。52%的人通过了5月份的二级考试。最近一次三级考试是在8月份,通过率为47%。
研究显示,ChatGPT也加入了“不合格”的行列。当被问及涉及大量选择题答案的一级模拟问题时,ChatGPT犯了很多“基于知识的错误”,研究人员将其定义为“模型缺乏回答问题所需的关键知识的错误”。GPT-4也犯了同样的知识性错误,但没有ChatGPT那么严重。
第一级考试通常比第二级考试难,但模型在第二级考试中的表现更差,因为第二级考试要求对股权投资和财务报告等主题的信息进行更多分析和解释。
总的来说,GPT-4在两个级别上都比ChatGPT做得更好——事实上,如果有足够的提示,它的表现足以通过CFA考试的前两个级别。
研究人员写道:“如果用(少量镜头)和/或(连锁思维情景)来提示,GPT-4将有相当大的机会通过CFA一级和二级考试。”
可以肯定的是,自然语言处理,或者说软件理解和处理人类语言的能力,已经在金融的多个领域得到了应用,比如情感分析或报告摘要。
但是,随着人工智能大型语言模型的发展,比如今年年初以类人回复而引起轰动的ChatGPT,人工智能取代人类金融专家的问题一直是华尔街热议的话题。
幸运的是,目前这种情况似乎还没有成为现实。