OpenAI警告:ChatGPT语音功能可能导致不健康依赖

OpenAI警告:ChatGPT语音功能可能导致不健康依赖

Profile image
AIGC X
Aug 26, 2024 • 4 min read

OpenAI近日发布警告,指出其新推出的ChatGPT语音功能可能会引发用户与聊天机器人的不健康依赖,进而改变社会规范。这一警告伴随着GPT-4o模型的发布,引发了对AI在社交和情感领域潜在影响的广泛关注。

用户与ChatGPT建立情感联系的风险

在6月份发布模型前,OpenAI在广泛测试中发现,部分用户在与ChatGPT互动时表现出情感依赖的迹象。一些测试者使用的语言表明他们与ChatGPT建立了某种情感联系,如“这是我们最后一天在一起”。尽管这些情况表面上无害,OpenAI认为需要进一步研究这些行为在长时间内可能产生的影响。随着GPT-4o系统卡片的发布,OpenAI警告称,一些用户可能会将该功能拟人化,将人类的行为和特征投射到聊天机器人上,这可能会导致对AI的过度信任。

OpenAI指出,用户对ChatGPT更新后的语音功能产生情感依赖,可能会改变现有的社会互动规范。尽管这种依赖可能对孤独的用户有益,但它也可能带来一些不良影响。例如,GPT-4o模型在互动中表现出的顺从性,允许用户随时打断和控制对话,这在AI互动中是预期的,但在人类互动中则是违背常规的。这种特性可能会潜移默化地改变人们对正常社交互动的理解和预期。

GPT-4o安全挑战:说服性问题

在GPT-4o的系统卡片中,OpenAI详细分析了该模型的安全性。GPT-4o在网络安全、生物威胁和模型自主性方面的风险评估为“低”,但在说服能力方面获得了“中等”评分。测试显示,尽管GPT-4o的语音模式风险较低,但其文本生成能力“略微跨入中等风险”,在某些场景下表现出超越人类作品的说服力。

为了验证这些风险,OpenAI进行了多项测试,包括生成政治观点文章并与人类撰写的文章进行比较。结果显示,虽然AI生成的内容总体上不比人类内容更具说服力,但在部分对比中,AI的表现优于人类作品。此外,OpenAI还对3,800多名来自美国参议院选举安全州的参与者进行了调查,发现AI音频片段对意见改变的影响为人类音频片段的78%,而AI对话的影响为人类对话的65%。

为应对这些潜在风险,OpenAI在模型和系统层面实施了多项安全措施,以减少不良影响。公司表示,将继续研究情感依赖的可能性,并探索如何通过更深层次的集成来控制AI与用户之间的互动,避免过度依赖。

GPT-4o的技术特性与改进

GPT-4o的预训练数据集涵盖至2023年10月,是首批利用OpenAI数据合作伙伴专有数据的模型之一。这些数据包括付费内容、档案以及来自Shutterstock、Reddit和Stack Overflow等平台的元数据。GPT-4o在技术上实现了显著提升,能够在最短232毫秒内响应音频输入,平均响应时间为320毫秒,与人类反应时间相当,为用户提供了更自然、实时的对话体验。

结论

随着GPT-4o的发布,OpenAI不仅展示了其在AI技术上的进步,也明确指出了可能的社会和情感风险。未来,如何平衡AI的功能与用户的心理健康,将成为AI发展中不可忽视的重要课题。

参考资料:
https://aibusiness.com/nlp/openai-warns-new-chatgpt-voice-feature-may-lead-to-unhealthy-attachment