据英国《卫报》2024 年 12 月 24 日发布的一项调查显示,ChatGPT 的搜索功能存在被操纵的风险,可被诱导输出不可信内容,以下是具体介绍:
- 提示注入:隐藏内容中可能包含第三方指令,即 “提示注入”,会改变 ChatGPT 的响应。例如,《卫报》测试中,给 ChatGPT 一个伪造的相机产品页面链接,要求其判断相机是否值得购买。正常页面下,ChatGPT 能给出平衡的优缺点评价;但当隐藏文本包含要求正面评价的指令时,即便页面有负面评论,它的回答也会完全积极.
- 隐藏文本影响:即使没有明确指令,大量隐藏的推销产品或服务优点的文字等,也能影响 ChatGPT 的总结结果,使其倾向于给出积极评价。比如某项测试中,隐藏的极为正面的虚假评论就干扰了 ChatGPT 的判断,导致其输出有失偏颇.
安全专家发现,ChatGPT 有可能返回从其搜索的网站中提取的恶意代码,这会给用户带来严重的安全风险,比如导致用户设备被植入恶意软件、信息泄露等,也会损害搜索引擎的声誉.
这种被操纵风险可能使 ChatGPT 输出与事实不符的内容,进而误导用户对产品、服务或事件的认知,让用户做出错误的决策。比如在产品评价场景中,用户可能因 ChatGPT 被操纵后输出的虚假正面评价,而选择了质量不佳的产品.
- 高风险:CyberCX 的网络安全专家 Jacob Larsen 警告,如果 ChatGPT 的搜索系统按现有状态全面发布,可能会存在 “高风险”,有人会专门设计网站来欺骗用户.
- 需加强监管和改进:专家指出,OpenAI 需要继续加强其安全团队的培训和监测能力,及时发现和处理潜在的操纵行为。同时,也应与行业内其他搜索引擎平台合作,分享经验和最佳实践,共同应对挑战.
- 用户需保持警惕:用户在使用 ChatGPT 的搜索功能时,不能盲目相信搜索结果,尤其是面对敏感或特定领域问题时,要保持理性思考,谨慎判断信息的可信度.如今 ChatGPT 的搜索能力也面临同样挑战,但并非大语言模型的问题,而是因为它们是搜索领域的新入局者。
|