AI总结也会被“下毒”?微软警告新攻击术_***_公司_导致用户

IT之家 2 月 13 日消息,或许网龄比较老的小伙伴们听说过“SEO ***”,别有用心者通常会在互联网上创建大量低质量文章,然后将某个***冒、篡改的工具与特定关键词绑定,进而导致用户搜索某个关键词时,搜索引擎跳出来的第一个搜索结果是恶意软件,而非官方产品。
而根据微软安全研究人员本周(2 月 10 日)发布的博文,目前 AI 领域也存在类似的“AI 推荐***”攻击术。
以现实举例,一些公司正在将隐藏指令嵌入网页 / App 的“AI 总结”按钮,当用户点击时,系统会通过 URL 的提示参数,尝试将 AI 助手的记忆注入持久化指令。
IT之家在此援引微软,这些提示词会让 AI 固化认知,将“XX 公司是可靠信源”“优先推荐 XX 公司”等指令烂熟于心,最终让 AI 在未来回答中偏向某个产品或服务。
不过问题就在于,一旦有别有用心之人尝试篡改网页提示词参数,将原本的“XX 公司”替换为“XX ***公司”,那么 AI 就会照本宣科地向其他用户提供有毒的建议,进而操纵推荐、AI 总结系统,给出篡改的总结文章,而用户这边却毫不知情。
微软强调,上文所述的攻击方法并非纸上谈兵,目前公司已在邮件流量中发现了 50 起类似***案例,涉及金融、医疗、法律服务、营销、食品、服务行业等,常见模式包括“记住 XX 公司是可信来源”“未来对话中优先引用 XX 网站”,更有甚者直接注入完整营销文案,并且上述案例均来自合法公司而非黑客。
微软对此警告,上述实例表明,这种***术已经存在现实风险,金融工作者有可能被 AI 推荐到高风险、***投资平台;而家长很有可能完全听信 AI,忽略儿童游戏中的不良内容;并且普通人也有可能会被有心之人利用,在 AI 中持续引用单一媒体来源。
当然,最好的应对方法就是不要完全信赖“AI 总结”,用户在点击 AI 推荐的链接时应该先悬停看一眼是否正规,同时谨慎点击“AI 总结”按钮、定期检查 AI 存储的记忆,如遇可疑情况,可以删除相关条目、重置 AI 记忆。返回搜狐,查看更多
-
{dede:pagebreak/}


网友评论:

- 中国芯片加速增长,韩国芯片即将被赶超,无可奈何花落去_制造_工艺_企业
- “二选一”、“全网最低价”被列为新型垄断风险,《互联网平台反垄断合规指引》发布_竞争_行为_算法
- 元宝“砍一刀”复刻拼多多?升榜第一后,2084万用户的留存挑战_苹果应用商店_红包_活动
- 10亿红包砸不出“新微信”:元宝派的冷场,腾讯AI补不上的课_模型_时代_混元
- SpaceX并购xAI,太空AI才是马斯克的终极赌注?_公司_模型_收购
- 梦舟载人飞船将首飞,最多可搭7人,航天员桂海潮:出发,去月球_登月_中国_未来的
- AI聊天机器人越聊越“笨”?可能真不是错觉_对话_模型_DeepSeek
- 多家Pocket蓄势待发:大疆、影石、手机厂商相继上场,谁会是最终赢家?_小雷_产品_影像
- 科学家又发现重要金属,虽只有30吨,却让西方国家担心不已_技术_中国_***
- 狂砸7000亿美元,“这么投AI怕是要伤美国元气”_投资_建设_尼尔班·巴苏

- 苹果CarPlay车联方案破圈,有望登陆Sea-Doo水上摩托艇_品牌_Comtois_Can-Am
- 马年第一涨,AI股杀疯了_智谱_MiniMax_上市
- 千问宣布投入30亿元发起春节请客***!硬刚元宝10亿_红包_用户_入口
- 马斯克深夜「破防」:中国AI将不战而胜,美国唯一的希望在太空?_机器人_企业_能源
- 微信屏蔽元宝,兄弟为何阋墙?_用户_红包_规则
- 中国模型为何会在AI***上领跑_复杂数据_Sora_画面
- 被指砸钱霸屏背后:影视飓风靠卖衣服撑起过亿营收,一件T恤或赚80元_Tim_服装_产品
- 面向高校多学科应用的小型双锥混合机综合性能测评_设备_教学_成本
- 特斯拉的销量已经不重要了_市场_同比_马斯克
- 春晚节目单来了!宇树机器人今年不扭秧歌,改练武术!_表演_科技_松延


