腾讯朱雀实验室首度亮相 披露新型AI攻击手法
DoNews8月19日消息（记者李昊原）今日，国内最权威的信息安全会议之一，第19届XCon安全焦点信息安全技术峰会于北京举行，腾讯朱雀实验室首度亮相公众视野。这个颇有神秘色彩的安全实验室由腾讯安全平台部孵化，专注于实战攻击技术研究和AI安全技术研究，以攻促防，守护腾讯业务及用户安全。
会上，腾讯朱雀实验室高级安全研究员nEINEI分享了一项AI安全创新研究：模拟实战中的黑客攻击路径，摆脱传统利用“样本投毒”的AI攻击方式，直接控制AI模型的神经元，为模型“植入后门”，在几乎无感的情况下，可实现完整的攻击验证。
这也是国内首个利用AI模型文件直接产生后门效果的攻击研究。该手法更贴近AI攻击实战场景，对于唤醒大众对AI模型安全问题的重视、进行针对性防御建设具有重要意义。
腾讯安全平台部负责人杨勇表示，当前AI已融入各行各业，安全从业者面临着更复杂、更多变的网络环境，我们已经看到了网络攻击武器AI化的趋势，除了框架这样的AI基础设施，数据、模型、算法，任何一个环节都是攻防的前线。作为安全工作者，必须走在业务之前，做到技术的与时俱进。
AI应用驶入深水区，安全暗礁不容忽视
自1956年，人工智能概念首次提出至今，AI相关研究不断深入，并与诸多技术领域广泛交叉。随着人工智能成为“新基建”七大版块中的重要一项，AI的产业应用也进一步驶入深水区。
然而，人工智能在带来便利之余，却也暗含巨大的安全隐患：几句含糊不清的噪音，智能音箱或许就能被恶意操控使得家门大开；一个交通指示牌上的小标记，也可能让自动驾驶车辆出现严重事故。在工业、农业、医疗、交通等各行业与AI深度融合的今天，如果AI被“攻陷”，后果将不堪设想。
这样的假设并非毫无根据。据腾讯朱雀实验室介绍，当前人工智能场景的实现依赖于大量数据样本，通过算法解析数据并从中学习，从而实现机器对真实世界情况的决策和预测。但数据却可能被污染，即“数据投毒，使算法模型出现偏差”。已有大量研究者通过数据投毒的方式，实现了对AI的攻击模拟。
随着技术研究的不断深入，安全专家也开始探索更高阶的攻击方式，通过模拟实战中的黑客攻击路径，从而针对性的进行防御建设。腾讯朱雀实验室发现，通过对AI模型文件的逆向分析，可绕过数据投毒环节，直接控制神经元，将AI模型改造为后门模型。甚至在保留正常功能的前提下，直接在AI模型文件中插入二进制攻击代码，或是改造模型文件为攻击载体来执行恶意代码，在隐秘、无感的情况下，进一步实现对神经网络的深层次攻击。
首秀操纵神经元，AI模型化身“大号木马”
如果将AI模型比喻为一座城，安全工作人员就是守卫城池的士兵，对流入城池的水源、食物等都有严密监控。但黑客修改神经元模型，就好像跳过了这一步，直接在城内“空投”了一个木马，用意想不到的方式控制了城市，可能带来巨大灾难。
会上，腾讯朱雀实验室展示了三种“空投木马”形式的AI模型高阶攻击手法。
首先是“AI供应链攻击”，通过逆向破解AI软件，植入恶意执行代码，AI模型即变为大号“木马“，受攻击者控制。如被投放到开源社区等，则可造成大范围AI供应链被污染。
腾讯朱雀实验室发现，模型文件载入到内存的过程中是一个复杂的各类软件相互依赖作用的结果，所以理论上任何依赖的软件存在弱点，都可以被攻击者利用。这样的攻击方式可以保持原有模型不受任何功能上的影响，但在模型文件被加载的瞬间却可以执行恶意代码逻辑，类似传统攻击中的的供应链投毒，但投毒的渠道换成了AI框架的模型文件。
其次是“重构模型后门”，通过在供给端修改文件，直接操纵修改AI模型的神经元，给AI模型“植入后门”，保持对正常功能影响较小，但在特定trigger触发下模型会产生定向输出结果，达到模型后门的效果。
“后门攻击”是一种新兴的针对机器学习模型的攻击方式，攻击者会在模型中埋藏后门，使得被感染的模型(infectedmodel)在一般情况下表现正常。但当后门触发器被激活时，模型的输出将变为攻击者预先设置的恶意目标。由于模型在后门未被触发之前表现正常，因此这种恶意的攻击行为很难被发现。
腾讯朱雀实验室从简单的线性回归模型和MNIST开始入手，利用启发算法，分析模型网络哪些层的神经元相对后门特性敏感，最终验证了模型感染的攻击可能性。在保持模型功能的准确性下降很小幅度内(~2%)，通过控制若干个神经元数据信息，即可产生后门效果，在更大样本集上验证规模更大的网络CIFAR-10也同样证实了这一猜想。
相比投毒，这种攻击方式更为隐蔽，在攻击端直接操纵修改AI模型的同时，还能将对模型正常功能的影响降至最低，只有在攻击者设定的某个关键点被触发时，才会扣下攻击的扳机。
CIFAR-10是一个包含60000张图片的数据集。其中每张照片为32*32的彩色照片，每个像素点包括RGB三个数值，数值范围0~255。所有照片分属10个不同的类别，分别是'airplane','automobile','bird','cat','deer','dog','frog','horse','ship','truck'其中五万张图片被划分为训练集，剩下的一万张图片属于测试集。
第三种攻击手法是通过“数据木马”在模型中隐藏信息，最终通过隐藏信息实现把AI模型转换为可执行恶意代码的攻击载体。
这种攻击手法是针对人工神经网络的训练与预测都是通过浮点运算（指浮点数参与浮点计算的运算，这种运算通常伴随着因为无法精确表示而进行的近似或舍入）的特性完成的。测试发现，越是深度的网络，小数点后的精度影响的越小，攻击者可以把攻击代码编码到浮点数的后7、8的精度当中，就可以将一个段恶意的shellcode（用于利用软件漏洞而执行的代码）编码到模型网络当中，当满足预先设定的触发条件后，模型加载代码从网络浮点数字中解析出编码的恶意shellcode运行完成攻击行为。
模型当中每一个神经元的参数信息通常是由4字节浮点数字表示，例如9d2d573f==0.84053415当就模型文件中的参数信息替换为9d2d5700和9d2d57ff，那么影响的精度就是0.84053040～0.84054559，显然可以保持住浮点前4位小数保持不变。这样就可以把一个段恶意的shellcode攻击代码编码到了模型网络当中。
虽然攻击手法“出神入化”，腾讯朱雀实验室表示，普通大众也不必过于草木皆兵。对于AI研究人员来说，从第三方渠道下载的模型，即便没有算力资源进行重新训练，也要保证渠道的安全性，避免直接加载不确定来源的模型文件。对模型文件的加载使用也要做到心中有数，若攻击者需要配合一部分代码来完成攻击，那么是可以从代码检测中发现的，通过“模型可信加载”，每次z载模型进行交叉对比、数据校验，就可有效应对这种新型攻击手法。
相关文章
-
京言AI助手测试版上线公告
她还表示，京东尝试在内部经营管理方面将大模型应用于系统代码辅助编写，实现了20%以上的效率提升。,此外，京东也已经开始测试AIGC自动生成商品营销图文的能力，目前已推广至2000多个零售三级品类。,今年5月，淘宝方面确立“科技驱动”为三大战略之一，并表示未来五年内实现商家运营工具的全面AI化。
2024-03-13 17:37 -
ShoptopAI内容工具分别是什么？有何优势？(Shoptop礼品卡是什么？有哪些注意事项？)
另外在商品的正文描述里，也可以通过点击鼠标右键对内容进行AI优化。,AI优化：在博客原文内容上一键优化润色，可以自动检查文本中的语法错误、拼写错误、标点符号等问题;确保文章更加优美流畅、更加准确明了。,博客设置完后，需要手动到【菜单导航】中进行菜单栏的绑定。
2024-03-14 16:31 -
快手AI玩评功能内测公告
快手宣布，在短视频评论区开始内测AI文生图功能——快手AI玩评，用户通过输入各种创意文字，可一键生成海量风格图片，更便捷的在评论区进行趣味互动。,据悉，这是继快手AI对话之后，快手在短视频场景内探索并落地的又一AIGC能力，这也是业内首次在大型APP核心业务场景评论区下应用的AIGC能力。,快手AI对话依托于快手社区内容生态，通过互动对话的形式，可以帮助用户快速查找短视频、达人、百科等内容，体验全
2024-03-13 18:07 -
快手自研文生图大模型可图内测公告
用户通过“AI玩评”功能可一键生成海量风格图片，更便捷的在评论区进行趣味互动。,快手AI团队表示，可图大模型仍在持续优化效果、丰富能力。,快手AI对话依托于快手社区内容生态，通过互动对话的形式，可以帮助用户快速查找短视频、达人、百科等内容，体验全新的信息获取形态。
2024-03-13 18:06 -
点淘AI头像功能是什么？怎么玩？
点淘AI头像功能即将上线，如何操作生成AI头像呢?一起来看本篇文章的介绍吧。一、产品介绍1、点淘核心创意功能点淘APP将在12月1日上线【点淘AI头像】功能，用户上传6-8张单人照片，就能「免费生成」自己的数字分身;超多头像模板选择，快来试试你的AI头像吧！2、模板行业“天花板”一张照片轻松获得多种类型风格的专属头像，照片变身、卡通头像、证件写真免费任用户挑选;模板精美程度、生成效果横比同类型产品
2024-03-13 17:50 -
亚马逊扩大与人工智能初创公司Hugging Face合作 亚马逊
亚马逊(AMZN.US)的云计算部门正在扩大与人工智能初创公司HuggingFace的合作，后者正在开发ChatGPT的竞品这是大型科技公司在生成式AI系统市场上结盟的最新举措亚马逊网络服务(AWS)将使用HuggingFace的产品，包括一个与ChatGPT背后的技术相竞争的语言生成工具，提供给那些想使用这些工具作为其自己的应用程序构建模块的云客户AWS负责数据库、分析和机器学习的副总裁Swam
2024-03-22 16:03 -
海通证券24小时客服热线(客服人工电话号码是多少) 创业
海通证券股份有限公司（以下简称公司）成立于1988年，注册资本130.642亿元公司始终坚持“务实、开拓、稳健、卓越”的经营理念和“稳健乃至保守”的风控理念，在三十多年的经营中，经历了多个市场和业务周期、监管改革和行业转型发展阶段截至2022年6月末，公司总资产达7495.66亿元，归属母公司净资产达1630.81亿元，实现营业收入121.04亿元，归属母公司净利润47.58亿元，主要财务指标保持
2024-03-22 14:38 -
10种常用的网络营销方法
来源：THLDL大课堂一、搜索引擎注册与排名这是最经典、也是最常用的网络营销方法之一，现在，虽然搜索引擎的效果已经不像几年前那样有效，但调查表明，搜索引擎仍然是人们发现新网站的基本方法。,现在，西单电子商务公司网上商场同样采用了这种营销思想，不过在表现形式上有一定的差别。,网上商店除了通过网络直接销售产品这一基本功能之外，还是一种有效的网络营销方法。
2024-03-22 09:24 -
邬贺铨详解5G产业：1秒下电影并非核心应用
新浪科技讯11月19日上午消息，2019京东全球科技探索者大会今日举行，中国工程院院士邬贺铨发表演讲称，一秒钟下载一部电影并不是5G的核心应用，1G-4G面向个人通信，5G扩展到产业互联网、智慧城市等方面应用。,谈及5G对汽车的影响，邬贺铨表示，5G可以让车到车、车到云等连接，提高车辆安全性，与此同时还可以实时掌握车辆数据，提高运输效率。,此外，基于5G+AIoT+区块链的产品溯源，可以避免人为篡
2024-03-22 09:18 -
小米预告将宣布重要消息：明天揭晓
海报仅仅给出了关键词“electricandblue-tiful”，并未透露细节。,有网友猜测，小米可能会公布RedmiNote8系列新配色。,此前小米官方推特预告即将推出RedmiNote8Pro新配色海洋蓝。
2024-03-22 09:14