人工智能安全专家dawn song警告称,“对抗性机器学习”可用于逆向工程系统 – 包括用于防御的系统。
这是来自加州大学伯克利分校的教授dawn song的警告,他专门研究人工智能和机器学习所涉及的安全风险。
在麻省理工学院技术评论团在旧金山举办的emtech digital演讲中,song警告说,探测和操纵机器学习系统的新技术 – 在该领域被称为“对抗机器学习”方法 – 可能会给任何想要的人造成大问题。在商业中利用ai的力量。
宋说,对抗机器学习可以用来攻击任何基于该技术的系统。
“这是一个大问题,”她告诉观众。 “我们需要齐心协力解决问题。”
对抗性机器学习涉及实验性地将输入馈送到算法中以揭示其已经训练的信息,或者以导致系统行为不当的方式扭曲输入。例如,通过将大量图像输入到计算机视觉算法中,可以对其功能进行逆向工程并确保某些类型的输出,包括不正确的输出。
宋提出了她的研究小组探讨的几个对抗学习技巧的例子。
与谷歌合作开展的一个项目涉及探测机器学习算法,这些算法经过培训,可以从电子邮件消息中生成自动响应(在本例中为安然电子邮件数据集)。努力表明,通过创建正确的消息,可以让机器模型吐出敏感数据,如信用卡号。谷歌使用这些调查结果阻止smart compose(一种在gmail中自动生成文本的工具)被利用。
另一个项目涉及用一些看似无害的贴纸修改道路标志,以欺骗许多车辆中使用的计算机视觉系统。在视频演示中,song展示了汽车如何被欺骗,以为停车标志实际上说速度限制是每小时45英里。对于依赖于此类信息的自动驾驶系统而言,这可能是一个巨大的问题。
对抗机器学习是机器学习研究人员日益关注的领域。在过去几年中,其他研究小组已经展示了如何探索和利用在线机器学习api来设计欺骗它们或揭示敏感信息的方法。
不出所料,对抗性机器学习对国防界也非常感兴趣。随着越来越多的军事系统 – 包括传感和武器系统 – 利用机器学习,这些技术在防御性和进攻性方面都有巨大的潜力。
今年,五角大楼的研究机构darpa启动了一项名为“保证人工智能反对欺骗行为(gard)”的重大项目,旨在研究对抗机器学习。 gard项目主任hava siegelmann最近告诉麻省理工学院技术评论,该项目的目标是开发面对各种对抗性攻击时强大的ai模型,而不是简单地能够抵御特定的攻击。
平板电视无线克隆器技术
语音芯片让你与制水机互动
网络搜索能否实现中立
比亚迪2023年业绩再创新高,特斯拉盈利能力傲视群雄
陆芯半导体切割机:精密划片机维护及保养
对抗机器学习成为机器学习研究人员日益关注的领域
能源系统软件,大数据分析系统,耗电监测平台
一加手机未来有望支持DC调光
水质测量光谱吸收光纤探头的主要技术特点介绍
柔性射频同轴电缆:操作规范与技巧指南
雷蛇OS 宣布降价 VR头显面临出货难困境
哪些业务应用程序可以从这项技术创新中受益或受益?
三星前三季度向高通、联发科购买近9万亿韩元AP
纳微半导体下一代氮化镓功率芯片全力支持OPPO Reno7 Pro英雄联盟手游限定版50W饼干充电器成功发布
美研究员设计出垂直集成氮化镓LED结构,有助提升LED显示器效率
5G核心板-MT6833和MTK6853安卓核心板规格参数介绍
珠海先达MES系统六大功能解决电子组装行业可视化问题
关于13-6X破裂测试仪技术参数的介绍
思科:未来4年内全球移动数据流量将增长7倍
专家分析帮你了解NSA和SA模式