人工智能的两面性认知 深度学习或成软肋
人工智能技术足以惊艳世人眼球，但是任何事物都具备双面性，人工智能也存在诸多安全隐患，随着技术的提升，人们发现深度学习或将成人工智能安全软肋，它存在安全盲点。
虽然人工智能正给人类生活带来翻天覆地的变化，但是，很多人并未考虑到人工智能也存在诸多安全隐患，尤其是其核心的深度学习技术更是面临着众多潜在威胁。随着深度学习应用越来越广泛，越来越多的安全问题也开始暴露出来。
日前，360安全研究院结合过去一年对深度学习系统安全性的详细研究，出具了《ai安全风险白皮书》，白皮书指出：深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据的污染等可能导致人工智能所驱动的识别系统出现混乱，形成漏判或者误判，甚至导致系统崩溃或被劫持，并可以使智能设备变成僵尸攻击工具。
图1：谷歌alphago围棋功力惊艳全球
近年来，以谷歌alphago为代表的人工智能技术惊艳了世人眼球。大家都为人工智能高超的运算能力和缜密的逻辑判断所惊呆。不过，一个事实却是：alphago的深度学习技术只是在封闭的环境下工作，并不与外界直接交互，因此它面临的安全威胁相对较小。此外，其他受到关注的应用往往假定处于善意的或封闭的场景，例如高准确率的语音识别中的输入都是自然采集而成，图片识别中的输入也都来自正常拍摄的照片，这些讨论没有考虑认为恶意构造或合成的场景。
以人工智能中最典型的手写数字识别为例：基于mnist数据集的手写数字识别应用是深度学习的一个非常典型例子，其算法层所讨论的分类结果只关心特定类别的近似度和置信概率区间，没有考虑输入会导致程序崩溃甚至被攻击者劫持控制流。这其中被忽略掉的输出结果反映出算法和实现上考虑问题的差距，也就是所谓的人工智能安全盲点。
图2：深度学习算法与安全所考虑的不同输出场景
目前，已开发的深度学习软件基本都实现在深度学习框架上。应用开发人员可直接在框架上构建自己的神经元网络模型，并利用框架提供的接口对模型进行训练。但是，这种框架虽然简化了深度学习应用的设计和开发难度，但是也因为系统的复杂程度而暗藏风险。
一个颇为尴尬的事实就是，只要深度学习框架以及它所依赖的任一组件存在漏洞，建立在框架上的应用系统也会随之遭到威胁。另外模块往往来自不同的开发者，对模块间的接口经常有不同的理解。当这种不一致导致安全问题时，模块开发者甚至会认为是其他模块调用不合规范而不是自己的问题。
图3：深度学习框架以及框架组件依赖
为了掌握深度学习软件存在的安全隐患，360 team seri0us 团队在一个月内发现了数十个深度学习框架及其依赖库中的软件漏洞，包含了几乎所有常见的漏洞类型，例如内存访问越界，空指针引用，整数溢出，除零异常等。这些漏洞一旦被不法分子利用，就可能导致深度学习应用面临拒绝服务、控制流挟持、分类逃逸以及潜在的数据污染攻击等风险。
因此，在推进人工智能技术应用的同时，我们更要着眼于解决其中存在的安全隐患，使技术更好地为人类的服务。作为国内最大的互联网安全公司，未来360将致力于帮助行业及厂商解决人工智能的安全问题，提升整个人工智能行业的安全系数。
Steam公布2018年大数据：9000万月活跃玩家，今年公布Steam中国细节
苹果手机又出奇葩规定： 备用机不按时还 “没收”送修机
电磁兼容设计包含什么内容
盘点超级电容器的几大性能特点
cc2530程序设计实例之CC2530 RF部分使用—实现点对点收发
人工智能的两面性认知 深度学习或成软肋
什么是接触电阻？接触电阻的特性及其工作原理，晶闸管为什么两端要对接电阻电容？
工业物联网数据中台实现多种数据监控与智能管理
ADI推出旨在加快音频DSP项目开发的SHARC音频模块平台
基于PLC通信的模块化生产线控制系统
一种通用的计价器防作弊脉冲的识别与控制方法
比特币质押系统开发数字资产抵押平台搭建
SystemVerilog中bind用法总结+送实验源码和脚本
人工智能的洪荒之力正在吞噬一切
系统设计的概念介绍
“中国芯”发展强劲 信息化惠及亿万人民
生物识别技术的发展在一定程度上解决了门禁系统的漏洞问题
什么是C语言表驱动法编程？
欧洲新大型垂直农场启动，完全依靠风力发电
物联网的发展会对rfid带来什么机会
虽然人工智能正给人类生活带来翻天覆地的变化，但是，很多人并未考虑到人工智能也存在诸多安全隐患，尤其是其核心的深度学习技术更是面临着众多潜在威胁。随着深度学习应用越来越广泛，越来越多的安全问题也开始暴露出来。
日前，360安全研究院结合过去一年对深度学习系统安全性的详细研究，出具了《ai安全风险白皮书》，白皮书指出：深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据的污染等可能导致人工智能所驱动的识别系统出现混乱，形成漏判或者误判，甚至导致系统崩溃或被劫持，并可以使智能设备变成僵尸攻击工具。
图1：谷歌alphago围棋功力惊艳全球
近年来，以谷歌alphago为代表的人工智能技术惊艳了世人眼球。大家都为人工智能高超的运算能力和缜密的逻辑判断所惊呆。不过，一个事实却是：alphago的深度学习技术只是在封闭的环境下工作，并不与外界直接交互，因此它面临的安全威胁相对较小。此外，其他受到关注的应用往往假定处于善意的或封闭的场景，例如高准确率的语音识别中的输入都是自然采集而成，图片识别中的输入也都来自正常拍摄的照片，这些讨论没有考虑认为恶意构造或合成的场景。
以人工智能中最典型的手写数字识别为例：基于mnist数据集的手写数字识别应用是深度学习的一个非常典型例子，其算法层所讨论的分类结果只关心特定类别的近似度和置信概率区间，没有考虑输入会导致程序崩溃甚至被攻击者劫持控制流。这其中被忽略掉的输出结果反映出算法和实现上考虑问题的差距，也就是所谓的人工智能安全盲点。
图2：深度学习算法与安全所考虑的不同输出场景
目前，已开发的深度学习软件基本都实现在深度学习框架上。应用开发人员可直接在框架上构建自己的神经元网络模型，并利用框架提供的接口对模型进行训练。但是，这种框架虽然简化了深度学习应用的设计和开发难度，但是也因为系统的复杂程度而暗藏风险。
一个颇为尴尬的事实就是，只要深度学习框架以及它所依赖的任一组件存在漏洞，建立在框架上的应用系统也会随之遭到威胁。另外模块往往来自不同的开发者，对模块间的接口经常有不同的理解。当这种不一致导致安全问题时，模块开发者甚至会认为是其他模块调用不合规范而不是自己的问题。
图3：深度学习框架以及框架组件依赖
为了掌握深度学习软件存在的安全隐患，360 team seri0us 团队在一个月内发现了数十个深度学习框架及其依赖库中的软件漏洞，包含了几乎所有常见的漏洞类型，例如内存访问越界，空指针引用，整数溢出，除零异常等。这些漏洞一旦被不法分子利用，就可能导致深度学习应用面临拒绝服务、控制流挟持、分类逃逸以及潜在的数据污染攻击等风险。
因此，在推进人工智能技术应用的同时，我们更要着眼于解决其中存在的安全隐患，使技术更好地为人类的服务。作为国内最大的互联网安全公司，未来360将致力于帮助行业及厂商解决人工智能的安全问题，提升整个人工智能行业的安全系数。
Steam公布2018年大数据：9000万月活跃玩家，今年公布Steam中国细节
苹果手机又出奇葩规定： 备用机不按时还 “没收”送修机
电磁兼容设计包含什么内容
盘点超级电容器的几大性能特点
cc2530程序设计实例之CC2530 RF部分使用—实现点对点收发
人工智能的两面性认知 深度学习或成软肋
什么是接触电阻？接触电阻的特性及其工作原理，晶闸管为什么两端要对接电阻电容？
工业物联网数据中台实现多种数据监控与智能管理
ADI推出旨在加快音频DSP项目开发的SHARC音频模块平台
基于PLC通信的模块化生产线控制系统
一种通用的计价器防作弊脉冲的识别与控制方法
比特币质押系统开发数字资产抵押平台搭建
SystemVerilog中bind用法总结+送实验源码和脚本
人工智能的洪荒之力正在吞噬一切
系统设计的概念介绍
“中国芯”发展强劲 信息化惠及亿万人民
生物识别技术的发展在一定程度上解决了门禁系统的漏洞问题
什么是C语言表驱动法编程？
欧洲新大型垂直农场启动，完全依靠风力发电
物联网的发展会对rfid带来什么机会