近日，清华大学AI研究院孵化器RealAI(瑞莱智慧)正式上线首个工具平台——RealSafe人工智能安全平台，用于极端和对抗环境下的AI算法安全检测和加固。该平台内置领先的AI对抗攻防算法，提供从安全评估到防御加固的整体解决方案。目前可以用来发现包括人脸比较在内的常见AI算法可能出错的极端情况，防止潜在的反攻击。

业界首个在极端和对抗环境中进行算法安全检测和增强AI的工具平台

“反样本”成为一种新型病毒，算法安全问题亟待解决

随着人工智能技术的快速发展，人工智能正在许多场景中逐渐替代或配合各种人类劳动，可以变成人的眼睛、耳朵、手臂甚至大脑。

其中，机器视觉是AI时代的基础技术，其背后的AI算法一直是各科技巨头和创业公司追逐的热点。然而，在机器视觉的众多主流应用场景背后，往往隐藏着技术缺陷带来的算法安全风险。

比如在一些训练数据无法覆盖的极端场景下，自动驾驶汽车的识别系统可能会做出奇怪的决策，危及乘客的人身安全。从2016年至今，特斯拉、优步等企业都经历过致人死亡的严重事故。此外，这种极端情况也可能被恶意制造和利用，发起“反样本攻击”。去年7月，百度等研究机构使用3D技术打印出自动驾驶可能“忽略”的障碍物，从而使车辆面临碰撞风险。

以上攻击之所以成功，是因为机器视觉和人类视觉有很大的区别。因此，有可能在图像、物体等输入信息中加入微小的扰动变化(即上述故意干扰的“计数器样本”)，会导致很大的算法误差。此外，随着AI的进一步发展，AI算法模型将使用财务决策、医疗诊断等关键核心场景，此类AI“漏洞”的威胁将日益凸显。

近年来，清华大学人工智能研究院院长张钹，院士、微软，前全球执行副总裁沈向洋，倡导发展安全可靠可信的人工智能和负责任的人工智能，其中AI的安全应用是重点方向。

而且，AI安全作为一个新兴领域，在开源社区和工具包的加持下，抵御样本等攻击变得越来越复杂，却难以跟上相关防御手段的普及和推广。此外，反样本等算法漏洞的检测存在很高的技术壁垒，目前市，缺乏自动检测工具，而大多数企业和组织不具备该领域的专业技能来适当应对不断增加的恶意攻击。

从安全评估到防御加固，RealSafe让AI更安全、更可控

就像网络安全时代，网络攻击的大规模渗透催生了杀毒软件。RealAI团队希望通过RealSafe平台打造人工智能时代的“杀毒软件”，帮助企业高效应对人工智能时代算法漏洞滋生的“新病毒”。

目前RealSafe平台主要支持两个功能模块：模型安全评估和防御解决方案。

其中，模型安全评估主要为用户提供AI模型安全评估服务。用户只需访问所需评估模型的SDK或ApI接口，选择平台内置或自己上传的数据集。平台会基于各种算法生成针对样本的模拟攻击，综合不同算法、迭代次数、扰动量的攻击下模型效果的变化，给出模型安全评分和详细的评估报告(如下图所示)。目前已经支持黑盒查询攻击方法和黑盒迁移攻击方法。

防御解决方案是为用户提供模型安全升级服务。目前，RealSafe平台支持五种通用的去除抗噪的防御方法，可以自动对输入数据进行去噪，破坏攻击者恶意添加的抗噪。根据以上模型安全性评估结果，用户可以自行选择合适的防御方案，一键提升模型安全性。此外，在防御效果方面，根据实测，部分第三方人脸比对API使用RealSafe平台的防御方案进行强化后，安全性可提升40%以上

随着模型攻击的复杂扩展，RealSafe平台不断提供广泛深入的AI防御手段，帮助用户获得实时、自动化的漏洞检测和修复能力。

99.99%的准确率也难以逃脱“恶意干扰”，RealSafe有效应对算法威胁

考虑到公众对对抗样本的概念可能比较模糊，RealSafe平台特别选取了公众最熟悉的人脸比对场景(人脸比对广泛应用于金融远程开户、人脸支付、酒店入住等场景中的身份认证)提供线上体验。

再者，为了深入研究“对抗样本”对人脸比对系统识别效果的影响，RealAI团队基于该功能在国内外主流AI平台的演示服务中进行了测试。

实测证明，“对抗样本”会对人脸比对系统的识别结果产生较大干扰，这些被测互联网公司的开放人脸比对ApI或SDK在应用落地人脸识别时几乎覆盖了目前市众多中小企业的选择。如果他们的人脸比对技术存在明显的安全漏洞，就意味着在更广泛的应用场景中会存在安全隐患。

因此，为了帮助更广泛的企业有效应对算法威胁，RealSafe平台具备以下两大优势：

组件化、零编码在线评测：相比ART、蛮子盒等开源工具需要自行部署和编写代码，RealSafe平台采用组件化、零编码的功能设置，避免了重复造轮的精力和时间消耗。用户只需提供相应数据即可在线完成测评，学习成本低，无需专业算法能力的动手操作。

可视化、可量化的评估结果：为了帮助用户提升模型安全的概念，RealSafe平台将安全评估结果以可量化的形式展示出来，并根据其对抗样本攻击的性能对模型进行评分。分数越高，模型安全性越高。此外，RealSafe平台提供安全变化展示，防御处理后的安全评分和模型效果变化一目了然。

从数字世界到物理世界，RealAI落地了更安全的外设产品

随着机器学习模式的不断升级和进化，“反样”演变成了一种新的攻击手段，并逐渐从数字世界蔓延到物理世界：在道路上粘贴反样贴纸模仿合并后的条状，误导自动驾驶汽车转入逆行车道。在胸前贴上防样品贴纸，在监控设备下实现隐身.

因此，除了推出数字世界算法模型的安全评估平台，RealAI团队和清华大学AI研究院还围绕领先世界多年积累的研究成果，落地了一系列AI攻防安全产品，为更多场景保驾护航。

比如，通过佩戴带有反样图案的“眼镜”，黑客可以轻松解锁商用手机的人脸，通过在胸前贴上特殊图案实现AI监控下的“隐身”，通过在车辆上绘制特殊图案来规避AI对车辆的检测。在发现类似新漏洞的同时，RealAI还引入了相应的防御技术，支持主流AI算法中安全漏洞的检测，并提供AI安全防火墙，有效拦截对AI模型的攻击。

人工智能的浪潮滚滚而来，安全风险也会越来越多样化，尤其是近年来，不成熟的AI技术带来的侵权风险也频频发生。可以说，算法漏洞已经逐渐成为另一大安全隐患

幸运的是，以RealAI为代表的这些顶级AI团队，已经开启了在AI安全领域的征程，开始用标准化的产品帮助行业降低应对安全风险的门槛和成本。RealSafe人工智能安全平台的推出，对RealAI来说是一小步，但对整个行业来说，将是人工智能行业走向健康可控发展的一大步。