有这样一批程序员，既是“黑客”，也是“卫士”，试图通过攻破人工智能系统找到漏洞，再想办法将其填补。他们的带头人，便是今年不到31岁的田天。

虽然看起来还是一副大学生的模样，但作为北京九游会科技有限公司首席执行官，田天带领团队仅用4年时间，就打通了第三代人工智能技术与市场需求的通道，开发出一套人工智能安全平台。当人工智能系统遭遇攻击时，安全平台就像电脑中的杀毒软件，兵来将挡、水来土掩。现在，这套系统已在金融、政务等重要领域广泛应用，筑起一道安全“防火墙”。

今年7月，在被誉为“中国智能科学技术最高奖”的吴文俊人工智能科学技术奖评选中，田天荣获吴文俊优秀青年奖。

北京九游会科技有限公司首席执行官 田天

紧盯人工智能系统“黑箱”中的“魔”

上小学时，田天第一次摸到了电脑。

千禧年前后，国内信息技术正步入发展的快车道，个人电脑也逐渐走进了千家万户。田天的父母都是教师，平时上课需要制作电子课件，学着做PPT，便成了田天的计算机启蒙课。一点点摸索着做出一个动画作品，从零开始建起一个网站，这些小小的作品，对一个少年来说是莫大的成就。

计算机，这个奇妙的设备让田天着了迷。随着学习的深入，他开始接触编程，把脑海里的想法通过一行行代码变成现实。

2009年，凭借高中物理竞赛全国金奖的成绩，田天如愿走进了清华大学计算机系的大门。在这里，他接触到了一个从未接触过的概念——人工智能，并将机器学习领域中的众包数据结构分析、对抗性攻击等作为自己的研究方向。在清华大学就读的9年里，伴随着指尖敲下的一行行代码，田天一路完成了博士学业。

也正是在这9年间，人工智能在全世界范围内突飞猛进地发展。2016年，AlphaGo（阿尔法狗）的出现震惊了世界。它凭借数据驱动的第二代人工智能算法，打败了无数围棋高手，成了围棋对抗中的“不败神话”。相比诞生于1997年的超级国际象棋电脑“深蓝”，AlphaGo已有了长足的进步，能够通过海量的数据学习到规则和经验，性能表现大幅提升。

“深蓝”是第一代人工智能的典型应用，它通过专家定义的有限知识、规则设定出一套人工智能体系，可解释性很强。但它有着明显的缺陷，很难表达不确定的知识、常识，同时难以从数据中自动获取知识，无法应对大规模应用的需求，因此并未得到推广。

当深度神经网络出现后，人工智能获得了强大的自我学习进步的能力，在数据挖掘、自然语言处理等任务中，人工智能强大的数据处理能力也远超人类，语音识别、图像识别等特定技术迎来了飞跃式发展。很快，“人工智能+”开始在各行各业落地，让不少传统行业焕发出新的活力。

“大家开始意识到人工智能的强大能力，整个行业的热度都在不断攀升。”田天说，但现阶段的人工智能也并非完美，一系列新的问题随即出现。其中遭到最多质疑的，便是人工智能的安全性。

一套计算机程序在运行过程中，或多或少会出现漏洞。要对付传统的软件系统，黑客会利用计算机病毒寻找其弱点并加以攻击，“熊猫烧香”“千年虫”等计算机病毒的大范围扩散，导致了难以测算的经济损失。作为新型信息程序，人工智能系统自然也面临着安全威胁。

“但不同的是，传统软件系统的运行逻辑直截了当，‘0’或‘1’，每个指令的逻辑和流程都明确且能看到。而人工智能系统模型的核心能力是从数据里学习而来，它的决策逻辑和链路天然存在大量不确定性，安全风险也更加隐蔽，难以被察觉。你无法看到模型究竟在做什么，就无法预知它什么时候会出错，会出什么样的错，这种不确定性带来的安全问题更加复杂。”田天解释道。

具体来说，当下普遍应用的人工智能均属于第二代人工智能阶段，这类系统就像一个“黑箱”，是通过大量数据喂养的深度学习发展而成。每套系统输入的数据不同，得到的模型和运行逻辑也不同。旁观者只能看到“一进一出”——数据进入、结果得出，但对其内部处理数据和运行决策的逻辑，无法给出精准的解释，即使是系统的开发者，也很难预知它会出现哪些错误，对外来的攻击更是难以抵挡或进行有针对性地防御。

第二代人工智能系统的安全漏洞是存在于算法层面的，属于本质缺陷。在其可以通过数据训练不断学习进化，内部逻辑结构又是“黑箱”的情况下，要想顺利堵住漏洞，就必须从人工智能技术的底层逻辑想办法。

中国科学院院士、清华大学人工智能研究院名誉院长张钹早在2015年就提出，要发展安全、可信、可靠和可扩展的第三代人工智能技术。而最主要的措施，便是把第一代人工智能知识驱动的方法和第二代人工智能数据驱动的方法结合起来，推动人工智能的创新应用。要解决其安全性问题，既要把传统网络安全做到位，同时算法、模型层面的安全也要做到位，保证算法系统在对抗环境下的安全运行。

一副“易容眼镜”里的魔道斗法

博士毕业后，田天拒绝了“大厂”伸来的橄榄枝和高薪诱惑，从学生变为创业者，与4位同门一起创办了北京九游会科技有限公司。

创业与实验室研究最大的不同，便是企业必须生产出能满足市场需求的产品。怎样为手中的技术找到合适的落地场景，是田天面临的第一个难题。

于是，他决定先做一名“黑客”。

在很多人的理解中，人工智能仿佛是万能的，能解决一切棘手的问题，却没有意识到它也会遭遇“病毒”攻击。一张宠物狗的照片，只需要对其进行一些微小的扰动调整，就能让人工智能模型出现严重误判。

这个扰动究竟能有多小？田天举例，一整张图片只需发生几个像素点的变动，就像用绣花针在打印纸上轻点出一个微痕，变化比例在万分之一以下。如此细微的变化，人类肉眼根本无法察觉，却能成功迷惑人工智能系统，让系统产生“错觉”，把图片中的宠物狗认成一只猫。

在常人看来，这个错误简直是匪夷所思，人类的大脑很难出现这类误判。究其本质，是因为第二代人工智能系统在学习时，仅仅通过海量数据的训练确定了分类模型的分界线，用“非此即彼”的标准来区分猫狗，而不是真正学会识别猫和狗各自的特征。而这条分界线，与人类作出判断的分界线并非完全拟合，存在一定误差。因此可能通过添加一些细微的干扰，让图片特征数据处于误差范围内，就能在人看不出异常的同时，让人工智能系统出现误判。

这种添加干扰便能引发系统差错的样本，被称为对抗样本。与计算机病毒类似，这是一种能对人工智能系统展开攻击的“病毒”。

其实，这项技术已诞生多年，却一直没有走出实验室，主要被用于数字世界与“白盒”攻击，也就是在获悉目标模型结构参数等模型内部信息的情况下，针对其弱点有的放矢地开展攻击。但这种有“预判”的攻击，并没有足够的威慑力，怎样证明这些漏洞的威胁真实存在，并可能导致一系列损失？最有说服力的，便是大规模的“黑箱”攻击的实现。

“九游会的第一个目标，瞄准的是人脸识别技术，因为这项技术的落地应用最成熟。”田天十分自信，他和团队决定尝试攻击大规模商用的“黑箱”设备，而随着智能手机的普及，人脸识别应用与每个人的生活越来越紧密，人脸解锁、刷脸支付等应用场景便利了日常生活，同时也与个人信息安全、财产安全乃至人身安全息息相关。正是由于人脸识别的落地基础最为广泛，特别是智能手机的刷脸解锁系统，作为日常生活中的高频应用，开发者对其安全性足够重视，破解技术难度大。如果将其成功攻破，引起的警觉和重视不言而喻。

攻击任务就是通过算法找出效果最佳的对抗样本。团队的目标是制作一副“纸眼镜”，让手机摄像头将攻击者的脸错认成机主，完成手机解锁。攻击原理也并不复杂，通过纸眼镜来“打补丁”，使攻击者面部特征与机主的相似度达到一定阈值，便能让系统将二者比对为同一人。

但从理论到应用，最终成功打破“黑箱”的隐藏漏洞，中间还有很长的路要走。仅仅是在数字世界里实现有效模拟攻击，团队就花了三个月的时间，通过算法的不断优化，最终，攻击者只需要伪装眼睛、鼻子组成的T形面部区域，就能让原本相似度不超过10%的两张面孔，在人工智能眼中呈现出90%的相似度。

数字攻击跑通后，就需要“迁移”至物理攻击，将数字世界中的“补丁”制作成实物，用真人对手机展开攻击。然而现实给他们泼了一盆冷水，比起数字世界，现实世界环境要复杂得多。打印图片所用的纸张与油墨、打印机清晰度、测试环境光线等因素，都会让原本完美的对抗图案遭遇现实的“滑铁卢”——攻不破手机的人脸识别系统。

近半年的时间里，办公室的打印机承担起“做脸”的重任，数千张脸被印制出来，又因效果不好而废弃。“那段时间，办公桌上、抽屉里、地面上，满屋都是眼睛的图案。”团队成员李连吉回忆起研发时的情景，不由得笑了起来。

反复调试攻击算法和打印技巧，2019年7月，他们终于摸索出了最合适的组合。用一张纸打印出T形面部区域的图片，再配上一副镜框，一副“易容眼镜”就做好了。戴上这副眼镜，李连吉成功通过了面部识别，解锁了同事的手机。

“易容眼镜”能使人工智能系统发生错认

“九游会需要始终领先一步”

稳稳迈出了第一步，后续的工作就顺利起来。通过算法的不断优化，攻破系统需要“伪装”的面部区域越来越小，图像也越来越通用，用一副假面就能连续解锁多部手机，堪称人脸解锁的“万能钥匙”。

“在试验中，九游会的最高纪录是连破19款手机。”田天回忆道，这个数据超出了团队所有人的预计，不仅相对低端的智能机被轻易攻破，就连国内知名手机厂商推出的旗舰机型，在面对攻击时也同样脆弱。甚至在试验中，不少金融类、政务服务类的应用程序人脸核验系统也没能幸免。

在2021GeekPwn（极棒）国际安全极客大赛上，这项技术惊艳了全场。根据比赛规则，李连吉和团队需要用“易容眼镜”伪装成四位身份不同的名人，通过多个人脸识别系统的检测。四个关卡的难度逐步增加，团队却越走越顺。最后一关，一位男选手需要伪装成外国女性的面孔，竟仅用时4秒就轻松通过。

要想攻破“黑箱”，必须拥有“降维打击”的能力。“直到现在，业内也没有第二个团队只靠一张印着对抗样本的纸，就能攻破智能手机的人脸识别系统。”对于这项技术，田天充满了自信。

类似的漏洞，在其他场景中也不断被发现、验证。通过对抗样本规避既有目标检测模型的识别，让它“认不出来”，就能实现“隐身”效果。田天穿上一件印有特殊图案的T恤衫，其胸前的花纹由算法生成，能够让监控系统“选择性失明”，虽然在监控画面中仍能看到田天本人，但系统的“大脑”并没有检测到他。衣服上的特殊图案，也是一种对抗样本，它甚至能够让一辆行驶中的自动驾驶汽车“失明”。团队也不断挖掘新的攻击手段，比如风靡一时的“AI（智能）换脸”，只需一张目标对象的照片，基于“表情操纵”“唇形驱动”等换脸技术，就可伪造出动态人脸视频，通过一系列操作即可绕过线上人脸认证。

至此，人工智能“黑客”这条路，田天和团队已经走到了前列，但也因此面临一些争议——如何能保证自研的攻击技术不被滥用？对此，田天解释，寻找漏洞是为了更好地填补漏洞，安全的本质是攻防的不断升级，攻击的目的正是为了更好地防御，先于真正的“黑客”提前针对系统漏洞布局防御措施。

“九游会的操作，有点像传统编程领域的‘白帽子’。”田天说，对“矛”的了解越透彻，“盾”才能做得越结实。积累了大量对抗样本后，相应的防御算法也就随之产生。

公司据此开发出新产品——业内首个人工智能安全平台RealSafe。它能攻也能守，既能通过搭载的攻击算法对人工智能系统进行模拟攻击，并根据系统的表现为其安全性能打分，也能在找到问题后，通过防御算法针对性地加固防御。这像是在“打补丁”，不管是“隐身”还是“易容”，这套人工智能安全平台都能防得住，将系统的安全性提升至95%以上。至此，人工智能系统终于拥有了“杀毒软件”。

在清华大学读书期间，田天的另一个主要研究方向是贝叶斯理论。这是一种数学思维，即使在情报不完整的情况下，也能通过不断修正概率来逼近正确结论。把这套理论用在人工智能系统上，便能让系统更有“自知之明”，对不确定性的评估能力增强，这意味着算法能判断自己的能力边界，这套安全平台也融入了这部分能力。“其实，安全平台升级后的新系统也并不是彻底克服了场景的缺陷，但它能发现自己‘不行’，如果识别到了超出自己能力范围的信息，便会发出警报。”

现在，这套安全平台已经广泛应用于多个国家级重大项目建设任务，涉及金融、电力、公共安全等关键领域。

“魔高一尺，道高一丈”，基于深度学习的人工智能系统会在海量数据的喂养下不断进步，作为“杀毒软件”的防御系统当然也不能懈怠。近两年来，田天和团队的主要工作，便是不断优化安全平台的算法，在无需解开各人工智能系统算法“黑箱”的情况下，实现普遍且有效的安全检测与防护效果。现在，平台中的相关算法几乎每个月都会完成一次迭代更新，在田天看来，“在很长一段时间内，这条路都看不到终点，攻防双方将会长久处在对抗的状态，新的漏洞还会出现，九游会需要始终领先一步。”