经济观察网 记者 任晓宁路边竖立着两个看起来一样的交通标识牌。标识牌均指示停车，任何一个开车的人都会停下来。但无人车路过时会产生疑惑，不知道应该停车或是通行。
10月15日，百度安全总经理马杰展示了上面的实验。两个交通标识牌尽管肉眼看起来一模一样，但其中一个背景稍微有点污渍，这是算法算出来的污渍。有了污渍的标识牌，在机器视觉看来，意义完全翻转，是通行，而不是停车。
“如果被坏人利用的话，这是一种可能的风险。”马杰说。
马杰在安全行业从业20年，目前主要研究方向是AI安全。他告诉包括经济观察网在内的记者，在人工智能时代，以前的安全风险依然存在，同时也出现了一些新的风险。包括隐私保护问题，包括AI新技术本身带来的模型安全问题、传感器问题等，以及AI前端AIoT的小设备上云安全问题。
安全问题变多了
AI时代的安全风险，主要有四个方面。
一是机器学习和适应人类。在机器适应人的过程中，用了大量的深度学习技术，这些技术会带来模型安全在内的新问题。
二是深度学习。深度学习需要大量的数据作为原料，让机器变得聪明，这同时就带来了数据安全和隐私的问题。
三是万物互联，AIoT设备全面覆盖，会带来系统和网络安全相关的问题。
四是AI正在渗透到社会和经济的方方面面。“同样的问题，20年前最多损失的是电脑上的一个文件，风险是有局限性的。在AI时代，一个更小的风险也许会造成一个更大的问题，会因为量变而产生质变。”马杰说。
除了无人车被骗的实验外，马杰还展示了几个其他的实验，通过算法与机器视觉做对抗，可以让一辆存在的车凭空消失，也可以让一个人无中生有。
AI时代大量传感器出现，也出现新问题。马杰团队做过一个研究，测试市场上8款旗舰手机的指纹识别，结果是，所有机型，都可以实现完美破解。
“在新的AI时代，会存在很多我们以前所意识不到的，尤其从人的视角非常不容易意识到的风险。”马杰说。
能发现就有可能解决
AI安全领域存在这么多问题，有解决办法吗？
作为安全业务负责人，马杰每隔一段时间会安排外界高手入侵团队成员系统，他的目的是考核团队发现风险的能力，及时止损。
在目前国内AI领先的公司研究AI安全多年，马杰告诉记者，做安全最重要的是跑赢黑产，“在他们前面把问题发现出来，然后协同大家把它解决掉。”AI安全几乎没有边界，更需要提前发现。
“很多时候问题只要被提出来了，其实解决方案还是比较好办的。”马杰举例说，比如证明了机器视觉存在被恶意攻击的可能性，做无人车的团队就一定不会只用机器视觉做唯一的判断源，会交叉验证，从而解决无人车被骗的风险。发现指纹存在不安全风险后，手机厂商也会做出应对。
黑产是安全行业老问题，有安全从业者说，每年可能有千亿元的资金最后都落入到了黑产的口袋，但是我国所有的安全公司加起来一年的销售额只有三四百亿元。
马杰承认，这的确是事实。但一个趋势是，情况已经在变好，“稍微往前倒退几年，我们当时说安全市场只能有一百亿元，现在已经增加到三四百亿元了。”这得益于近几年国家政策、研究机构、各个公司不断推进安全意识认知。他告诉记者，安全问题，最重要的是要有安全意识。“我们认为这个世界上没有不会被攻破的东西”，“只要这么想问题，很多问题就已经解决了。”
