在上一篇文章《蚂蚁安全天玑实验室生物识别测试体系介绍》中，我们介绍了蚂蚁安全天玑实验室在保障生物识别安全性上所做的努力。但是我们也在探索新型的生物识别方式，其安全性、便利性要高于成熟的指纹、人脸等生物识别方式——脑纹识别与行为识别。
近年来，生物识别技术持续快速演进和发展，以深度学习算法为基础的计算机技术日渐成熟，为生物特征识别提供了非常强大的计算和分析能力，生物识别准确率大幅度提升。相较于传统的通过密码进行身份认证的方法，生物识别技术不易遗忘、不易复制，可以有效减少密码丢失泄漏情况发生。但是随着生物识别技术在各领域应用范围逐步拓宽，安全风险隐患日益凸显。不法分子可通过3D打印用户指模、非法收集合成的语音、利用照片制作活体“灰脸”方式“物理克隆”用户身份特征。此外目前大部分生物识别技术都依赖于视觉能力，没有考虑视觉障碍人群需求。蚂蚁安全天玑实验室以此为出发点，提出了“脑纹与行为识别”两种新型生物识别方式，降低信息泄露的可能性，并解决视障人士需求。
2.1 脑纹识别技术背景
脑科学问题是21世纪最具挑战性的前沿科学问题，是人类理解自然和理解人类自身的重要研究方向，脑机接口是该领域的有效探索手段之一，被称作是人脑与外界沟通交流的“信息高速公路”，是公认的新一代人机交互和人机混合智能的关键核心技术。近日，中国信通院正式发布《脑机接口总体愿景与关键技术研究报告（2022年）》，提出“脑智芯连，思行无碍”这一行业发展总体愿景。
目前脑纹识别技术的发展仍处于探索阶段，存在数据样本量小、测试时段单一、记录范式单一等一系列局限性。同时，脑纹识别系统的准确性、稳定性和通用性受到挑战。同时，没有公开的基于脑电图的生物特征竞争。缺乏统一的测试基准和平台阻碍了这一领域的发展。将来脑纹识别成熟后，将拥有广阔的应用前景，可以作为身份验证模块添加到各种各样的系统中，未来可能成为元宇宙的身份认证入口。
基于蚂蚁集团沉淀的可信AI技术能力和蚂蚁安全天玑实验室在生物识别安全和行为识别领域的多年积累
，及对脑机接口相关前沿技术的探索。针对“脑纹识别”问题，
我们提出了基于对抗比对迁移的多模脑纹识别算法，解决了脑机接口下脑纹识别及相关的算法任务。提供了一种高准确性和鲁棒性的通用算法方案
。
2.2 脑纹识别数据
2.2.1 数据集
脑电信号数据集是研究脑纹技术的重要基础，而当前脑电信号数据的采集仍有很大的难度。目前大部分公开脑电信号数据集需通过无损伤电极帽采集。图1展示了64通道的电极帽平面图，该电极帽记录的脑电信号维度为64。目前常用的脑机接口范式包括运动想象、SSVEP、P300，不同的脑机接口范式对应着不同的脑电任务。
在运动想象范式中，受试者需要想象指定运动，激发大脑运动皮层脑电节律变化，信号处理部分通过分析采集到的脑电信号判断运动想象种类。例如在Physionet运动想象数据集中，受试者需要想象打开或关闭双拳或双脚。
而稳态视觉诱发电位（Steady-state Visual Evoked Potentials，SSVEP）属于视觉诱发电位（Visual Evoked Potentials， VEP），是指当人眼受到恒定频率的视觉刺激时，大脑皮层会自动产生与刺激频率及其谐波频率同频率的响应。
P300属于事件相关电位的一种，是一种内源性的、和认知功能相关的特殊诱发电位，主要位于中央皮层区域，当人体受到外界刺激后300ms左右会出现一个正向波峰。例如经典的P300视觉刺激的字符系统，该实验范式将36个字符排列成一个6*6的字符矩阵，并按照随机的次序闪烁矩阵中的某一行（或列），如图所示。为了拼写一个单词，受试者必须将注意力集中在矩阵中的字母上。只有当行（或列）包含了受试者选择的字母时，大脑才会产生明显的P300，因此能够推断出受试者选择的字母。
2.2.2 问题定义
人类脑电信号的产生与大脑结构、记忆、情绪、压力等因素有关，所以任何两个人的脑电信号都会有差异。脑纹识别技术则是一种通过脑电信号判别受试者身份的技术，包含两类任务，即受试者辨认和受试者确认。受试者辨认需要我们将未知脑电信号与实验受试者进行比对，选出最匹配的受试者；而受试者确认需要我们判断未知脑电信号是否来源于给定的目标受试者，是一个一对一的二分类问题。
2.3.1 数据预处理
脑电信号属于时域信号，可以采用信号处理的方法进行滤波，去燥，信号分离等。这里采用小波变换，可以使用不同小波函数。同时在频谱上进行特征分析，通过短时傅里叶变换(STFT, Short Time Fourier Transform)，即可获得频谱图，同样可以使用不同的谱分析方法，如梅尔频谱(mel spectrum)、MFCC（梅尔频率倒谱系数）等。
2.3.2 算法框架
脑纹识别算法的主干网络结构如图4所示，首先对脑电信号进行时域和频域的预处理，然后对得到的信号和频谱图进行特征提取，后端将不同编码器提取的特征进行融合，获得统一的表征，然后处理不同的任务。整个算法框架可以兼容脑电的分类任务、情感识别和身份识别等多种任务。
其中信号部分使用小波变换，分离出高频信号和低频信号，然后使用特征编码器进行特征提取。频谱部分通过对信号进行谱分析，对频谱图进行特征提取，特征提取编码器可以使用多种网络结构。
在最后的表征中加入度量学习，算法的提高主要体现在损失函数的设计上，损失函数会对整个网络的优化有着导向性的作用，在脑纹识别中，尤其是涉及大规模人群时，度量个体内差异和个体间差异，将对整个算法性能产生较大影响。
2.3.3 编码器
Encoder部分编码器设计，主要采用经典的M5网络和Resnet网络结构如图5所示，其中信号部分采用1维卷积核，来提取时域特征；频谱图采用2维卷积核，来提取频域特征。其中M5编码器属于浅层网络，采用5层的卷积和池化操作。而seResnet通过叠加不同层次的Dense Block模块，可以设计成深度网络结构。基于整个算法结构设计，编码器部分可以使用多种网络结构，包括Tranformer结构。
2.3.4 对抗训练
在脑电数据中，存在很多高频噪声，这些噪声对模型的稳定性造成很大的干扰。借鉴蚂蚁可信AI的技术框架，可以从对抗的角度来减少未知噪声的干扰。为了提升模型的鲁棒性，优化器采用了模型对抗扰动AMP的方法，在训练过程中，给模型参数添加微小的扰动，使模型在不同的噪声里依然具有很好的泛化能力，从而使得模型效果有稳定的提升。
2.3.5 对比迁移学习
首先通过M5网络结构，分别在训练数据集上单独训练信号和频谱的识别模型，训练好的模型参数用于初始化融合模型，先使用对比学习算法（simCLR）进行信号和频谱表征对比预训练。由于直接训练深层的reResnet101很难取得最优权重，因此先通过对比学习预训练reResnet网络。然后添加分类任务训练模型。
在实验过程中可以发现，该模型在训练数据集上能够取得较高的准确率，但在测试集上准确率明显下降，我们推测这可能是训练集和测试集之间的数据分布变化所导致的，这个变化可能来自于环境或者设备差异。因此模型需要做目标迁移。
我们使用训练好的模型预测测试集，添加伪标签，选取可信度较高的样本加入训练集，再训练模型。由于在目标迁移时加入了伪标签，因此训练数据集中就存在错误的标签，这会导致网络学到错误的结果，因此我们使用Co-teaching方法，让M5和seResnet101相互学习，遗忘错误的标注，学到正确的结果。
2.4 实验效果及比赛结果
我们将提出的对比度量时频融合模型在公开的M3CV数据集上进行实验，准确率为68%，通过融入对比学习、度量学习和Co-teaching的训练策略，模型的准确率提升至71.5%；通过加入模型对抗扰动训练，模型的鲁棒性提升明显，准确率为74%；最终，我们通过模型加权融合策略将模型准确率提升至76.9%。
该结果在中国信通院主办的以“AI赋能脑纹识别”为主题的脑机接口挑战赛中获得了第一名，这也意味着我们提出的基于对抗比对迁移的多模脑纹识别算法是一种高准确性和鲁棒性的通用算法方案。
3.1 行为识别技术背景
动作交互识别技术，即识别和理解人类动作和行为。可以是识别动作行为意图，如视觉监控系统识别人类危险活动，也可以是进行身份核验，如步态识别，在各类生活场景中具有重要的应用价值。在过去的几十年中，动作交互识别技术都是一项备受关注的重要研究课题，并随生物安全、隐私等议题的升温而愈趋热点。
动作交互识别可以表现在不同的形式载体中，包括图像、音频、视频、传感器等。而随着智能手机的普及，其搭载的惯性传感器和屏幕传感器，被应用到动作交互识别任务上，通过对动作特征进行捕捉，识别用户动作行为及用户身份。
日常生活中，基于生物动作行为识别研发的验证码（滑块、拼图等）和核身方式（密码、刷脸等）为我们打开访问数字世界的大门。而对于视障人群，这些强依赖视觉能力的核身产品，在交互体验层面就显得不那么友好了。
基于蚂蚁集团沉淀的可信AI技术能力和蚂蚁安全天玑实验室在生物识别安全和行为识别领域的多年积累，针对特殊群体身份识别的问题，我们提出了一种基于传感器的核身动作交互计算方案，通过对用户操作手机时传感器捕捉的数据，感知用户动作和身份，为多模态数据驱动的用户核身校验应用提供技术支撑。
3.2 行为识别数据
3.2.1用户运动传感器数据
随着智能手机的不断发展，智能手机中嵌入了各式各样的传感器，如加速度传感器、陀螺仪等，这些传感器能够测量XYZ三个轴上的加速度和角速度。在核身过程中这些传感器采集与人体活动相关的数据来识别手机携带者的运动状态，这些数据按照时间顺序排列构成时间序列。
3.2.2屏幕传感器数据
除了运动传感器之外，智能手机的屏幕也配备了一系列传感器，能够采集到用户触屏时的位置坐标、触摸压力以及触摸面积。
3.2.3屏幕操作图像数据
除了上述两种序列数据以外，我们也考虑了用户的屏幕操作图像，如图14，用户手写文字图像数据。
3.3 行为识别技术方案
3.3.1 数据预处理
我们对序列数据进行时域和频域上的预处理，便于后续编码器提取多角度特征。
傅立叶变换是数字信号处理领域中十分重要的算法，其目的是将时域上的信号转变为频域上的信号。傅立叶表明：任何连续测量的时序或信号，都可以表示为不同频率的正弦波信号的无限叠加。随着域的不同，对同一个序列的了解角度也随之改变，因此在时域中不好处理的地方，在频域就可以较为简单的处理。
除了上述的傅立叶变换，小波变换也是一种变换分析方法，将傅立叶变换的基函数由无限长的三角基函数替换成有限长的会衰减的小波基函数。小波变换不仅可以知道序列或信号有哪些频率的成分，并且可以获得这些成分在时域上存在的具体位置。
3.3.2 算法框架
支持核身交互计算能力的算法框架如图，可以解读为结合多模态、多任务和动作行为识别技术的人工智能算法框架。该框架以用户动作中采集得到的用户运动传感器数据、屏幕传感器数据和屏幕操作图像数据作为输入，首先对输入数据进行时域和频域的预处理，然后应用不同深度神经网络进行特征提取。
针对不同数据提取得到的表征，我们通过Concat Attention、Cross Attention和Cross Contrastive Learning等机制进行特征融合与蒸馏，然后应用到下游任务，包括视障用户识别、动作识别、人机识别等。
3.3.3 编码器
在运动传感器数据上，我们采用
DeepSense时频网络，核心是卷积神经网络（CNN）和递归神经网络（RNN）的融合。首先输入序列数据会被分成一系列子序列，每个子序列的频率表示被输入到CNN中，以分层学习每个传感器数据内部的局部交互和不同传感器数据之间的局部和全局交互，然后将序列表示输入RNN学习时间顺序上的关系，从而得到最终的序列表示。
对于屏幕传感器序列数据，我们使用ConvBert方法进行特征提取，通过动态卷积为不同的输入序列生成不同的卷积核，从而与其余的自注意力头一起形成了一种新的混合注意力块，从而直接建模局部依赖。图展示了自注意力和动态卷积（粉红色）的混合模块，它们共享相同的Query，但使用不同的Key分别生成注意力和卷积核。最后，将学习到的两个表示进行连接得到最终的序列表示。
对于屏幕图像数据，我们使用EfficientNet和Swin Transformer来提取图像特征。EfficientNet使用一组固定的缩放系数统一缩放网络深度、宽度和分辨率提高网络精度。Swin Transformer为金字塔结构，能够提取各种尺度的信息，同时每层通过在移动窗口内计算自注意力，这样不仅提高效率，而且通过窗口的移动操作可以使得相邻的两个窗口之间进行交互，从而也可以达到全局建模的能力。
3.3.4 行为预训练
视障人群传感器数据量级较低，影响模型泛化性和鲁棒性。为解决该问题，我们首先在全部人群的传感器数据上应用基于对比学习的自监督方案，以对用户动作进行通用建模。特别地，在上述编码器获得的时序数据表示上我们应用通用的层次对比学习，以分别建模用户短期和长期动作特征。然后我们将模型在视障人群数据上进行迁移，使得模型在保持通用性的同时，适用于视障人群动作拟合。
3.3.5 行为隐私
在核身交互计算中，项目结合蚂蚁端云协同和隐私计算方案，以保障用户隐私安全。对于采集到的传感器数据，项目或在用户智能终端（如手机）中进行计算，将不含隐私信息的决策结果输送到云端，或在智能终端进行用户隐私脱敏，将不含隐私信息的特征输送到云端进行建模，对数据的合理、合法、合规使用，确保隐私动作行为数据“可用而不可见”。
3.4 业务应用及比赛结果
这一套基于传感器的核身动作交互计算体系，在支付宝的业务中实现落地应用，
这是动作交互识别计算首次在金融级核身场景的落地应用。
该体系衍生出面向视障人群的“爱立方”无障碍核身技术方案，在登录等日常场景，及五福等泛娱乐场景，为视障用户带来核身便利。
该方案在中国计算机学会（CCF）主办的2022创新应用案例大赛中，获得全国第二名。
4.1 技术方案总结
针对现有生物识别技术信息泄露以及忽视了视障人士需求现象，蚂蚁安全实验室提出了脑纹识别和行为识别两种新型生物识别方式。通过对多模态数据运用不同的编码器提取特征并进行融合，并使用对比学习来应对数据量级较低的困难，保证了身份核验准确率，保护个人隐私。
4.2 未来规划
4.2.1 无障碍标准共建标准
自2021年11月起，蚂蚁集团将“产学研用”有机结合，积极联动企业、高校等多方协同共建行业无障碍标准，并对外全面输出产业实践成果，免费开放无障碍安全科技全量专利。未来，蚂蚁将继续主动承担推动信息无障碍普及的企业责任，开发相关技术的同时持续拓展更多的应用场景，让温暖关爱实现从线上至线下的全方位覆盖，为更多群体带来顺畅的数字核身科技体验。
4.2.2 推动规范化发展
目前，生物识别技术网络安全防护标准仍然匮乏，生物识别安全管理规范仍然需要细化。未来，蚂蚁将继续主动承担健全完善标准体系的责任，组织开展生物识别基础技术、特征提取、安全加密等技术标准研究，通过相关标准明确生物识别信息的应用场景和安全要求，提升行业生物识别技术应用的安全水平。
蚂蚁技术AntTech