加州大学旧金山分校的华裔教授Edward Chang利用人工智能算法将脑电信号翻译成句子，准确率达到97%，远超去年Facebook报道的76%。
3 月 30 日，Nature子刊《Nature Neuroscience》发表了该研究，引发广泛关注。
3月30日，Nature Neuroscience刊登：脑电波 AI 解码器将脑电翻译成句子
目前基于脑机接口的意念打字技术，多依赖视觉诱发或肌电运动想象等非语言活动，目前每分钟输出数十个单词，但与自然语言交流时每分钟150个单词的平均速度相比，还是太慢了。
这项研究中，研究人员采用了直接识别脑电信号语义方式，使用人工智能的机器学习模型将大脑活动直接与句子联系起来。
加州大学旧金山分校Edward Chang教授
实验在四名癫痫患者身上进行，因需监测癫痫发作这些患者脑部被植入电极。在这项研究中，参加者大声朗读了50个简单的句子，用脑电电极记录了他们的神经活动。
这些句子包括：“蒂娜特纳是流行歌手”、“绿洲是海市蜃楼”、“蛋糕的一部分被狗吃掉了”、“这个人是怎么被卡在树上的”、“梯子是用来救人的”、“猫和男人”等。
随后，研究人员将脑信号输入计算机，机器发现朗读时出现的神经特征，并利用递归神经网络技术将这些神经特征解码为句子，能识别单个单词组成的全新句子。
本次研究的脑电解码过程。图源：论文原文
文章通讯作者马金博士表示：“这些有特征性的大脑信号可能与语音的重复规律有关，例如元音、辅音或对口部的命令。”
可以将这类控件与虚拟键盘结合使用来产生文本，对语音进行解码，但到目前为止，在孤立声音、单音节或中等词汇量（约100个单词）的连续语音情况下，正确解码的单词约40%。
在这项研究中，他们试图一次解码一个句子，因此实际上两个任务都映射到同一输出，即与一个句子对应的单词序列，两个任务的输入分别是神经信号和文本。
人工智能可以识别大脑中的语音模式。图源：盖蒂
他们还发现，大脑中对语音解码起重要作用的区域也参与语音产生和语音感知。
去年，Edward Chang 团队还在《Nature Communications》发表了一种可以将脑活动转化为语音的解码器。
2019年7月，Nature Communications刊登了Edward Chang团队的文章
通过解码与人类下颌、喉头、嘴唇和舌头动作相关的脑信号，合成出受试者想要表达的语音。研究人员设计了一种循环神经网络（RNN），将记录的神经信号转化为声道咬合运动，然后转化为口语句子。
马金博士说：“这种方法从一个病人的神经活动中解码语音句子，其错误率与专业水平的语音转录相似”。这表明，这种方法可能适用于所有人。
还需要进一步的研究来证明这种方式的潜力，并在有限的语言外增加解码能力。
文献链接：
https://www.nature.com/articles/s41593-020-0608-8
文章来源： 脑友记BrainUp
免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理（按照法规支付稿费或立即删除）。转载请注明出处，如原创内容转载需授权，请联系下方微信号。
