原文来源：杜克大学

摘要：EyeSyn是一种新开发的 "虚拟眼睛"，它能准确地模拟人类看世界的方式，以用于开发新的增强现实程序，它可以帮助创建元宇宙的应用。

杜克大学

杜克大学的计算机工程师已经开发出了虚拟眼睛，可以准确地模拟人类如何看世界，这可以让元宇宙公司训练VR和AR程序。该程序被简称为EyeSyn，它将帮助开发者为快速扩张的元宇宙创建应用程序，同时保护用户数据。

该研究成果将在2022年5月4日至6日的国际传感器网络信息处理会议（IPSN）上发表，这是一个关于网络传感和控制研究的年度论坛。

"你可以仅通过观察一个人的眼睛来检测他是否在阅读漫画书或高级文学作品，"杜克大学电气和计算机工程助理教授Maria Gorlatova说。

"但训练这种算法需要来自数百名戴着耳机的人的数据，而且要连续几个小时，"Gorlatova补充说。"我们想开发的软件不仅能减少收集这类数据带来的隐私问题，而且还能让那些没有开发能力的小公司也进入元宇宙游戏。"

将眼睛描述为灵魂之窗从《圣经》时代起就一直在重复，我们的眼睛如何移动和瞳孔如何放大的微小动作提供了惊人的信息量。人类的眼睛可以显示出我们是否感到无聊或兴奋，注意力集中在哪里，我们是否是某项任务的专家或新手，甚至我们是否能流利地使用某种特定语言。

“观察眼睛你了解一个人的很多情况，"Gorlatova说。"它可以不经意地揭示出性和种族偏见，以及他们自身都不了解的信息。"

眼球运动数据对于在元宇宙建立平台和软件的公司来说是非常宝贵的。例如，读取用户的眼睛可以让开发人员根据参与反应定制内容，或降低周边视觉的分辨率以节省计算能力。

创造出模仿普通人对各种刺激的反应的虚拟眼睛听起来是一项高难度的任务，为了克服这项挑战，Gorlatov和她的团队深入研究了认知科学文献，探讨了人类如何看待世界和处理视觉信息。

例如，当一个人在看别人说话时，他们的眼睛会在这个人的眼睛、鼻子和嘴巴之间交替出现，时间长短不一。在开发EyeSyn时，研究人员创建了一个模型，提取说话者身上的这些特征，并对其虚拟眼睛进行编程，从统计学角度模拟关注每个区域的时间。

"如果你给EyeSyn很多不同的输入内容，并运行足够多的次数，你将创建一个合成眼球运动的数据集，其规模足以为一个新程序训练一个（机器学习）分类器，"Gorlatova说。

为了测试他们合成眼睛的准确性，研究人员公开了数据结果。他们首先让眼睛 "观看 "Anthony Fauci 博士在新闻发布会上对媒体讲话的视频，并将其与实际观众的眼睛运动数据进行比较。他们还将其合成眼睛看艺术的虚拟数据集与从浏览虚拟艺术博物馆的人那里收集的实际数据集进行了比较。结果显示，EyeSyn能够密切匹配实际凝视信号的独特模式，并模拟不同人眼睛的不同反应方式。

根据Gorlatova的说法，这一水平的表现足以让公司将其作为一个基线来训练新的元宇宙平台和软件。有了基本的能力水平，商业软件就可以在与特定用户互动后，通过个性化的算法推送定制化内容。

"仅仅是合成数据并不完美，但它是一个很好的起点，"Gorlatova说。"小型公司可以使用它，他们不用花时间和金钱去尝试建立他们自己的数据库，而且由于算法的个性化可以在本地系统上完成，人们不必担心他们的私人眼球运动数据成为大型数据库的一部分。

这项研究得到了美国国家科学基金会（CSR-1903136，CNS-1908051，IIS-2046072）和IBM学院奖的资助。