作者：刘琳
NextMind 正在开发一种脑-机接口：将视觉皮层的信号转换成数字指令。我们尝试了 NextMind 的设备，它可以让你用视觉注意力向电脑和 AR/VR 耳机输入命令，这家总部位于巴黎的初创公司想让你用视觉想象力做同样的事情。
我们在 CES 2020 之前与 NextMind 的 CEO Sid Kouider 进行了交谈，他的公司将在本月发布一款 dev kit ，并选择开发者和合作伙伴，售价 399 美元。在早期访问期之后，第二轮限量版开发套件将于 2020 年第二季度开始发售。
图片来源：VB 所有者：VB
NextMind 是越来越多依靠机器学习算法构建非侵入性神经界面的初创公司之一。2019 年 9 月，Facebook 收购了 Ctrl-labs ，后者当时正在开发一种肌电描记器腕带，可以将肌肉神经信号转换成机器指令。NextMind 也在开发一种非侵入性设备，但它是一种戴在脑后的脑电图( EEG )，也就是大脑视觉皮层所在的位置。
Kouider 告诉 VentureBeat :“我们确实是直接针对大脑皮层的。”“我们对大脑皮层的神经活动进行非侵入性解码。我们的目标是通过直接使用大脑实现实时互动。”
两条途径
NextMind 的设备要求你必须积极地看某件事，因为那件事会记录在你的视觉皮层中。任何你感知到的物体都会在你的视觉皮层中引起特定的反应。这种神经反应在脑电图中反映为一种独特的波动。你的视觉皮层不仅接收来自眼睛的信息，它还放大了神经元对你有意注意的特征的放电。NextMind 目前由 15 人组成，分布在软件、机器学习、硬件和游戏开发等领域。
“我们非常了解大脑是如何工作的，尤其是视觉意识、知觉和注意力是如何工作的。这让我们发明了一种新的方法我们称之为数字神经同步。我们把注意力作为主要控制者，当你对某件事有不同的关注时，你就会产生这样做的注意。我们不解码意图本身，但我们解码意图的输出。”
当你环顾四周，更多地关注一个物体时，“你的决定将会放大这个信息，”Kouider 继续说。“然后我们知道你想要移动特定的内容或激活特定的视觉内容。由于物体和你的大脑之间存在着神经同步，他们之间有共鸣。你越集中注意力，共振就会增加，机器学习解码也会增加。”
这就是为什么 Kouider 不想让你称他的设备为眼动仪，因为眼睛追踪器不测量意图。这时 Kouider 举起一个杯子，当我看着他时，他不知道我是在看他的脸还是在看镜子。但如果我戴了 NextMind 设备，它就可以分辨出我在看他的脸还是在看镜子。
“我们在解码你周围看到的东西，但它不像眼动仪。它就像你的视觉焦点。我们正在把我们的第一个产品推向市场，这是第一个实时大脑计算机接口。”
当你闭上眼睛时，NextMind 的设备无法工作，但未来的版本可以。NextMind 在两条轨道上并行工作。视觉意图只是第一个轨道。
“第二步是解码视觉想象，”Kouider 说。“结果表明，视觉皮层既是你从外部世界接收信息的输入区域，也是你的记忆、想象力和梦想的输出区域。视觉皮层中产生视觉意识的神经元与处理外部世界信息的神经元相同。”
这并不需要一个不同的设备，Kouider 声称。这两个轨道将可在同一硬件上串联使用。不同的软件和算法将简单地处理不同的任务。
“在接受信息和想象这两个极端之间，是视觉注意力，”他继续说。“事实是，你可以控制你在看什么，是我，还是我的脸。你可以增强一些特定于这个的神经元，因为视觉注意力是自上而下的，所以它是由其他大脑区域控制的，比如前额叶皮层。它被用来增强一些非常有选择性的神经元，这就是我们正在解码的东西。”
该设备
在 2017 年 9 月创立 NextMind 之前，Kouider 是认知神经科学教授。他在《科学与自然》上发表了关于视觉意识和大脑的论文。他的研究主要集中在那些不能说话或表达自己想法的人身上。他的实验室表明，婴儿对周围的事物有意识，人们可以通过听觉内容在睡着时学习，在积累了非侵入性解码神经信号的专业知识之后，Kouider 想要构建一个能够实时完成所有这些工作的产品。
“当我们做科学研究时，做了很多试验，并对他们离线进行分析。”NextMind 的目标其实是做同样的事情——从视觉皮层解码视觉意识，但要实时解码。通过实时操作，我们可以进行脑-机交互。我们的目标是让它大众化，也就是说，我们希望能够使用来自大脑皮层的信息，来解码它，并让你在与任何显示的互动中使用它。”
NextMind 的设备重约 60 克，有八个电极可以测量你的大脑活动。最终选定了 8 个电极，因为这是不会丢失任何潜在数据的最小数量。佩戴电极并不是很舒服，但一种更小的、电极可能更少的设计已经在进行中。这里真正的突破是用于电极本身的材料，为机器学习算法捕捉更多的数据。
“在这里，我们确实面临着一个机器学习的问题，”Kouider 说。“它促使我们首先在这种敏感性更好的新材料上进行创新。它基本上就像脑电图，但这使我们的信噪比比临床脑电图提高了 4 倍，除了避免任何凝胶。如果你在医院做了脑电图，你需要凝胶。每个电极上都有一个微芯片。我们直接处理模拟信息。
电极形状像梳子，所以它们可以穿过你的头发，到达你的头皮，获得良好的信号。
“它应该马上就能工作，但这就像第一次使用鼠标一样，”Kouider 说。“所以你需要慢慢地学习才能感觉到大脑的活动。”
在我使用这个与笔记本电脑相连的设备之前，我必须先把它固定在一个地方，以便 NextMind 的软件能够确定它接收到了高质量的信号，然后我必须通过校准和训练来建立我的神经剖面模型。这主要包括聚焦在三个绿色的线，移动到一起形成一个三角形。这个三角形会出现在屏幕上不同的物体上。几分钟后，NextMind 生成了大约 1 至 10 兆字节的数据，这些数据代表了我的神经特征。在校准过程中，为了得到一个好的模型，我被要求保持静止不说话，否则，演示不会很有趣。
演示
我尝试的第一个用例是 NextMind 以前展示过的一个电视演示。使用 NextMind 的设备，我们可以通过聚焦自定义电视用户界面各个区域的绿色三角形来控制电视。我可以改变频道，播放或暂停内容，静音或不静音声音，把注意力集中在相应的绿色三角形上。
第二个演示是一个平台游戏，我控制了一个小立方体。我有一个移动和跳跃的操纵杆，但我可以通过集中注意力来射击敌人和推物体。只要屏幕上出现一个绿色的三角形，我就会集中注意力，用我的大脑来执行一个动作。
第三个演示让我输入一个四位数的数字。一个接一个地专注于每一个数字是一个缓慢的过程( Kouider 后来证明他可以做得更快，因为他有更多的练习)。
第四款是经典游戏《猎鸭》的改良版。使用我的视觉注意力比使用枪支控制器容易得多。事实上，它是如此的简单，以至于我试图通过用眼角的余光看鸭子来让它变得更难。“只要它最终进入你的视觉皮层，原则上它就应该是可解码的，”Kouider 说。虽然慢了些，但还是管用。
我摘下眼镜。我看不到任何一只鸭子上的绿色三角形。“当然，这不仅仅是关于三角形，”Kouider 说。“三角形只是焦点。“不戴眼镜，有时候会杀错人。这是因为该系统使用一个证据累加器。有时它太自由了，会得出结论说你把注意力放在了错误的对象上。
在第五个演示中，我可以改变一盏灯的颜色，这是迄今为止最有趣的。但首先，这需要重新校准。在训练过程中，我必须专注于其中一个颜色块，然后我可以通过专注于每个相应的块实时切换灯的颜色。
很容易想象这是如何在第二轨道工作。开发人员可以拍一张灯的照片，在上面添加一个着色器，并在图像上附加一个动作(比如改变物理灯的光颜色)。有一天，NextMind 设备的用户可能自己就能做到这一点，然后只需想象他们拍下的照片。剩下的就交给软件了。
它是如何工作的
这里的窍门是 NextMind 的设备不仅能检测到颜色的不同，还能检测到代表每种颜色的小块。在视频中你们看不清楚的是每个方块上都有不同的图案，这就是设备在我的视觉皮层中解码的东西。因此，色盲的人理论上也可以做这个演示。“视觉皮层包含形状、方向、边界、颜色和运动的信息，”Kouider 解释说。
电视应用程序也是如此。在显示绿色三角形的每个用户界面按钮的背景中都有小颗粒。对于 pin pad 的演示也是如此。这些颗粒以不同的频率缓慢地出现和消失。每个数字都有不同的时间模式。“我们知道你的大脑与 5 个，而不是 6 个或 4 个大脑是同步的，因为基本上它优先响应那个特定的模式，”Kouider 说。
“我相信很快就会有一天，我们甚至能够自己解码形状。你不需要颜色，也不需要图案。”
为什么不呢?“这种模式正在帮助我们。我的意思是，你的大脑会这样做。它可以区分 5 和 4 。所以，如果你的大脑能做到这一点，就意味着信息就在那里。”
简而言之，NextMind 将这种模式保留下来，以便更快地积累证据。不过，你最终还是可以随心所欲地向前倾或向外倾。
“也许不是 SDK 版本 1 ，但你可以集中，你也可以决定不做任何事。你可以自己决定要按多少。这有点像把手指放在键盘上，但不按。”
演示绝不是完美的，但在我的脑海中，毫无疑问技术是有效的。也就是说，NextMind 仍在排除各种障碍，并致力于改进其硬件、软件和机器学习。
“我们改进了硬件。我们改进了机器学习，就像我们使用的深度神经网络。它在认知方面做了很多改进，比如如何更好地集中你的注意力，哪种信息需要你的注意力，如果你想让它闪烁，你大脑的优先频率是多少?诸如此类的事情。”
Kouider 说他的团队花费了大量的时间和精力来开发认知技巧。构建更快、更高效的机器学习是等式的一部分，但找出创造性的方法和捷径以获得预期的结果也是等式的一部分。但这两个都不是最大的障碍。
“目前的主要限制是硬件。但这不仅是我们的问题，也是任何成像的问题。你不会想给人做核磁共振，因为它的分辨率要高得多，但时间分辨率却很低。”
就像任何一家机器学习初创公司都会告诉你的那样——最终是你的数据限制了你能走多远。
虚拟现实演示
NextMind 设计了它的设备，因此你可以简单地将它夹在 Oculus VR 头盔的后面。这款产品效果非常好，以至于该公司在本周的 CES 2020 上获得了两个奖项:“ VR/AR 领域的最佳创新”和“可穿戴技术荣誉”。“基于我尝试的演示，这些胜利并不让我感到惊讶。
图片来源：VB 所有者：VB
我还参加了另一场 VR 演示的训练，内容是聚焦于外星人大脑的中心来引爆它们。同样，在校准过程中不能说话。校准的时间最终会缩短，因为系统会实时估计模型的置信度，当模型达到要求时就会停止。
Kouider 指出，在 VR 中，分辨率并不高，所以你可以通过集中视觉注意力来采取行动的对象必须更大。就像在猎鸭游戏中，有时我看着一个敌人，另一个就会爆炸。当分辨率较差且屏幕上有多个敌人时，证据累加器的工作就比较棘手了。这次没有绿色的三角形，但有很多闪烁。
“眨眼本身并不重要，”Kouider 说。他说:“显示屏必须做出改变。例如，可能是颜色的变化。你的大脑必须处理新的信息。我们需要产生一种神经反应。”
另一个我可以引爆的物体是一个桶，但它的形状和外星人的大脑不一样。但它在眨眼。Kouider 暗示，当你在游戏中进步时，会发生某种形式的转移学习。
“不要认为这只是一个独立的设备，”Kouider 说。“这是一个方法。对于想要玩 AR 或 VR 的人来说，这是一种额外的方式。”
现实用例
同样，NextMind 的所有演示都是有效的。你感觉一切都在你的掌控之中。“这还不是完全的控制，”Kouider 说。“这就是我们努力的方向。这将很快发生。”
不过，到目前为止，这里没有什么是你不能用你的手或其他设备来做得更快的。正在寻找一个杀手用例。因此，该公司提供开发工具包有两个原因。首先是获取更多的数据来改进其机器学习算法。其次，NextMind 希望开发人员尝试新的用例。
Kouider 列举了一些与开发商、投资者和潜在合作伙伴讨论后得出的结论。最令人惊讶的是，NextMind 引起了自动驾驶汽车制造商的兴趣。他们设想将电极直接插入汽车座椅。如果没有方向盘，你不需要把手放在任何地方，也许乘客可以靠在座位上控制汽车的功能。没有必要把你的手放在任何地方或穿任何特别的东西。
然后是增强现实。VR 已经走得更远了，所以从那里开始是有意义的。但是，如果这种脑电图技术可以被植入一副眼镜后面的带子里呢?“AR 眼镜即将问世，”Kouider 说。“因此，有了一个更小的版本，它将成为一个潜在的用例。这是一个额外的形式。你可以用手势，也可以用眼神追踪。”
Kouider 提到的另一个用例是神经监测。假设你是一名飞行员，警报响了，表示出了问题。你没有看到它，没有注意到它，没有处理它。如果设备检测到你在五秒内没有确认警报，它可以调整警报——例如，让它更可见。神经监测可以用来验证某人是否在注意一套指令。
“但对我们来说，重要的是控制，而不是监控，因为我们想让算法尽可能快。”另外，神经监测并不能测量人的意图，这一点可以说要有趣得多。
“真正的主要成就是首次实现了大脑的实时交互，”Kouider 说。“但我真的认为，在三、四年后，我将能够闭上眼睛，想象我的妻子或孩子。理论上它是可行的，只是信号的问题。因为我们知道大脑是如何工作的，但是实时操作，真的很难。”雷锋网雷锋网雷锋网(公众号：雷锋网)
编译自 VB