在一阵惊险而刺激的狂奔后，他终于和这位试图抓住他的诡异无脸人发生了对话，无脸人一边说着，画面下方一边滑过了同步的字幕。这本该是出现在恐怖电影中的场景，但其实是他的梦境。没错，他为自己的梦配上了清晰可见的字幕。
撰文 | 不周
审校 | clefable
想象一行字“我是神奇的脑内弹幕啊！”正飘浮在空中。如果你尝试过，可能会发现这并不容易做到。多数人都需要用力地想象这些字的“脸”，而后再费心精雕细琢一番，否则这行字很容易就变成一团模糊的字块，难以辨认。
但如果你不费吹灰之力就能想象出来，甚至在生活中也经常会在脑海里看到一行连贯的字幕滚动过去，那么你很可能和上文提到的会为梦境配字幕的人一样，拥有少见的字幕联觉（synesthesia）。通常情况下，我们在接收一种感官信息时，只会体验到一种知觉，而所谓联觉则是指不同知觉会跨越感官相互连通，比如听到颜色或是品尝到形状等。
早在 19 世纪，科学家就惊讶地发现有人认为字母或数字是有特定颜色的。但当时多数人都将联觉看作一种幻想，或者是格外擅长比喻，而非真实的感觉体验。直到 20 世纪，科学家才通过系统性的实验证实了联觉的真实性。
在众多感官交叉 —— 比如字素与颜色、词汇与味觉、乐曲与画面等 —— 带来的各种各样奇幻的联觉体验中，字幕联觉虽然是听觉与视觉的“平凡”交融，却好像并不那么常见。1883 年，查尔斯・达尔文（Charles Darwin）的表兄弗朗西斯・高尔顿（Francis Galton）观察到，一些人会在脑内将对话者讲话的内容形象化，“有些人在脑海中会看到对话者说出的每一个字在一条长长的纸条上滚动浮现，就像是自动收报机上展开的纸条一样。”也因此，字幕联觉常被叫做自动收报机联觉（ticker tape synesthesia，TTS）。
原来我是特别的
一直以来，有关 TTS 的实证研究并不多。它很容易被归类到联觉这个广泛的标签下，并且不如其他多数联觉那样奇特，引人注意。“但 TTS 这种现象远远超出了轶事的范畴，它能帮助我们更好地理解大脑处理书面语言的神经机制，”法国巴黎大脑研究所（Paris Brain Institute）的博士生法比安・奥夫（Fabien Hauw）表示。
奥夫与神经心理学家洛朗・科昂（Laurent Cohen）的研究团队一同调查了 26 位具有 TTS 的志愿者，首次系统性地收集了 TTS 的视觉和字幕出现的时间特征、触发机制、是否能主动控制和如何处理干扰性语音信息等数据。这项研究于 2022 年 12 月发表在 Cortex 期刊上。
由于 TTS，或者说多数联觉是主观性的体验，从众多志愿者中找出联觉者是极具挑战性的，因为有时候他们根本意识不到自己是特殊的。更有趣的是，“最终被招募参与研究的志愿者中，有几位是通过招募的海报信息才意识到，并非每个人自带内置字幕，”科昂笑着说。有关 TTS 在人群中出现的概率，由于抽样偏差，不同研究得出的结论各有不同，至今未能有定论，只是大概估计为百分之几的概率。（研究人员表示此前研究得出的结论 —— 人群中出现 TTS 的概率为 7%—— 肯定是高估的。）
世界是怎样的电影呢？
为了深入了解 TTS，科昂的团队为志愿者设置了一份详尽的调查问卷，从多个维度收集了他们的主观感受。首先他们需要确定 TTS 会在何时出现，志愿者是何时以及如何意识到它不常见的。在较为粗略的概念里，TTS 是由外部语音触发的，那么它可以由自己的语言触发吗？情感以及性别等听觉参数是否会影响 TTS 的感知？联觉者对这种现象自我控制的程度如何？
TTS 的本质是一种生动的心理视觉图像。因此研究人员也想探究志愿者是在自己脑海中感知到字幕，还是会像虚拟现实的画面一样 —— 将字幕投射到外界？字幕出现的位置是固定的吗？它们多用大写字母还是小写字母（这项研究的对象是母语为法语的志愿者），是否有颜色等等问题。
同时，听觉上语音感知与字幕出现之间是否有延迟，以及语音停止后字幕持续的时间，TTS 是否会被外语、新词以及不同类别的非言语声音（如打喷嚏，喵喵叫或铃声）触发，以及 TTS 对日常生活的影响，这些也都是研究人员试图理清的问题。
针对 TTS 的触发机制，研究人员额外使用了听觉刺激用来辅助评估。他们从一个开放的语音库中选择了多种类型的声音，比如同音词（类似杂志与杂质）、错音词（类似杂志与咱志）、假词（与真词相对，符合语音但不符合语义的词汇，如冰箱与冰仙）, 以及动物叫声、汽车引擎声等非言语性的语音，将它们依次播放给志愿者听，并让他们写下可能诱发的任何字幕。
随时随地，无法自控
研究人员通过整理收集到的内容发现，19 名志愿者（73%）报告从记事起（约 8 岁）或自识字起（约 11 岁）就一直具有 TTS，这说明具有初步的读写能力是 TTS 出现的先决条件。对于联觉者而言，TTS 具有明显的优势 —— 能帮他们更快地学会正确拼写单词。此前一项研究也表明，10~11 岁的 TTS 联觉者相比其他同龄的儿童，能更好地表达和学习新词汇，这显示了 TTS 带来的语言学习优势。但与之相对的，他们在拥挤嘈杂的环境下，很难将注意力集中在单个对话者身上。约一半的志愿者都认为 TTS 既带来了优势，也造成了障碍。
有 18 位志愿者表示 TTS 是一种自动发生的现象，他们几乎无法控制。所有志愿者在听到和观看别人说话时，都会触发 TTS。而在多数情况下，即使说话者远离他们的视线范围，或是志愿者自己公开说话，甚至是隐蔽的内心独白，TTS 也仍会发生。内部的语音并不存在真实的声学过程，但它与外部语音过程一样都能激活 TTS，这可能揭示了 TTS 中存在的脑区共同激活模式，但仍有待进一步探索。
然而，也有志愿者报告自己讲话时或者视野之外的人讲话的声音没有触发 TTS。对此，研究人员认为这两种情况是源于志愿者的注意力并未集中在输入的语音上：视野外的说话者通常是无关紧要的，本应被过滤掉；而与人对话时，自己关注的更多是交流的意图，而非自己的语音内容。这很可能会导致触发 TTS 的概率降低。
而另一种解释则认为这种现象与唇读受阻存在紧密联系。上述这两种情况都无法从视觉上辅助志愿者阅读单词。由此，也有研究人员认为 TTS 的生成或许不仅与听觉上的语音学相关，可能也与视觉上对面部的感知有关。
为猫猫叫配上“喵”
在研究 TTS 的触发机制时，最常见的心理词典 —— 存储在记忆中的词汇库就像是保存在人脑中的一部词典 —— 中的真词（具有语音和语义），很自然地会触发 TTS。但研究人员同时也发现，假词（只有语音没有语义）甚至非言语的声音也可能触发 TTS。
一位志愿者讲述道，有一只小鸟常常清晨在他的花园里唱歌。几天后，他将这首歌翻译成了象声词。从那时起，每当小鸟唱歌，就会在他脑海里触发一串拟声词字幕。这种情况也类似于外语对 TTS 的刺激，虽然这些语音可能会失去了原来的语义，但仍可通过语音编码而被收入他们脑海的“词库”中。
这一过程其实也揭示了语言学习的过程。从语言学上讲，语音（phonology，词汇以抽象的语音形式编码在心理词典中）与正字法（orthography，规范字词的形体和使用规则，因此有真词和假词，正字和错字的概念，包括汉语在内的多数语言都会在正字法包含语音结构的某些信息）都能结合对语义的理解，增进读写能力。
在受不同非言语性语音刺激的志愿者反馈的字幕中，研究人员能清晰地辨认出语音转为正字法的编码路径，比如在所有志愿者中，熟悉的猫猫叫声几乎都会触发拟声词“喵~”（法语中则是“MIAOU”），但对于不太熟悉的公鸡叫声，只有少部分人触发了“HUHUHU”；而一些声音触发的则不是拟声词，而是产生噪音的物体的名称，比如枪声引起志愿者想到的更多是“枪”（“GUN”）或“枪击”(“GUNSHOT”)。
在 2022 年的一项 TTS 磁共振成像（MRI）研究中，他们发现相比于对照组，当联觉者听一段独白时，左半球负责语音分析的区域和涉及拼写的特定区域 —— 视觉词形加工区（Visual Word Form Area，VFWA）会被更强烈地激活，这与阅读时激活的脑区相同。与普通人将书面文字翻译成语音相对的是，TTS 联觉者是自动地将语音转换为书面文字，也就是说，TTS 更像是一种颠倒的阅读形式。
重在参与的字幕
有趣的是，志愿者在阅读或者观看电影期间，TTS 也会一定程度地参与其中。在安静的地方阅读时，约一半的志愿者表示他们只会看到印刷的文本，而另一半则会在文本之上看到相同版本的联觉版本。比较痛苦的情况是，如果有人在一边说话，88% 的志愿者都表示这会导致说话者的语音字幕入侵书面文本，“污染”了它。
相似的，看带字幕的电影时，一半的志愿者既能看到电影字幕，也能看到演员说话时的联觉版二级字幕。少数志愿者还报告说，他们会在梦中也能看到字幕。某种程度上，这也算是为他们的梦添加了电影的维度。
在这些志愿者的描述中，联觉字幕出现的形式也极为丰富。18 位志愿者会在脑海中看到字幕，有两位则是将字幕投射到外部世界中，剩下的人表示可以自由切换。而他们的字幕出现的位置也会有所差异，有人的字幕会根据声源方向向左或向右移动，有些人的字幕会像漫画的气泡一样靠近说话者的嘴，有人则是与电影字幕位置相似，像提词器一样滚动。
不同志愿者看到字幕的颜色、字体以及字号都有所不同。有志愿者表示，“当我感动时，字母会有些模糊或摇晃”、“情绪激烈时，单词会变大”、“声音越大、单词越大”，在听到音乐中的歌词时，“单词似乎会随着旋律起伏”等。事实上，他们有些人并不止有 TTS 联觉，有些人还会有诸如时空联觉、声音颜色、绝对音准等不止一种的联觉体验。
TTS 联觉是如此特殊，触发它的语音和出现的文字图像都是语言表征，它也因此为我们理解人类的阅读机制提供了一个非常特殊的视角。
不过联觉本身并没有那么稀奇，很多人在听到一首歌或是闻到某种气味时，会感到好像回到了某段记忆里，这本质上也是一种联觉。而人类强大的想象力应用在文学创作中，便有了所谓通感的修辞手法。
在《礼记・乐记》中，“故歌者，上如抗，下如队，曲如折，止如槀木，倨中矩，句中钩，累累乎端如贯珠”就讲述了音乐不仅悦耳，更能通过听觉与人的触觉、视觉和情绪沟通。
如果你也想更有代入感的体验联觉通感，不如听听用音乐描绘图画的《图画展览会》钢琴组曲。
参考链接：
-
https://doi.org/10.1016/j.cortex.2022.11.005
-
https://www.tandfonline.com/doi/full/10.1080/17588928.2015.1048209
-
https://www.eurekalert.org/news-releases/978603
本文来自微信公众号：环球科学 （ID：huanqiukexue）