当我们阅读外语时我们在阅读什么?

出品:科学大院

作者:袁杰(中国科学院心理研究所)

监制:中国科学院计算机网络信息中心中国科普博览

编者按

在世界已然成为地球村的这个时代,我们绝大多数人都需要学习或正在学习至少一门外语,虽然我们无法像《降临》中的女主角一样,因为学习了一门外(星)语便可以预知未来,但阅读外语的过程中,我们的大脑确实发生着许多有趣而丰富的故事。

电影《降临》截图

语言学家路易斯在与外星人七肢桶(heptapods)的接触中,学会了七肢桶的非线性文字与语言,因此像七肢桶一样,拥有了预知未来的能力。——这是美国著名华裔科幻作家特德·蒋(Ted Chiang)的巅峰之作《你一生的故事》(Story of Your Life),以及据其改编的好莱坞电影《降临》(Arrival)中的故事。

在故事中,路易斯预知到了她悲剧性的未来——她的丈夫会离她而去,她的女儿也会因罕见病先她而去,但是,她却无法改变这未来;路易斯挣扎之后的选择是拥抱她悲剧性的未来,这也正是这个故事的魅力所在。

另一位作家在课堂上讲授特德·蒋的这部作品时,向学生们提出了一个问题:如果有可能的话,是否愿意学习七肢桶的语言并拥有这种能力?结果,大部分学生的回答是:不愿意,因为这种能力只能预知未来却不能改变未来。

幸好我们学习的外语不是七肢桶的语言(我们绝大多数人学习的是英语),所以我们不必面对路易斯所面临的艰难选择。那么,当我们阅读外语时我们在阅读什么呢?阅读外语时,我们是直接用外语思考呢,还是会将其翻译成母语?如果翻译的话,我们翻译的是语言的哪些部分?我们的大脑会如何处理外语中的情绪呢?

这其实是认知心理学领域的重要命题。中国青年心理学家吴燕京在英国威尔士班戈大学(University of Wales, Bangor)学习心理学时,也曾问过类似的问题。

在正式揭开上述谜底之前,我们先来认识一个认知心理学上的重要概念——N400成分。

N400,语义加工与启动效应

在研究语言加工时,心理学家们给志愿者连续呈现一组一组的词对,让他们判断每组词对中相继呈现的两个词语在语义上是否相关;与此同时,在志愿者完成这项行为判断任务时,研究者们会通过脑电帽在头皮外记录他们完成任务过程中的脑电波(EEG)。

既然任务是判断词对是否语义相关,那么实验自然包含两种条件,语义相关条件(比如,“妻子”与“丈夫”)与语义不相关条件(比如,“苹果”与“桌子”)。也有研究者在句子中去操控这两个条件,比如“小明吃了苹果”属于语义正常条件,“小明吃了桌子”则属于语义违反条件。

研究者通过脑电波分析方法,分别将两种条件中所有词对的第二个词(或者句子中操控的关键词)对应的脑电波进行叠加平均,发现两种条件的脑电波在第二个词呈现大约400毫秒(0.4秒)之后都出现了一个负走向的波,即N400。

负波的英文名称为Negativity,组合400毫秒的时间窗口,该成分被命名为N400。

更为重要的是,研究者们发现语义不相关条件诱发的N400波幅比语义相关条件诱发的N400波幅更大(如下图所示)。

喇叭右侧是以声音形式播放的两种条件的句子,“约翰晚餐吃了西兰花”属于语义正常条件(黑线),“约翰晚餐吃了民主”则属于语义违反条件(红线)。左侧为戴在志愿者头顶的脑电帽,采集到的EEG数据经过放大器与数据处理,得到中央的N400成分波形图,右侧为N400效应在大脑头皮上的分布图,颜色越深代表N400效应越大。中央的蓝色竖线为关键词的起始点,横轴为时间,单位为毫秒;纵轴为脑电波的电压值,单位为微伏。心理学家们大多习惯将负值朝上,正值朝下。这种方法被称为事件相关电位(ERP)。

这一结果表明,志愿者们在看到词对的第二个词400毫秒之后,就完成了对语义相关条件与语义不相关条件的区分——语义的违反诱发了大脑更强的神经反应;换言之,我们的大脑阅读词汇时,在400毫秒左右就完成了语义加工的任务,获知了词语的语义信息。

采用类似的方法,心理学家们还发现我们的大脑在170毫秒左右完成了人脸加工的任务(N170),在600毫秒左右完成了语法加工的任务(P600,600毫秒左右出现的正波)。

N400成分除了与语义加工有关,还被发现与无意识的启动效应有关。一组词对中的两个词语如果完全相同,第一个词语的出现会促进人们对第二个词语的加工,这种促进效应就被称为启动效应。

好了,介绍完相关概念后,我们进入正题。

阅读外语时,母语对我们做了什么?

当我们阅读外语时我们是否会将它翻译成母语?熟练掌握一门外语的双语者在阅读外语时,是像电影《中国合伙人》教给学生的那样直接“用英语思考”,还是会受到母语无法磨灭的影响呢?

这是吴燕京问的第一个学术问题,同时也是心理学界一直存在争论的一个问题。吴燕京在其导师纪尧姆·蒂埃里(Guillaume Thierry)教授的指导下,开始了对这个问题漫长的探索之旅。

吴燕京想到了一个十分精巧的实验方法来研究这个问题。他正是在上面我们介绍的与N400成分有关的这两项心理加工过程的基础上,设计出了他的实验方法。

像经典的N400实验一样,他给在英国留学的中国留学生志愿者观看一组一组的英文词对,同时记录他们的脑电波。志愿者们需要完成的任务也是判断词对的语义是否相关。

由于这个任务是告知了志愿者的,显露在外,因此被称为外显任务。吴燕京的实验方法精巧之处在于,他还设计了一个内隐的因素,也就是志愿者不知道的因素。这个因素就是英文词对中的两个词语翻译成中文后,是否包含相同的汉字。

比如,Post-Mail(邮政-邮件)与Wife-Husband(妻子-丈夫)词对都属于语义相关条件,Train-Ham(火车-火腿)与Apple-Table(苹果-桌子)词对都属于语义不相关条件。同时,Post-Mail与Train-Ham翻译成中文后都分别共享一个汉字(邮与火),Wife-Husband与Apple-Table翻译成中文后则都没有共享的汉字。

当然,有人可能会说,Wife-Husband也可以翻译成“老婆-老公”呀,这样就共享一个“老”字了。这是个好问题,翻译的确不是唯一的;不过由于每种条件都包含40组这样的词对,这种个别的特殊情况通常对平均的实验结果影响甚微。此外,该实验还包含英语单语者志愿者作为对照组,他们毫无中文学习经验。

而关于对实验结果的预期,首先语义相关性这个外显因素的经典N400效应必须出现,那就是相比语义相关条件,语义不相关条件诱发的N400成分波幅要更大,否则就说明实验的基本操控是失败的。实验预期中更关键的是,“翻译成中文后是否有汉字重复”这个内隐因素是否也会出现N400效应。

如果熟练双语者在阅读外语词语时,不会将词语翻译成中文,而是直接“用英语思考”,那么英文词对翻译成中文后有汉字重复与没有汉字重复这两种条件应该在N400成分上没有区别,因为双语者不将其翻译成中文,所以这个内隐因素的操控就应该是无效的。

但是,如果熟练双语者在阅读外语词语时,会同时将词语翻译成母语,那么英文词对翻译成中文后有汉字重复(简称汉字重复条件)与没有汉字重复(简称无汉字重复条件)这两种条件就应该在N400成分上产生差异了,也就是应该产生启动效应。像语义无关条件一样,无汉字重复条件将应该比汉字重复条件诱发波幅更大的N400成分。

情况都介绍清楚了,那么,最终的实验结果究竟是怎样的呢?

首先,实验在双语者中发现了外显因素语义相关性的N400效应,说明实验的操控是有效的。

但是遗憾的是,在总体上该实验没有发现内隐因素汉字重复性的N400效应。不过,研究还是发现了部分的效应,那就是在特定情况下无汉字重复条件与汉字重复条件在N400成分上出现了差异。

具体而言,当英文词对语义相关时,翻译成中文后有无汉字重复在N400成分上没有差异,也就是英文词对没有被翻译成中文,比如“Post-Mail”与“Wife-Husband”;只有在英文词对语义不相关时,有无汉字重复才出现了差异,比如“Train-Ham”(火车-火腿)与“Apple-Table”。

这个差异主要表现在类似“Train-Ham”的条件N400波幅最大,因为这些语义无关但翻译成中文后却又有重复汉字的词对让双语志愿者的大脑甚是疑惑,于是产生了最大的N400神经反应。

这一结果部分地回答了吴燕京提出的问题,那就是在特定条件下,熟练双语者会在阅读外语时将其翻译成母语,而在有的条件下母语并未在阅读外语时被激活。

这个结果虽然不那么尽如人意,但是也同样具有学术价值;2004年,这项研究的论文发表在学术期刊《神经报告》(NeuroReport)上。

这并不是故事的结束,恰恰相反,好戏才刚刚开始。

吴燕京没有止步于此,他相信双语者阅读外语时会激活母语,而且无需依赖特定的条件;他同样相信,经过努力,自己可以用实验证据证明这一点。

阅读外语时,母语的影响是普遍的还是特殊的?

认知心理学的精髓在于实验操控,没有得到预期的实验结果,原因很可能是实验操控不够精细。作为第一项研究,实验操控存在这样或那样的问题,几乎在所难免。

吴燕京一一找出了这些不够精细的地方。具体而言,实验材料的选取主要存在三个问题:英文词对的词性不统一,既有实词也有抽象词,比如,Novel-Violin(小说-小提琴);汉字重复条件的某些词对翻译成中文后重复汉字出现的位置不一致,重复汉字可能出现在一个词的词首,却出现在另一个词的词尾;英文词对中的词语翻译成中文后词长不固定,比如,小说-小提琴,词语既有两个字的也有三个字的。

针对这三个问题,吴燕京重新选取了一批实验材料,保证所有词对的词性一致,都是实词;保证英文词对翻译成中文后重复汉字出现的位置一致,要么都在词首,要么都在词尾;保证英文词对翻译成中文后词长一致,都是双字词。

此外,吴燕京还将每个条件中的词对数量从40组增加到50组;而且新的研究既包含视觉版,还包含听觉版。更为重要的是,新研究还包含了一组中文单语者志愿者作为对照组,给他们呈现的实验材料不再是英文词对,而是翻译成中文之后的中文词对。

果然,新的研究在双语者中既发现了外显因素语义相关性的N400效应,也发现了内隐因素汉字重复性的N400效应。

该研究结果表明,熟练双语者阅读外语时会激活母语,而且不依赖于特定的条件。同时,由于志愿者的行为反应数据并未发现内隐因素的效应,该效应仅出现在脑电波数据中,因此双语者阅读外语时将其翻译成母语的过程是无意识的。

志愿者的主观意识是不知晓这个翻译过程的,于是吴燕京将这个过程称为“无意识翻译”。换言之,新的研究不仅回答了我们阅读外语时是否会将其翻译成母语这个问题,而且还超乎预期——新研究不仅发现会翻译成母语,而且翻译的过程是无意识的。

2007年,新研究的论文以封面文章的形式发表在著名的期刊《美国科学院院刊》(PNAS)上。

阅读外语时,我们翻译成母语的究竟是什么?

近乎完美地回答了第一个问题之后,吴燕京继续提出了第二个问题。我们阅读文字时,会看到文字的字形,会获知文字的语义,还会知晓文字的读音。那么,既然我们阅读外语时会将其翻译成母语,我们翻译的究竟是语言的哪一部分呢?是字形,是语义,还是语音呢?吴燕京继续“打破砂锅问到底”。

他在上述实验方法的基础上,对实验设计进行了调整,将上述两项研究铸就的利箭一分为三,一箭三雕,分别瞄向字形、语义与语音。

当然,严格来说,应该还是一箭双雕,语义这个因素是需要排除在外的。因为无论是外语,还是母语,不同的语言只是形式,语义概念都是相同的;不管是Apple,还是苹果,指的都是亚当夏娃在伊甸园里偷吃的禁果,都是传说砸中牛顿脑袋的那个水果,都是传说毒死图灵的那枚毒果,都是乔布斯“咬”了一口的那个水果。

而且,对于双语者而言,语义是两种语言联接的结点,外语和母语都能激活这些语义结点;我们学习外语时,正是希望在字词句篇章等多个水平上夯实这些结点。

回到实验设计上来,吴燕京依然给熟练双语者呈现英文词对,依然让志愿者完成词对语义是否相关的外显任务,英文词对依然包含语义相关与语义无关两种条件,依然预期外显的语义相关性出现N400效应。

而且,语义相关条件仅仅只在语义上相关,翻译成中文后既无语音的重复,也无字形的重复,比如,Heaven-Hell(天堂-地狱);作为对照条件的语义无关条件则在以上所有因素上均不相关,比如,Sports-Wealth(体育-财富)。

这项研究的精彩之处在于,他还设计了两个内隐条件。一个内隐条件是英文词对翻译成中文后某个汉字读音相同(简称语音相同条件),而且也仅只读音相同,比如,Experience-Surprise(经验-惊讶);另一个内隐条件是英文词对翻译成中文后某个汉字共享字形(简称字形相同条件),而且仅只共享字形,比如,Accountant-Conference(会计-会议)。

值得提醒的是,这两个内隐条件中的词对都是语义无关的;因此,对于完成语义判断任务的志愿者而言,该研究中语义相关与语义无关的真正比例是1:3,而非前两项研究中的1:1。

语音相同条件与对照条件的对比,可以考察我们阅读外语时翻译到母语的是否是语音;字形相同条件与对照条件的对比,考察的是我们阅读外语时翻译到母语的是否是字形。如果这两个条件的N400波幅小于对照条件的波幅,则说明我们阅读外语时将语音或者字形翻译成了母语。

研究首先发现了外显的语义相关性的N400效应;更为重要的是,研究还发现语音相同条件诱发的N400波幅小于对照条件的N400波幅;而字形相同条件与对照条件在N400成分上却毫无差异。

结果表明,当我们阅读外语时我们翻译到母语的是语音。换言之,当我们阅读外语时我们在阅读什么?答案是,当我们阅读外语时我们同时听到了来自母语的召唤声。

2010年,这项研究的论文发表在神经科学领域的旗舰期刊《神经科学杂志》(The Journal of Neuroscience)上。

阅读外语时,我们如何处理不同的情绪?

以上三项研究选取的实验材料都是中性情绪的英文词汇,而人类的喜怒哀惧等丰富的情绪在几乎所有语言中都普遍存在。那么,我们阅读不同情绪的外语词汇并将其翻译成母语时,是会区别对待,还是一视同仁呢?

这是吴燕京问的第三个问题,他选取了三类最普遍的情绪,积极情绪,消极情绪,以及中性情绪。同样地,他这一次也对实验方法进行了微调。

不变的是,他依然给熟练双语者呈现英文词对,依然让志愿者完成词对语义是否相关的外显任务,英文词对依然包含语义相关与语义无关两种条件。一个变化在于,语义相关条件这次仅作为填充条件,比如,Love-Rose(爱情-玫瑰),但是不再参与实验分析;另一个重要的变化在于,除了作为对照条件的语义无关条件,比如,Weather-Gender(天气-性别),还包含积极情绪条件(Honesty-Program,诚实-程序)、消极情绪条件(Failure-Poet,失败-诗人),以及中性情绪条件(Aim- Carpenter,目标-木匠)。

不难发现,这三种情绪条件都是在上一项研究结论的基础上设计的,英文词对翻译成中文后都是语音相同;如果这些条件的N400波幅小于对照条件的波幅,则说明我们阅读外语时将相应条件的情绪词汇翻译成了母语。

三种情绪条件分别与对照条件进行对比,可以分别考察我们阅读外语并将其翻译成母语时对三种不同情绪词汇的翻译情况是否相同。研究发现积极情绪条件与中性情绪条件诱发的N400波幅都小于对照条件的N400波幅;而消极情绪条件与对照条件在N400成分上却毫无差异。

结果表明,当我们阅读外语时我们选择性地将积极情绪与中性情绪词汇翻译到了母语,而将消极情绪词汇挡在母语的门外,留在了外语世界里。

一方面,消极情绪,比如恐惧,对我们人类的生存与进化至关重要;但是,另一方面,消极情绪词汇,比如暴力,也会对我们产生消极的影响。

有研究发现,母语跟我们自身的心理距离更近,外语的心理距离更远。当各种情绪以外语呈现时,我们如果将消极情绪翻译成母语,那么消极情绪的影响就被扩大了;为了保护我们免受消极情绪的影响,我们的大脑自动地将消极情绪挡在了母语的门外,只将积极情绪与中性情绪请了进来。

2012年,这项研究的论文也发表在《神经科学杂志》。

这一发现也与我们的日常生活经验相吻合。有些人想说一些羞于启齿的话时,比如情话或者脏话,为了减轻这些话对自己造成太大的心理压力,他们选择用外语说出这些话,比如“I love you !”

该发现还与一项于2015年发表在《皮层》(Cortex)杂志上的研究具有逻辑上的一致性。

《皮层》的研究是让熟练掌握英语的德语志愿者阅读分别以德语和英语呈现的《哈利·波特》片段,同时采用功能性磁共振成像技术(fMRI)扫描志愿者的大脑神经活动。这些片段也分为积极、消极与中性三种情绪。

经典道德两难问题

该研究发现,志愿者以母语阅读《哈利·波特》片段时,相比中性情绪条件,快乐情绪条件激活了大脑的情绪加工网络,包括著名的杏仁核(amygdala);而在外语条件下,快乐情绪的激活消失了。

进一步的多体素模式识别(MVPA)分析发现,由母语内容激活的大脑信号训练的模型对三种不同情绪状态的分辨能力也比外语条件下的分辨能力更强。这种MVPA方法的另一个名字更著名,那就是“读心术”或者“读脑术”。

这项研究也支持了母语跟我们自身心理距离更近这一观点,我们的大脑对以母语呈现的小说中的积极情绪反应更强烈。

在吴燕京的最后一项研究中,如果双语者将消极情绪词汇翻译成母语,我们大脑的反应可能也很强烈;为了避免强烈的消极情绪可能造成的消极影响,在可以选择的情况下,我们的大脑将其拒之门外。

阅读外语时,我们的道德标准会变化吗?

一个经典的道德两难问题是,你站在铁轨上方的桥上,正在驶来的火车即将撞死铁轨上的5个人,而你身前有1个胖子;如果你将胖子一脚踹下去,胖子掉在铁轨上会挡住火车,牺牲1个人可以挽救5个人的生命。你愿意将胖子踹下去吗?

研究中发现,相比以母语提问,当以外语问这个问题时,志愿者选择“愿意”的比例更高。这是一个更实用主义,同时也更具道德争议性的选择,因为是你主动选择了牺牲胖子的生命。

换言之,该研究表明,在道德两难面前,外语让我们获得了更多的能动性,选择了更具道德压力的选项。

之所以如此,原因同样在于,外语离我们的心理距离更远,可以减弱实用主义选择对我们造成的道德压力。

而无论是本文开头处提到的外星人七肢桶的非线性语言,还是阅读双语《哈利·波特》的研究,抑或阅读双语道德两难问题的研究,包括吴燕京关于双语与情绪的研究,其实还在不同层面上支持了心理学和语言学领域中著名的“萨丕尔-沃尔夫假说”(Sapir–Whorf hypothesis)。

这个假说的加强版描述的是,我们所使用的语言会塑造我们的思维;弱化版的描述是,我们所使用的语言会影响我们的思维。

总之,可以说母语是故乡,感情太浓烈,让我们近乡情怯;而外语是远方,可供你在雪地里撒野。

从2000年起,每年2月21日,为国际母语日

参考文献:

Thierry, G., & Wu, Y. J. (2004). Electrophysiological evidence for language interference in late bilinguals. NeuroReport, 15(10), 1555-1558.

Thierry, G., & Wu, Y. J. (2007). Brain potentials reveal unconscious translation during foreign-language comprehension. Proceedings of the National Academy of Sciences, 104(30), 12530-12535.

Wu, Y. J., & Thierry, G. (2010). Chinese–english bilinguals reading english hear chinese. Journal of Neuroscience, 30(22), 7646-7651.

Wu, Y. J., & Thierry, G. (2012). How reading in a second language protects your heart. Journal of Neuroscience, 32(19), 6485-6489.

Hsu, C. T., Jacobs, A. M., & Conrad, M. (2015). Can Harry Potter still put a spell on us in a second language? An fMRI study on reading emotion-laden literature in late bilinguals. Cortex, 63, 282-295.

Costa, A., Foucart, A., Hayakawa, S., Aparici, M., Apesteguia, J., Heafner, J., & Keysar, B. (2014). Your morals depend on language. PloS one, 9(4), e94842.

(本文首发于科学大院,中科院心理所供稿)