语言学家认为，将不同音素抽象为同一音位的能力是人类语言系统的一个重要基础。然而，这一观点在近些年受到了挑战。

音位表征的争议：来自计算模型的挑战

随着神经科学和人工智能的发展，音位表征的心理现实性面临着越来越多的质疑。

一方面，神经科学研究发现，仅基于声学特征的编码模型就能很好地预测大脑对语音的响应，有时甚至与包含音位信息的模型表现相当。

这些发现引发了一个根本性问题：音位是否真的存在于人脑的语言系统中，还是仅仅是语言学家提出的一个便于理解的抽象概念？

利用声学-音位分歧探索音位表征

在即将介绍的这项研究中，研究者Mai等人巧妙地利用了语言中的声学-音位分歧(acoustic-phonemic divergence)现象来探索这一问题。

以美式英语中的writing和riding为例。在这两个词中，中间的辅音(writing中的/t/和riding中的/d/)在发音时都实现为拍音[ɾ]，在声学上几乎完全相同。然而，从底层音位的角度来看，writing中的拍音[r]源自/t/，而riding中的拍音[r]源自/d/。示例如下：

例词	底层音位	变体
writing	/t/	源自/t/的拍音[r] - 简称为“拍音/t/”
riding	/d/	源自/d/的拍音[r] - 简称为“拍音/d/”

对于这种现象，研究者提出以下假设：

首先，由于存在听觉加工的基本神经活动，我们应该会观察到表层声学响应的神经位点。在这些位点上，声学上相似的语音(例如在writing和riding中的拍音[ɾ])会引发相似的神经响应，无论其底层音位是/t/还是/d/。

与此同时，如果音位表征确实存在，我们应该还能额外观察到底层音位响应的神经位点。在这些位点上，神经响应模式反映的是音位信息而非声学信息。对writing中源自/t/的拍音[ɾ]的神经响应，会更接近/t/的其他变体(例如top中的[tʰ]和在stop中的[t]），而不是源自riding中/d/读音的拍音[ɾ]。

基于这种假设，研究者采用立体定向脑电图(sEEG)技术记录了十名接受癫痫治疗的患者在听自然英语对话时的神经活动(这些对话标注了时间和音素信息)，并采用一系列方法来分析他们的神经活动信号，以检验以上假设。

脑电图(EEG)和立体定向脑电图(sEEG)

EEG是一种非侵入性的技术，通过头皮电极记录大脑整体的电活动，安全简单但对深部结构敏感性低，定位精度有限。而sEEG是一种侵入性手术技术，通过在大脑深部植入电极，能更精确地记录深部电活动，尤其在定位癫痫灶方面具有优势，但同时也存在感染、出血等风险，且成本较高。简单来说，EEG是在头皮表面“听”大脑的声音，而sEEG则是直接在大脑内部“听”声音。

为了考察声学和音位信息加工在时空分布特征上是否不同，研究者采用了一种滑动窗口方差分析(ANOVA)的方法来探测对语音有不同响应模式的神经位点。

研究者将神经信号分解成δ、θ、α、β、γ和high-γ频率段，计算每个频段上信号的平均功率(power)，选取目标音素前100毫秒至后500毫秒的时段，并以目标音素前100毫秒内的数据为基线进行了z分数标准化处理。

神经电生理信号的频率和功率

大脑的神经电信号按照其振荡频率可以被分为δ(1-4Hz)、θ(4-7Hz)、α(8-12Hz)、β(13-30Hz)、γ(31-50Hz)和high-γ(70-150Hz)等频率段，不同频段可能对应着不同的认知功能。功率指的是某频率神经电信号振幅(amplitude)的平方，反映了该频率神经活动的强弱。

研究者使用了长度为100毫秒的时间窗口，每隔50毫秒滑动一次，使窗口之间有50%的重叠。对于每个频段中的每个时间窗口，研究者计算了单因素ANOVA，比较不同语音类型(例如表面[t]、源自/t/的拍音[ɾ]、源自/d/的拍音[ɾ])所引发的神经活动功率。按照神经响应的特性，可以找到两类神经位点：

表层声学位点

在某个频段的活动中，这类位点需要在至少一个时间窗口内满足以下三个条件：(1)表面[t]与拍音/t/之间有显著差异；(2)表面[t]与拍音/d/之间有显著差异； (3)拍音/t/与拍音/d/之间无显著差异。这种模式反映了纯粹的声学加工。

底层音位位点

这类位点在至少一个时间窗口内所需要满足的条件是：(1)拍音/d/与拍音/t/之间有显著差异；(2)拍音/d/与表面[t]之间有显著差异；(3)表面[t]与拍音/t/之间无显著差异。这种模式反映了底层音位信息的加工。

结果发现，平均有31个表层声学位点和190个底层音位位点，音位位点的数量明显超过了声学位点的数量。这说明音位的抽象加工可能在语音加工中起重要的作用。

此外，这种声学和音位位点的分布在各频段间存在差异。例如，在高频的high-γ频段中有80个声学位点和111个音位位点，而在低频的δ频段中则有16个声学位点和211个音位位点。这说明相比于高频神经活动，低频神经活动与音位加工有更强的联系。下图是声学位点和音位位点的一个例子：

左图(a)展示了参与者SD011的LSTGP6电极具有表层声学响应模式。可以看到，两种声学上相似的拍音(浅蓝色表示拍音/t/，橙色表示拍音/d/)诱发了相似的high-γ功率模式，而与/t/的表面发音[t](深蓝色)的响应有显著差异。这种模式表明该神经位点主要对表层声学特征敏感。相比之下，右图(b)展示的LAC1电极则呈现出典型的底层音位响应模式：表面[t]和拍音/t/引发相似的神经响应，而拍音/d/则产生显著不同的响应，在刺激后约0.3-0.4秒间表现为显著的high-γ功率降低。

线性混合效应模型分析：量化声学与音位特征的贡献

在确认了音位位点的存在后，研究者采用线性混合效应模型(LME)来量化声学特征与音位标签信息对神经活动的相对贡献。

研究者为每位被试在每个频段上的神经响应构建了三类LME模型：仅包含声学频谱特征作为固定效应的模型(s1)、仅包含音位标签特征的模型(p1)，以及同时包含两种特征的模型(s1p1)。随机效应包括电极通道和每个片段的说话者。

两类特征的构建方法如下：

声学频谱特征

研究者将录音转换成时间-频率表征的形式，即频谱图。对于某个时刻的神经活动(即一个sEEG的采样点)，研究者分析每个音位前512毫秒(分为64毫秒一段，共8段)期间的16个频段上的声学频谱特征，因此形成16个频率段乘以8个时间段的128维特征向量，作为LME模型的固定效应。

音位标签特征

研究者首先对所有语音材料进行了转录和分割，记录了每个音素的开始时间、结束时间和持续时间。基于这些时间标记，研究者为每个时间点构建了一个one-hot编码向量：当前音素对应的特征值设为1，其他音素特征值设为0。为了与声学频谱特征一一对齐，这些one-hot编码向量在相同的时间窗口(64毫秒)内进行了平均，平均后的向量值则表示了该时间窗口内特定音素出现的比例。

完整的分析流程如下图所示：

从图片的顶部开始，我们可以看到语音信息的三种表示形式：首先是原始波形(waveform)，即声音的物理振动；然后是频谱图(spectrogram)，即将声音分解为不同频率随时间变化的能量分布；最后是音位标签的转录(tranion)，即将声音映射到抽象的语言单位。研究者从这些信息中提取了三类特征用于分析，如中间部分所示：左侧的频谱特征(s1)捕捉了声音的声学属性，显示为黄蓝色调的热图；中间的混合特征(s1p1)结合了声学和音位信息；右侧的音位标签特征(p1)则纯粹表示音位类别信息，以稀疏的黄色点阵表示。图片下半部分展示了如何将这些特征与神经数据关联：研究者首先记录大脑的电活动(EEG)，然后提取alpha频段的功率(中间的蓝线图)，最后使用三种LME模型分别评估每类特征预测神经活动的能力。底部的相关性曲线直观地展示了模型对神经数据的预测效果。

通过三类模型间的比较，研究者发现对于δ、θ、α和β这些低频频段，大多数被试数据的最佳拟合模型为同时包含声学频谱和音位标签的s1p1模型。而对于γ和high-γ这两个高频频段，最佳拟合模型为仅包含声学频谱特征的s1模型。

这些结果表明，低频神经振荡可能更多地参与语言的抽象处理，包含音位信息能显著提高对低频神经活动的预测能力；而高频振荡则更多地参与声学特征提取，增加音位信息对预测高频神经活动的提升有限。

至此，研究者量化了音位和声学信息对神经响应的贡献，但还未解答一个关键问题：大脑是如何整合这些信息的？具体而言，刺激特征之间的关系如何影响神经活动？

以元音的感知为例，区分音位/i/和/e/不仅依赖于各个共振峰的绝对频率，更依赖于第一和第二共振峰之间的相对关系。上述LME模型无法捕捉这种特征间的交互，而这恰恰可能是音位范畴形成的关键。

因此，研究者引入了最大噪声熵(Maximum Noise Entropy, MNE)模型，进一步探索刺激特征间的关系对神经响应的影响。

最大噪声熵模型分析：揭示音位表征的神经计算机制

在信息论中，熵(Entropy)是用于衡量随机变量不确定性的概念。熵越大，表示随机变量的不确定性越高。

最大熵原理(Principle of Maximum Entropy)指出，在所有满足已知约束条件的概率分布中，熵最大的分布是最合理的。换句话说，在没有额外信息的情况下，我们应该尽可能保持概率分布的均匀性，避免引入不必要的分布假设。

在神经科学中，假设神经反应与刺激之间的关系可以表示为：

其中，是的神经响应的测量结果，是神经系统的真实响应函数，是噪声。最大噪声熵MNE模型分析的目标是在满足已知约束条件(例如，与的统计关系)的前提下，最大化噪声的熵。通过优化，我们可以得到的最佳估计，即该神经元的感受野。

感受野

感受野(receptive field)指的是神经元对输入刺激的响应范围。在神经科学中，它通常指感觉神经元对特定感官刺激产生反应的区域，即“什么范围内的刺激能够激活这个神经元”。类似地，在人工神经网络(例如CNN)中，感受野则指网络中的某个神经元对应于输入图像上的区域，即“网络中这个神经元能够‘看到’输入图像中的哪个范围”。

相比传统线性方法，MNE的优势在于能够估计更复杂的非线性感受野，包括特征之间的非线性相互作用如何影响神经响应。本研究中使用的MNE模型包含了一阶(线性)模型和二阶(非线性)模型：

一阶MNE模型(仅包含线性项)：

二阶MNE模型(包含线性项和二次项)：

其中，为刺激特征向量，在本研究中包含声学频谱和/或音位标签信息；表示神经响应，在本研究中指特定频段的功率，是模型预测的目标变量；表示给定刺激的情况下神经响应的概率；为偏置项，对应平均单位响应；为线性权重向量，对应受刺激方差约束的神经响应；表示向量和向量的点积，即两个向量对应元素相乘后求和；为权重矩阵，对应受刺激协方差约束的神经响应；是一个二次项，对应刺激特征之间的相互作用。

可以看到，MNE模型使用了逻辑函数来将神经响应转换为概率形式。这个函数与的概念框架的对应关系是：函数对应于，表示给定刺激下神经响应的确定性部分或期望值；而概念框架中的则体现为模型的预测值与实际记录的神经响应之间的“偏差”。MNE模型通过最大化这一“偏差”的熵，在保持噪声最大不确定性的前提下，寻找能准确描述神经反应的最简函数形式。

与此同时，一阶和二阶MNE模型的本质区别在于它们能捕捉的神经计算复杂度不同。一阶模型只能表示各个刺激特征对神经响应的独立线性贡献；而二阶模型通过额外的二次项，能够捕捉特征之间关系的非线性神经计算。研究者同时使用这两种模型的目的是确定：大脑处理语音时是仅依赖各个声学特征的独立线性贡献，还是整合了特征间的非线性复杂关系模式？

研究者首先使用MNE模型估计了神经响应的感受野，然后使用这些估计的感受野生成预测的神经响应，并计算预测响应与实际记录的响应之间的Pearson相关系数，作为因变量输入到新的LME模型中，用以分析不同MNE模型对神经响应的预测能力。可以看出，在这一部分分析中，研究者将MNE模型和LME模型嵌套在了一起。

此时LME模型的固定效应包括：神经响应类型(六种频段)、MNE模型阶数(一阶vs二阶)、音位标签(有标签vs无标签)、模型阶数与音位标签的交互项(用以评估音位信息是否增强了二阶模型的效果)。随机效应则包括被试和电极通道。

结果发现，包含模型阶数、音位标签及其交互项的模型能够最好地拟合数据。具体来说，当有音位标签信息时，二阶模型的预测能力显著优于一阶模型；而当没有音位标签信息时，二阶模型和一阶模型的预测能力相当。下图是一个示例：

图中两个子图分别展示了参与者SD010的δ频带(图a，LA10电极)和高γ频带(图b，LHT10电极)的解释方差随时间的变化。四种不同颜色的曲线代表不同的MNE模型：红色和黄色分别代表无音位标签和有音位标签的线性模型，绿色和蓝色则分别代表无音位标签和有音位标签的二次模型。可以看到，有音位标签的二次模型(蓝线)显著优于其他模型。

这一结果揭示了一个关键机制：音位类别信息与刺激协方差结构协同作用，共同塑造神经响应。也就是说，大脑似乎利用声学特征之间的非线性关系模式来提取语音中的音位信息。

至此，LME和MNE模型分析都表明，音位类别信息对预测自然语音的神经响应有显著的贡献。但仍存在一个问题：这种贡献是否仅仅因为音位标签强化了声学信息？还是说音位标签真正提供了语言特定的类别信息？

为回答这一问题，研究者让被试听他们不理解的加泰罗尼亚语材料，并进行相同的数据分析。

如果音位信息仅是强化声学信息，那么无论听的是理解的(英语)还是不理解的语言(加泰罗尼亚语)，添加音位标签都应提高模型拟合度。而如果音位信息提供了语言特定的类别知识，那么它只应在被试理解的语言(英语)中起作用。

为此，研究者采用相同的方式构建了一系列模型，考察不同MNE模型的表现如何受语言类型的影响。结果显示，包含语言类型、模型阶数、音位标签及其全部交互项的模型能够最好地拟合数据。

具体来说，对于英语数据，有音位标签的MNE模型显著优于无标签模型；而对于加泰罗尼亚语数据，添加音位标签不但没有提高预测能力，反而略有下降。结果如下图所示：

图中横轴展示了四种MNE模型：无标签线性模型、有标签线性模型、无标签二次模型和有标签二次模型；纵轴表示解释方差(r²)，即模型预测与实际神经记录的相关性的平方。红色箱线图代表英语数据，浅红色箱线图代表加泰罗尼亚语数据。最关键的地方是右侧“有标签二次模型”组，其中英语数据的中位数和上四分位值明显高于其他所有组合，表明结合音位标签和二次特征交互在英语中产生了最佳预测效果。相比之下，对于加泰罗尼亚语数据，有标签二次模型并未显示出类似优势。

这一跨语言比较的结果表明，音位表征不是简单的声学信息的重编码，而是需要特定的语言知识才能形成的抽象类别。只有当听者理解一种语言时，音位信息才能有效地解释其神经活动，这与语言学关于音位作为语言抽象单位的理论一致。

这些结果共同揭示了语言认知中的一个基本机制：大脑通过整合多种声学特征之间的关系模式，结合语言知识，形成抽象的音位表征。这种表征不仅存在于语言学理论概念中，而且有确实的神经基础。人类的这种认知抽象过程在语言交流的瞬息间将声音转化为语言。