摘要：
理解人与对象的交互对于从日常视觉场景中提取出意义至关重要，并且需要整合人类姿势和对象身份之间复杂的关系得到新的概念。为了理解大脑如何构建这些表现，我们进行了2个fMRI实验，其中受试者观察有交互的人与对象，没有交互的人与对象，和分别孤立的人和对象。人与对象交互的多个可视区，包括外侧枕骨复合体中确定物体对象信息的区域（LOC）和海马旁区域（PPA），以及确定人体姿态的身体外纹区域（EBA）和后上颞沟（pSTS）。在一些区域中，例如后PPA（视网膜图PHC1和PHC2），人与对象交互的表现可以通过对对象和姿势信息响应的简单线性组合得到很好的预测。然而，在其他区域，特别是在pSTS中，人与对象交互类别的表现不是由他们的个体组件预测的，这指出它编码的人与对象的交互超过了他们部分的叠加。这些结果揭示了在紧急情况下人与对象交互的表现的分布式网络对社会感知有很大的重要性。
关键词：
动作感知，交叉解码，fMRI，MVPA，场景感知
引言
在我们的视觉体系中，世界不是一堆分散孤立的对象，而是相互联系的场景，其中每个对象都被安排在和其他对象有意义的联系中。神经科学家一直在研究孤立对象的识别，所以我们至少对大脑的哪些区域和如何构造不变的对象表现有个定性的理解（DiCarlo等人2012）。一个准独立的研究团队研究了包含各种对象联系的复杂场景图像的感知，进而确定了支持广泛场景类别识别的大脑区域（Walther 等人. 2009; MacEvoy and Epstein 2011）。然而，这两个域之间的联系在很大程度上未被研究：对象如何组合在一起构成具有紧急语义属性的复杂场景？
一个场景类别，其中语义意义主要由人与对象交互驱动的场景组件间的联系。例如，理解人们骑马，抚摸马，牵马和喂马的图像之间的差异不能通过把人和马隔离开来分析实现。此外，理解人与对象的交互对于发展学习操纵对象和日常社会合作是至关重要的（Want和Harris 2002）。然而，我们对这种相互作用如何在大脑中编码却知之甚少。
显然，理解人与对象的交互取决于大脑中处理对象身份的区域（例如，外侧枕骨复合体，LOC）和控制相关身体部位的区域（例如，身体外纹区域，EBA）。 然而，我们假设，从人与对象交互中提取意义，不仅需要区域对对象或姿态敏感，而且对理解人类的行动和目标相关的交互的更高级的紧急特征也要敏感。换句话说，我们期望对象和人的表现必须被整合到一个“超过它的部分的叠加”的神经表现。
为了识别这样的表现，我们使用多体素模式分析（MVPA）来将人与对象交互类别的表现与由孤立的人和对象诱发的响应的线性组合进行比较。虽然一些多对象场景可以通过单独对每个对象的响应的线性模式平均值建模（Zoccolan，Cox和DiCarlo，2005; MacEvoy和Epstein 2009; Baeck等人2013; Kaiser等人2014; Kubilius等人。 2015），但我们发现，人与对象的交互打破了这一线性假设，如后颞上沟（pSTS），它会引起不同于模式平均值的新类别表现。特别是，这揭示了社会认知网络的多组分的非线性表现（Saxe2006）。
我们得出结论，了解人与对象的交互涉及分布式枕侧网络，其支持社会认知区域紧急表现的创造性。这个结果证明场景组件之间的交互对场景表现有关键影响，并且为孤立的对象感知和全场景识别之间提供了新的桥梁。
材料和方法
受试者
我们在实验1中收集了10名受试者（2名女性，22-28岁，包括一名作者）的数据，在实验2中收集了12名受试者（5名女性，20-32岁，包括一名作者，其中5名受试者同时参与第一次实验）的数据。受试者健康状况均良好，没有精神或神经疾病史并且有正常或校正到正常的视力。实验方案由斯坦福大学机构审查委员会批准，并且所有受试者给出他们的书面授予同意该实验。
刺激
对于实验1，我们通过手动对来自斯坦福40行动数据库（Yao等人2011年）的图像分区，创建了128个人骑着马和128个人弹吉他的图像。每个图像被缩放至相同的像素数，450×450像素宽的方形。我们创建了128匹马图像（使用来自Weizmann马数据库的图像和面具; Borenstein和Malik 2006）和128个吉他图像（使用来自Caltech Guitar数据集的图像，并且从背景中手动对它们分区; Tirilly等人2008）还使用来自INRIA对Graz-02的注释（Opelt等人2006; Marszalek和Schmid 2007）的图像并且从斯坦福40行动数据库（Yao等人2011）手动分区创建了128个人图像。每个分离的图像被缩放至交互图像像素数的一半。其中一半的马是水平镜像的（因为所有的魏兹曼马面朝左），吉他被旋转一定的角度以至于能够匹配弹吉他的人的颈部角度。
为了创建无交互图像，我们重新选择了孤立的人和孤立的对象，以避免看起来和交互图像类似。每一个图像中的人和对象都集中在高斯分布的凝视点，标准偏差设置为等于对象和人相对于动作图像中的图像中心的标准偏差（视角0.62°）。为了使图像在与动作图像类似，我们将人物图像放置在马图像的顶部（遮挡），但是放置在吉他图像的后面。合成图像中人与对象相对尺寸的分布精确匹配动作图像中人与对象相对尺寸的分布，并且被缩放至与交互图像相同的像素数。实验1中的刺激总数为（3个孤立+2个交互+2个无交互）×（128个图像）=896个图像。
对于实验2,从谷歌图像和Flickr收集了40张图像，被分为4个动作种类：推购物车，拉行李箱，使用计算机和使用打字机。所有160张图像手动从背景移除人和物体，并且均缩放以具有相同像素数，900×900像素宽的方形。除了分离人与对象交互的图像之外，我们手动分离人与对象，创建孤立的对象图像和孤立的人图像。在人与对象交互的图像中，任何人与对象重叠的地方都覆盖以黑色矩形（以确保孤立的人图像不包含关于对象的任何信息，反之亦然），应用在图像所有的3个版本。所有图像叠加在含有1 / f噪声的颜色通道的背景上，包括原始图像和镜像图像从左至右，一共（2个方向）×（4个类）×（3个条件）×（40个图像）= 960刺激。
实验设计
每个受试者观看不同类别的图像块，在观看不同块之间具有12 s的间隙。每块开始于500ms图像交叉，然后8张图像各自呈现160ms，并有590ms空白的试验间隔。受试者按照指示保持注视屏幕的中心，并使用按钮盒执行一次返回任务。在实验1中，受试者进行8次，每次包含7个刺激类别（孤立的人，吉他和马; 没有交互的人与吉他和没有交互的人与马; 人骑着马和人玩吉他） ，每次运行14块（126 TR）。受试者执行一次返回任务，检测相同图像的连续重复次数，其中每块中会发生0,1或2次。在实验2中，受试者进行14次。前10次包含8个块，每个（人/对象）孤立的类一个，每次总共79个TR。最后4次包含20个块（每个运行10个），每块有5个交互类别，每次实验总共97个 TRs。受试者执行一次返回任务，检测彼此为镜像的连续图像的次数，其中每个块会发生0或1次（使所有类别和条件发生的频率相同）。注意，在两个实验中，每个刺激图像是不同的，除了实验1中的相邻重复图像在分析中从未分离。因此，所有MVPA训练和测试在不同的图像上进行。
感兴趣的区域
在单独的fMRI实验中通过标准定位获得每个受试者脑的类别选择，ROIs的位置。受试者进行了2次实验，每次由从6个类别 -- 儿童面部，成人面部，室内场景，室外场景，对象（没有语义意义的抽象雕塑），干扰对象 -- 选出的12个块，和一个附加的实验，每次由从 2个类别（身体部位和对象）选出的12个块。每块通过12秒的固定循环周期分离，并由12个图像显示组成，其中每个图像显示900ms并伴随100ms的固定交叉。除了每个块期间连续重复两次的2个图像，每个图像精确呈现一次。受试者要求保持注视屏幕中心，并且每当图像重复时通过按钮按压进行响应。ROIs被定义为使得每个受试者具有大约相同的聚集体素的总体积：LOC，大约4800 mm³，用于对象 >
侧枕体中的加扰对比皮质EBA，峰值簇约为2900 mm³的身体部位 >
物体对比枕叶皮质; （PPA），大约2900mm³的峰簇，用于在海马旁回球附近的物体对比; 纺锤状脸部区域（FFA），大约960mm³的峰簇，用于Faces>
物体对称在梭形回之间。基于以前的结果（Golarai等人2007），保守选择每个ROI的体积（mm³）。
我们使用组级别的字段映射图集（Wang等人2014）定义视网膜区域PHC1/ 2。我们把MNI空间中实验2的pSTS ROI定义为实验1中的峰值pSTS体素10mm内的所有体素 参见图4）。这两个ROI都被转换成每个受试者的原生空间。
扫描参数和预处理
对于实验1和ROI定位器，用3T G.E.医疗扫描仪获得成像数据。使用梯度回波，回波平面序列获得功能图像[体积重复时间（TR），2s；回波时间（TE），30ms；翻转角，80°；矩阵，128×128体素；FOV，20cm；29个具有1mm间隙的3mm切片；面内分辨率，1.56×1.56mm]。丢弃每次运行的前4个体积数据，然后使用AFNI软件包（Cox1996）将功能数据运动校正并转化为百分比信号变化。由于我们使用MVPA，没有执行其他预处理。我们在每次扫描中收集高分辨率（1×1×1mm体素）结构扫描结果（SPGR；TR，5.9ms；TE，2.0ms；flipangle，11°）。为了在组内计算全脑水平，将每个受试者的解剖结构手动记录到Talaraich坐标系统。使用以75Hz的1024×768像素的分辨率操作的背投影系统（Optoma Corporation）呈现图像，使得图像覆盖大约14°的视角。
对于实验2，用不同的3T G.E.医疗扫描仪获得成像数据。使用梯度回波，回波平面序列获得功能图像[体积重复时间（TR），2s；回波时间（TE），30ms；翻转角，77°；矩阵，80×80体素；FOV，23.2cm；42斜2.9毫米切片；面内分辨率，2.9×2.9mm]。丢弃每次运行的前6个体积数据，然后使用AFNI软件包（Cox 1996）将功能数据运动校正并转化为百分比信号变化。我们在每个扫描中收集高分辨率（0.9×0.9×0.9mm体素）结构扫描结果（BRAVO; TR，7.24ms； TE，2.78ms；翻转角，12°）。没有进行其他预处理。为了在组内计算全脑结果，将每个受试者的解剖结构自动注册到MNI坐标系。使用240Hz下以640×480的分辨率操作的LCD显示器（共振技术）呈现图像，从头部线圈内的反射镜可见，使得图像覆盖大约12°的视角。
平均信号分析
为了比较实验1中每个ROI中的无交互作用和交互作用下刺激的平均信号响应，我们采用标准回归模型。将刺激回归模型化为刺激阻滞期间等于1且在其他地方与标准AFNI血液动力学反应函数（Cox 1996）卷积的阶跃函数。此外，模型中添加了30个伪噪声回归因子：3个运行（常数偏移，线性趋势，二次趋势）和6个运动校正估计（3个旋转和3个平移）。然后以相对于实验平均值的百分比信号变化记录无交互作用和交互作用下回归物的估计的β权重。
ROI
解码
对于两个实验中的所有MVPA解码分析，每个fMRI时间点首先分配刺激标记；分配给刺激阻滞期间发生的所有时间点（移动6秒以解决血流动力学滞后）相应的刺激标记，而所有其他时间点被标记为阻断时间点。使用线性支持向量机，使用MATLAB LIBSVM库进行分类（Chang和Lin 2011）。在实验1中，我们选择了6次试验做测试，使用1次验证试验来调整软边际参数，并在剩余试验测试。在测试和验证试验的所有可能选择上取平均值做结果。在实验2中，选择每个刺激类别的9个块用于训练，然后在剩余的块上测试分类器，其中固定的c = 0.1。结果是所有测试块的平均值。对于交叉解码，也在相对于未训练刺激条件的所有块上测试分类器。
当将该方法应用于预定义的ROI时，我们首先排除对视觉刺激不敏感的体素，以提高解码精度。基于视觉停留在块内时间点（即，视觉刺激）相对于块间时间点（即，具有凝视点的空白屏幕）的z分数的绝对值，对所有体素进行排名。 在解码中使用顶部40％的体素（保留的体素的数量被设置为每个区域的组平均大小的40％，因此所有对象在给定区域中保持相同数量的体素），但是我们的结果对所使用的体素的数量不敏感（参见补充图1）。注意，这种类型的体素选择不引入圆形度偏差（如Vul等人2009所述），因为1）我们仅选择视觉灵敏度而不是条件间效应，以及2）选择仅基于测试数据。
在实验1中，训练了单独的分类器：一种用于区分无交互作用的刺激类别（人类与人类与吉他之间）和一种用于区分交互的刺激类别（人类骑马与人类玩吉他）。在第一次分析中，分别在无交互和交互的测试时间点上测量这些分类器的性能。对于旨在确定人和对象非线性交互的交叉解码的分析，通过在测试运行中使用所有孤立对象时间点对测试运行中孤立的人的平均响应求平均值，来创建模式平均测试时间点。然后使用无交互和交互解码器来对这些模式平均时间点（人+马 与 人+吉他）以及孤立对象时间点（马 与 吉他）分类。因为无交互解码器不能学习紧急交互，所以我们期望它将很好地（即，高于偶然交叉解码）传递模式平均以及孤立的对象。类似地，在该交叉解码分析中交互解码器的随机准确度指示人与对象交互的类别表现至少部分地由对象单独地或者从人和对象表示的线性平均值得到预测。然而，相对于无交互解码器精度的降低将暗示交互解码器学习了超出组件对象的东西。
在实验2,3中，训练了单独的分类器：一种用于区分从我们的动作图像中分割的孤立对象，一种用于区分从我们的动作图像中分割的孤立的人，一种用于区分完整的人和对象动作图像。这个最后的分类器还应用于交叉解码分析，以解码孤立的对象时间点，孤立的人时间点和模式平均时间点（用给定运行中的孤立对象类别的4个时间点，和相同运行中对应于来自相同类别的孤立的人的4个时间点，求得均值，产生4个模式平均时间点的新集合）。如在实验1中，对于这些孤立的对象，人和模式平均时间点的全交互解码器的高于随机精度表明，交互的表现与孤立的对象类别表现，与孤立的人类姿势类别表现有相似点，平均为2。全交互作用解码器转换孤立的刺激或模式平均值的失败暗示其学习了超出组件的东西。
MVPA
探照灯分析
作为探索性分析，我们还在全脑探照灯中进行这些分析。具有7mm半径的球体以8mm间距的网格为中心。对于每个球体，将其中心位于其半径内的所有体素用作感兴趣区域，并且对ROIs进行解码分析（没有任何体素选择，并且在ROI实验期间将软边缘参数设置为其值的平均值）。注意，每个球体与所有26个相邻球体相交，因为球体及其相邻体之间的最大距离（3乘以8的平方根）小于半径的两倍（2乘以7）。为了产生每个对象的解码精度图，每个体素的精度被计算为包括该体素的所有探照灯的平均精度。
为了确定显著性阈值，使用蒙特卡罗置换测试（Stelzer等人2013）。对实时数据使用的分析数据运行1000次，其中时间点标记在用于训练或测试的类别之间随机洗牌。例如，当解码骑着马与弹吉他时，所有骑马和弹吉他时间点的标签被随机洗牌。然后固定阈值，使得
<>
结果
实验1
我们构建了具有3种类型的图像（参见图1）的刺激集：孤立的人，吉他和马； “无交互”人与马，人与吉他，其中人和对象简单地粘贴在一起而没有相互作用; “交互”的人骑着马和人弹吉他。选择这些动作，因为其中的人大致垂直和居中，使得无交互和交互的图像具有类似的结构。如实验程序中所述，构建无交互图像以尽可能接近匹配交互图像的数据统计，使得其与交互图像的唯一差别是人体没有被正确定位到与对象交互的位置。
无交互作用和交互作用刺激下的类别解码
不令人惊讶的是，虽然刺激有微妙的差异，但交互作用和无交互作用刺激下在枕叶区LOC和EBA的单变量分析结果产生没有差异（LOC：t 9 = -0.47，P =0.65；EBA：t 9 = -0.78，P = 0.46；双尾t检验），且进行全脑回归分析之后，对比交互 >无交互区域未能找到任何体素满足FDR <0.05的阈值。因此，我们使用mvpa解码来找到在条件之间显示不同体素模式的区域。特别地，为了确定可能对交互作用特异性敏感的区域，我们寻找它们在交互作用下比无交互作用下人与吉他和人与马刺激之间更好解码的区域。这样的结果表明当存在交互时，区域更好地区分2个人类对象类别，意味着该区域包含对人与对象交互的专门处理。我们发现，在我们感兴趣的所有3个区域（无交互：loc：t 9="4.19，P" =0.001；eba：t="" 9="3.24，P" =="" 0.005；相互作用：loc：t9="3.50，P" =="" 0.003；eba：t="" 9="5.41，P">
<0.001；单尾t检验）loc对于两种刺激类型显示几乎相同的解码率（t 9="-0.13，P" =="" 0.90；双尾t检验），但eba在无交互和交互作用刺激下解码率显示出一致的差异，其具有明显更好的类别解码（eba：t="" 9="2.82，P">
图1 来自实验1的刺激示例。受试者需要观察7个类别，其中的每一个类别显示128个图像：孤立的吉他，马和人; 无交互式人和吉他，人和马; 交互的人玩吉他和人骑着马。
交叉解码到孤立的对象和模式平均值
如上所述，感知人与对象的交互需要大于其部分的和的表现。如前面的工作所示，一些区域对同时呈现的刺激的响应仅仅是对单个刺激响应的平均值（Zoccolan，Cox和DiCarlo，2005; MacEvoy和Epstein 2009; Baeck等人2013; Kaiser 等人2014;Kubilius 等人2015）。然而，如果一个区域对人与对象的交互敏感，我们期望该区域对交互的人与对象的响应不仅仅是它部分的叠加，而是在质量上不同于人和对象的简单平均。我们假设，人与对象交互特别敏感的区域应该对交互的人与对象有专门的（非线性）表现，但是对无交互类别。
我们可以通过使用交叉解码方法找到体现这种行为的区域。在训练2个分类器之后，如前所述，解码无交互作用下的人-马与人-吉他，并且解码交互作用下的人-马与人-吉他，我们可以尝试使用这些分类器来解码孤立的马和吉他，以及孤立的人与马的模式平均值与孤立的人与吉他的模式平均值比较。如果人与对象类别的特征仅由对象信息驱动，或者仅仅是孤立的人类和对象的特征的线性平均值，则当交叉解码时，以上训练的无交互和交互分类器应该很好地适应。然而，如果在交互刺激下训练的分类器解码大于其部分的和的表现，则该分类器在对孤立刺激响应导出的解码模式上应该明显更差，而不是实际交互刺激的响应导致的。
图2 用于实验1的MVPA解码和交叉解码。无论是否存在交互（I）（N），对于人与对象（人和马，人和吉他）的图像的刺激类别可以在LOC和EBA中解码。然而，与无交互（N→N）相比，只有EBA显示交互下的刺激（I→I）的解码精度显著增加，这表明当存在交互作用时，该区域能更好地表示图像类别。在所有3个区域中，训练的分类器对无交互刺激的响应基本归因于在这两个区域中个体人与对象（N→PA）的孤立对象响应（N→O）或模式平均值，这说明无交互的人与对象的类别表现与孤立的人与对象的类别表现线性相关。然而，在交互的人与对象上训练的分类器仅将LOC中的边缘对象（I→O）适用到模式平均值（I→PA），并且在EBA中接近随机。这表明对于人与对象交互类别（尤其是在EBA中）的表现不能由对孤立的人（具有不受控制的姿势）和对象的平均响应捕获。这些结果是一致的，而与每个区域选择的体素数无关（参见补充图1）。误差棒表示S.E.M.，†P = 0.054，* P <0.05，**p><0.01。>
图2中的ROI结果体现了在无交互和交互作用下的交叉解码间引人注目的差异。当对无交互反应训练时，两个区域的分类器能够解码分离的对象刺激（N→O条；LOC：t 9 = 6.03，P <0.001；eba：t 9=""><0.001；测试）模式平均刺激（n→pa条；loc：t 9=""><0.001；eba：t 9="4.72，P"><0.001; 1-尾t-检验）与解码无交互刺激（n→n="">N→O：LOC：t 9 = 0.02，P =0.49; EBA：t 9 = 0.55，P = 0.29;N→N>N→PA：LOC：t 9 = P = 0.34; EBA：t 9 = 0.94，P = 0.19; 1-尾t检验）。这表明用于表示无交互刺激类别的特征主要由对象类别信息驱动，并且可以有效地用于对人与对象的模式平均值进行分类。这些区域都不是以专门的，非线性的方式表示无交互的人与对象。
然而，当分类器在交互作用刺激下训练时，交叉解码结果显示了不同的模式。在LOC中，交互刺激分类器仍然显示对孤立对象（t 9 = 2.44，P = 0.019；单尾t检验）和模式平均响应的边际性能（t 9 = 1.78，P = 0.054; 1-tailed t检验），与解码交互作用刺激（对象：t 9 = 0.91，P = 0.19；模式平均值：t 9 = 1.33，P = 0.11；单尾t检验）相比具有不显著的下降。因此，尽管是交互刺激训练，分类器仍然主要由对象的身份单独驱动。然而，在EBA中，用于解码孤立对象（t 9 = 3.09，P = 0.006；单尾t检验）或模式平均值（t 9 = 3.31，P = 0.005；单尾t检验）训练的对交互刺激的分类器出现了显着地下降，并且解码对象或模式平均值刺激仅为偶然（对象：t 9 = 1.49，P = 0.085；模式平均：t 9 = 1.3，P = 0.12；单尾t检验）这种下降明显大于早期视觉区域（t 9 = 2.85，P = 0.019；双尾t检验；参见补充图3），这表明它被驱动的不仅仅是简单的分离和交互作用刺激间的视觉不相似性。在EBA中，我们有证据表明，训练在交互刺激下的分类器出现了了差异，它不依赖于人或对象的存在，表明它对交互作用下的交互本身或人的具体姿势敏感。我们在FFA中发现了与EBA中相似的模式，但对于这些刺激，我们没有观察到PPA中的任何有意义的解码（参见补充图3）。
使用相同的逻辑，我们可以通过执行探照灯分析，查看ROI外的所有区域，并搜索人与对象交互类别的结果的模式，识别交互作用刺激下比无交互作用刺激下，具有更大非线性（交叉解码时的性能下降，图4）。除了EBA之外，该对比显示，在两个半球，右背侧PCC和下顶叶中的右角回的IPS（峰值体素[54，-43,12]）和颞顶连接（TPJ）周围的区域解码多于每个部分的和。这些区域大部分映射到涉及社会认知和理解行动意图的区域网络（Saxe2006），这和人与对象的交互是社会场景的语义意义的重要组成部分一致。这些结果表明，在这些身体相关区域中的人与对象的交互类别的表现不是简单地由孤立的对象身份和（非特定的）人类活动模式的线性组合驱动。
图3实验1中MVPA解码差异探照灯。搜索所有皮层中比无交互（N→N）刺激有更高解码精度的区域（I→I）与ROI的分析的结果一致。表明对交互作用刺激下偏好的探照灯包括右半球中的前EBA和后STS中的体素。P<>
实验2
实验1的结果表明，身体相关区域表明“人骑着马”并不是“人”和“马”的线性组合，但是这种效果一部分可能是由于姿势的差异；虽然姿势在某种意义上是人的属性，姿势表现不将人和对象信息并入单个紧急单元中。换句话说，我们可能不是解码交互本身，而是交互导致了某种特定姿势。我们使用新的实验来测试这种可能性，该实验专门关注用于交互图像的交叉解码，具有新的更大的刺激集合（图5）。受试者观看了4个新的行动类别，但也查看了从这些交互图像中提取的相同且孤立的对象和人。这种设计确保对象和人的姿势在孤立和交互的图像之间是相同的，使得适用解码交互模式平均反应的失败必然指示交互类别表现中的非线性关系。此外，我们在每个刺激后添加了噪声背景，以删除低级对象轮廓信息，并更好地模拟完整视觉场景中的自然感知。
我们使用与实验1相同的方法进行MVPA解码，现在看孤立的对象，孤立的人和人与对象交互的4路动作分类。如前所述，我们测量人与物体交互的表现是否类似于使用交叉解码组件的表现；我们应用了在完全交互作用下训练的分类器来单独分类对象，单独分类人，和人与对象的模式平均值。除了在实验1（LOC和EBA）中使用的ROI之外，我们还定义了在体素周围具有10mm半径的pSTS ROI，其在实验1中显示出最好的效果（图4）。
图4 MVPA交叉解码探照灯。彩色体素是交互作用条件（N→N减N→PA）比无交互（I→I减I→PA）显示出更大的非线性的那些。除了EBA之外，该测量标识了两个半球中后部STS周围的区域（用圆点标记的峰值效应）和TPJ区域，右背侧PCC和右角回，P <0.05集群校正。>
译码的结果在图6中展示。LOC和EBA体现出解码对象，人的姿势和交互高于随机的结果（对象：LOC t 11 = 6.12，P <0.001；eba t="" 11="2.09，P" =="" 0.030；人="" ：loct="" 11="4.84，P"><0.001；eba t="" 11="2.30，P" =="" 0.021；相互作用：loc="" t="" 11="4.32，P"><0.001；eba t="" 11="2.93，P" =="">
LOC和EBA中的孤立对象的交叉解码
当使用交互解码器解码孤立对象的身份时，LOC执行高于随机而EBA不（LOC t11 = 2.48，P = 0.015; EBA t 11 = 0.068，单尾t检验），表明LOC正在使用对象身份信息来分类交互图像，而EBA不是。然而，LOC中的分类不仅依赖于交互分类的对象身份，因为像EBA一样，当与孤立的对象和交互的人与对象对比，它显示出显著的性能下降（LOC t 11= 2.54，P = 0.014; EBA t 11 = 2.35，P = 0.019; t检验）。产生这种结果模式的一种可能性是，在LOC中，交互分类器可以使用姿势来增强类别之间的区分，增加相对于孤立对象成功分类的机会；事实上，孤立的姿势和对象在LOC中的成功解码的结果与这个想法是一致的。然而，我们看到在LOC中的模式平均值的性能类似下降的事实（参见“交叉解码到LOC和EBA中的模式平均值”），表示LOC对交互作用的表现受到人类作为另一个对象的存在而带来非线性结果的影响；添加姿势之后并不会提高性能。
图5 来自实验2的刺激示例。受试者观察4个不同动作类别（推动推车，使用计算机，拉行李箱和在打字机上打字）的人与对象交互的图像，并且还观看从这些图像中孤立出的人和对象。
LOC和EBA中的孤立的人类姿势的交叉解码
当使用交互分类器交叉解码孤立的人的姿势时，我们发现仅在EBA中有显著解码（LOC t 11 = 0.52，P = 0.31，EBA t 11 = 2.81，P = 0.008），这表明姿势信息在EBA交互表现中有很重要的作用，但在LOC不是。虽然在LOC和EBA中的交互解码器当在孤立姿势上测试时显示出数字的精确度下降，但是在EBA中没有太显著（LOC t 11 = 4.22，P <0.001; eba="" t="" 11="1.35，P" =="">
图6 实验2中的MVPA解码和交叉解码。LOC和EBA指出孤立的对象（绿色），孤立的人（黄色）或完全动作（粉红色）的行动类别的重要解码。如在实验1中，在完全交互作用下训练的分类器仅在LOC中的对象上结果高于随机，尽管在LOC和EBA中的交叉解码（条纹条）精度下降是显著的。然而，EBA的交互分类器确实很好地归纳了人类姿势（而LOC不是）。当测试模式平均值包括特定的姿势信息类（与实验1不同）时，LOC和EBA分类器显示高于随机的结果，此由LOC中的对象信息和EBA中的姿势信息驱动。另一方面，基于实验1中的结果定位的pSTS显示了仅用于人和对象交互的高于随机的解码，并且不适应模式平均值。误差棒表示S.E.M.，* P <0.05，**p><>
运行具有ROI（LOC，EBA）和测试选项（对象，人类姿势）作为因子的可重复测量的ANOVA产生显著的交互作用（F 1,11 = 16.87，P = 0.002），指出缺少首选类别（LOC中的对象和EBA中的人体姿势）比缺少非优先类别对交叉解码性能更不利。与已知的类别偏好一致，这些结果表明，人与对象的表现主要由LOC中的对象身份（人类是1类对象）驱动，并且主要由EBA中的姿势信息驱动。
总之，虽然LOC和EBA中的交互解码器与非优选刺激中的动作类别信息几乎没有关系，但是相对于它们在完全交互作用下的性能而言，当测试它们的优选刺激时，它们仍然显示出精确度的下降。这表明，在两个区域里，当刺激与非优先刺激同时出现时，来自优选刺激的类别信息会以一种非线性方式被修改。
LOC和EBA中的模式平均值的交叉解码
我们通过测试交互解码器对2个孤立刺激响应的线性模式平均值，明确地看到这种类型的非线性交互作用。这导致在LOC和EBA中的分类高于随机（LOC t 11 = 3.34，P = 0.003; EBA t 11 = 3.22，P = 0.004; 单尾t检验），由此确认LOC和EBA编码至少部分地基于各个组件（对象身份和人体姿势）。然而，重要的是，在LOC中，我们看到模式平均值相对于完全交互作用图像的精度显著下降（t 11 = 2.72，P = 0.010；单尾t检验）。尽管包含了交互作用的两个分量，但是模式平均值不足以在完全交互作用下进行解码，可能是因为它缺少存在于原始动作图像中的特征。此外，没有紧急交互作用且添加适当定位的人相对于孤立的物体没有任何改变（对象与模式平均值t 11 = 0.01，P = 0.99；双尾t检验）。总之，这些结果表明交互解码器对于超出LOC中特定对象和姿势的线性总和的某些事物敏感。在EBA中，观察到类似的模式，但是从交互分类器（I→I）到模式平均值（I→PA）的精度下降并不显著（t 11 = 1.23，P = 0.12）。探照灯分析（在“探照灯分析”中描述）可以解释为什么该下降不显著。
pSTS
中的解码和交叉解码
在pSTS中观察LOC和EBA的性质上不同的结果模式，恰好在EBA之前（如实验1中所确定的）。这里，唯一的条件是高于随机的解码与交互分类器是完全交互的（I→I; t 11 = 2.32，P =0.020；单尾t检验）；孤立对象和姿势解码不显著（对象：t11 = -0.93，P = 0.81；人类：t 11 =1.57，P = 0.072; 单尾t检验）。交互解码器不适用于孤立的对象，人类姿势，或模式平均值2；（对象：t 11 = 0.64，P= 0.27；人类：t 11 = 0.45，P = 0.33;模式平均值：t 11 = 0.69，P = 0.25; 单尾t检验） （对象：t 11 = 1.23，P = 0.12；人类：t 11 = 2.01，P = 0.035；模式平均值：t 11 = 1.88，P = 0.043; 单尾测试）。这些结果强烈证实实验1的结论，指出pSTS代表完全的人与对象的交互超过它们部分的叠加。参见补充图3额外ROI的分析，早期视觉皮层中的类别表现在很大程度上由线性模式平均值解释，而FFA与pSTS中的结果更相似。这些结果也适用于对象和人的姿势的加权模式平均值，与等权重相比，不增加交叉解码精度（参见补充图4）。
探照灯分析
为了进一步确定外侧时间皮质的后 - 前解码差异，我们进行探索性探照灯分析，以测量交互作用分类和一般化模式平均值。如图7所示，结果与ROI分析大体一致；分类交互在LOC和EBA内的大多数体素中高于随机，并且每个都包含子分区（优越的LOC和后EBA），其中该分类器也被适用到解码模式平均值。然而，在EBA和pSTS的前部，模式平均值的交互解码失败；可以在通过外侧皮质的轴向切片上看到这种后 - 前差异（图7b），发现交叉解码精度在pSTS周围快速下降，而交互作用下解码保持相对高。这个趋势表明，当我们从LOC向EBA向前移动到pSTS时，交互作用类别的表现变得越来越少类似人与对象的模式平均值。这个结果也解释了为什么EBA ROI没有出现模式平均值精度的显著下降；EBA包含既包括可以被模式平均值很好预测的交互表现而且包括更加早期的代表交互大于各部分的叠加的表现。
PHC1 / 2
解码
有趣的是，探照灯还显示PPA中显著的交叉解码，主要限于该区域内的视网膜图（PHC1 / 2）（Arcaro 2009）。我们进行了（独立定义的）PHC1 / 2的事后ROI分析，揭示了不同于所有先前ROI的结果模式（图7c）。PHC图表示对象类别，但不表示人类姿势类别（对象：t 11 = 3.95，P = 0.001；人类：t 11 = 0.11；单尾t检验）。完全交互作用可以被成功地解码（t 11 = 3.23，P = 0.004单尾t检验），并且，批判的来说，相互作用解码器适用到解码孤立的对象或模式平均值，而不适用孤立的人（3.45，P = 0.003;人类：t11 = 0.20，P = 0.42;模式平均：t 11 =2.35，P = 0.019; 单尾t检验）。与其他ROI不同，对于孤立对象或模式平均值，除了孤立的人的交叉解码，不存在从交互解码到交叉解码的显着下降（对象：t 11 = -0.38，P = 0.65；人类：t 11 = 2.36，P = 0.019；图案平均：t 11 = 0.11，P = 0.46; 单尾t检验）。因此，交互类别解码在很大程度上由孤立的对象表现来解释，表明紧急交互特征在该区域中不起主导作用。这表明，至少对于这些没有背景布局的简单2对象场景，PPA的后部分可以主要由场景组件对象而不是它们的关系驱动。
讨论
使用仔细构造的人和对象的图像，连同MVPA解码和交叉解码分析，我们确定了负责代表人类姿势和对象身份、和人与对象起到连贯的交互作用的枕叶皮层区域。以前的工作已经孤立地研究人和对象（Downing和Peelen2011; Kravitz等人2013），但我们第一次指出姿态和对象身份的类别如何在人与对象的交互中联合编码。
侧枕综合征
LOC中的解码结果揭示了至少部分由对象身份信息驱动的动作类别（即，与对象交互的人）的鲁棒表示（实验1和2）；也就是说，在两个实验中，对人与对象交互作用进行训练的分类器被成功应用到孤立的物体。实验2还表明，LOC中人与对象交互的表现与人的姿势不是线性相关的，因为交互分类器不能有序的将孤立的人类姿势分类。然而，LOC对人与对象交互的响应部分由人与对象的紧急关系驱动，因为当给定仅孤立的对象或模式平均值时，交互分类器表现出性能下降（与完全交互相比）。实验1中也看到了这种未能充分应用到模式平均值的问题，但是并不显著。然而，我们注意到，实验1具有比实验2有更少的数据（更少的受试者和更少的每个受试者的数据），以及刺激和图像采集的其他差异。总的来说，这些实验表明，LOC主要表示人与物体交互中的对象信息，但是对于一些动作类别，它也可能对人与对象之间的交互作用的特征敏感（特别是在劣质LOC中; 7a）。
身体外纹区域
EBA还显示了一致的交互解码，但不是由对象身份信息驱动（实验1和2），并且仅当仔细控制姿势时与模式平均响应有相似性（实验2）。
这些结果扩展了我们当前对EBA在行为感知中作用的理解。已经确定，EBA代表身体姿势（在Downing和Peelen 2011中综述）。EBA包括中间颞回（EBA的最前面部分，参见Weiner和Grill-Spector 2011），通过适应研究，涉及反应分类（Kable和Chatterjee 2006; Wiggett和Downing 2011），损伤研究（Kalénine等人2010），以及对象相关行为的荟萃分析（Caspers 等人2010）。在EBA中表示的是什么类型的信息更具有争议性，提出的范围从侧重于“可观察力学”（Spunt等人，2010）到配对手势与语义（Xu 等人。2009）这些“认知上未描述的”姿势描述（Downing和Peelen 2011）。我们的研究结果证实EBA对典型的交互作用的反应主要由身体姿势驱动（实验2）。然而，在实验1中无交互刺激被解码高于随机的事实表明，当人体对于刺激类别不知情时，EBA可以基于对象身份来区分。此外，在完全交互作用下训练的解码器无法预测前EBA中的模式平均响应，这表明至少部分EBA可能对人与对象之间的非线性关系敏感。EBA可以使用对象和姿势信息，这带来了一种可能，即该区域中的表现不仅表示身体姿势，而且需要进一步的工作来精确地识别这种表示是如何视觉化和语义化的。
后高级颞沟
最有趣的解码趋势，是pSTS中观察到的关于人与物体交互作用的紧急特性，其构建了与孤立的物体或姿势信息无关的动作类别的表现（实验1和2）。总的来说，这些结果表明，社会认知区域如pSTS，表示人与对象交互类别专门的特征，创建超过其部分的叠加的人与对象交互的表现，不存在于人与对象模式的线性平均。
EBA
之前的pSTS（和相邻TPJ）区域与更抽象类型的动作感知相关联，例如理解异常或欺骗性的人类行为（Grézes等人2004; Brass等人2007），识别是否正在抓取对象（Yoon et al。2012）和许多其他任务，涉及到代理，心理理论和完形整合的感知（Saxe和Kanwisher 2003; Pelphrey等人2004; Saxeetal.2004; Decetyand Lamm 2007; Hein和Knight 2008; Huberleand Karnath2012）。由于其对多种社会内容的强大选择性，pSTS已被提出作为社会认知的关键枢纽（Lahnakoski et al。2012）。有趣的是，虽然pSTS显示对对象身份或姿势（实验2）有很少敏感性，我们发现这里的两个实验交互刺激的专门的表现。因此，pSTS似乎较少与个体人或对象表现相关，并且更多地参与了解完全交互的视觉或语义特征。
神经基础行动认可
过去有很多关于行动感知的中性关联的研究，其通常使用视频片段而不是受控图像来研究（在Culham和Valyear2006; Caspers等人2010中综述）。关于行动认可机制的一个争论是行动认可是主要在运动区域还是在社会推理领域进行。在模拟假设下，通过精神上模拟人类行为观察到的目标运动行为来理解，然后推断目标的目标必须是什么，一个假定在镜像神经元中进行的过程（Buccinoet al.2001; Buccino， Binkofski等人，2004; Buccino，Lui等人2004;Calvo-Merino等人2004,2006; Rizzolatti和Craighero 2004; Chong等人2008）。根据目的论假设，行动被一个更抽象的社会推理系统理解，它不依赖于观察者和目标之间的任何机械“共振”（Brassetal.2007; Csibra2007; Hickok2009; Hauser and Wood 2010）。这种观点的支持者认为，在行动观察期间，在运动区域中看到的活动涉及行动预测而不是行动理解（Csibra 2007; Lingnau 等人2009），并且行动观察者所导致错误类型与镜像模拟理论不一致（Saxe 2005）。
由于我们的探照灯实验最多只在社交网络（EBA，pSTS / TPJ和PCC;Saxe 2006）中显示交互效应，并且在运动或前运动皮质中没有显示出任何效果，所以我们的结果为构建行动理解在社会认知区域，而不是在运动区域的观点提供了支持（Wheatley 等人2007）。此外，我们的数据表明，社会认知区域即便在没有任何社会任务下也会处理行动刺激，因为我们的受试者只进行一次后重复检测。然而，我们可能不会观察到电机或预运动参与，因为静态图像没有诱发电机模拟有效。在我们的研究中确定的社会网络之外有1个区域，正确的IPL（在实验1中），其之前已经与动作感知相联系，但其精确功能尚不清楚。一些研究认为由于其交叉适应属性它的区域包含镜像神经元（Chong等人，2008），但激活该区域的刺激不激活猕猴镜像神经元（Hickok 2009）并且病变研究表明，IPL参与对象相关动作的空间编码，而不是实际的语义行为理解（Goldenberg 2009；Kalénine等人2010）。
与对象 - 对象交互研究的比较
先前的研究试图将交互对象和在LOC的活动进行认知分组（Riddoch等人2003;绿色和Hummel2006;罗伯茨和Humphreys 2011）但结果有争议。两项研究表明，或准备相互作用时，LOC中的BOLD活性增加（Kim和Biederman2011）或定位用于相互作用（Roberts和Humphreys2010），而MVPA分析显示相干场景的LOC响应模式可以至少部分被预测为指定对象的反应的平均值（MacE-voy和Epstein 2011），并且面向行动的对象的LOC响应类似于2个对象响应的线性组合（Baeck等人2013）。
我们的研究结果表明，两项研究都是正确的。LOC没有显示出交互对无交互分类的解码偏好（实验1），具有至少部分地与孤立的对象身份（实验1和2）相关的交互表示，并且不包括人体姿势信息（实验2）。 然而，它似乎至少在LOC的较低部分（图7a中的红色区域）编码超出对象身份（实验2）一些交互信息。换句话说，LOC中的表现可能以某种方式通过交互被调制，同时仍主要由孤立的对象身份信息的线性组合驱动。
图7 实验2 中的MVPA交叉解码探照灯。（a）在图6中,我们确定了体素能够解码人与对象交互的动作类别和/或使解码器适用模式平均值。大片的对侧枕叶和颞区域(包括LOC和EBA)可以分类交互时间点，但只有部分的LOC EBA(优先LOC和后EBA)适用分类器的模式平均值。地区红(交互分类器的表现高于随机，但未能适用模式平均值)很可能是处理紧急交互特征的区域。我们还发现PPA的网膜代表(PHC1/2)地区适用模式平均值。(b)A z = 10片侧皮质显示LOC / EBA和pSTS一个明确的区别，pSTS中适用的模式平均值要低得多。误差线表示S.E.M.(c)后PPA(PHC1/2)可以解码对象和交互,交互分类器适用完全孤立的对象(模式平均值)，这表明这个次区域对交互并不敏感。
我们对于PPA中显著的交叉解码的发现是令人惊讶的，鉴于以前的研究表明，PPA产生不可从连续的场景物体中产生的场景表现，（MacEvoy和Epstein 2011）。有几种可能的方法来调和这些结果。一种可能性是PPA的全局场景表现适用于完整的摄影图像，但不是2-元素交互，表明需要更复杂的刺激以激活PPA中的全局处理（具有更多的交互或更明确的3D几何形状）。另一方面，全局表示可能仅在PPA的前部产生，而PPA的后PHC1/ 2亚区（Baldassano 等人2015）以更类似于LOC的方式累积局部视觉特征（Baldassano等人2013 ）。
标识配置处理
我们用于识别刺激特征之间的关系敏感区域的方法，可以用于研究其他类型的配置处理。例如，将墙壁和地板放置在一起以形成3D房间可能引起在对场景布局和导航敏感的区域中的新颖表现。我们的分析表明，在房间训练和测试对墙壁和地板的平均响应时，这些区域将显示出大的交叉解码损失。可以以类似的方式检测负责处理对象之间的关系或情景信息区域（Biederman 等人1982），从而避免平均BOLD活动中变化的模糊性。这种检测配置表现的方法为研究人员提供了一种新的方法，来定位我们丰富，复杂的视觉世界体验的关键领域。
补充材料
补充材料可以在以下网址找到：
http://www.cercor.oxfordjournals.org/
资金
这项工作由国家卫生研究院资助1R01 EY019429（L.F.-F.和D.M.B.）和国家科学基金会研究生研究奖学金资助，批准号为DGE-0645962（到C.B.）
后记
我们感谢理查德M.卢卡斯中心成像，认知和神经生物学成像中心和斯坦福视觉实验室的意见和建议。利益冲突：没有声明
参考文献
ArcaroMM. 2009. Retinotopic organization ofhuman ventral visual cortex. J Neurosci. 29(34):10638–10652.
BaeckA, Wagemans J, Op de Beeck H. 2013. The distributed re-presentation of randomand meaningful object pairs inhuman occipitotemporal cortex: the weightedaverage as a general rule. NeuroImage. 70:37–47.
BaldassanoC, Beck DM, Fei-Fei L. 2013. Differential connectivity within theparahippocampal place area. NeuroImage.75:228–237.
BaldassanoC, Beck DM, Fei-Fei L. 2015.Parcellating connectivity in spatial maps. PeerJ.doi:10.7717/peerj.784
BiedermanI, Mezzanotte RJ, Rabinowitz JC. 1982. Scene perception: detecting and judgingobjects undergoing relational violations. Cogn Psychol. 14(2):143–177.
评论 (0)