视觉叙事感知和js345线路检测
我们开发了一个理论框架来解释场景和事件的感知如何与js345线路检测视觉叙事相关联(e.g., 漫画和电影). 它被称为 场景感知 & 事件js345线路检测理论(SPECT). js345线路检测更多信息, 参见洛施基, 拉森, 史密斯, &js345线路检测p; 马利亚诺 (2020),和洛施基, 哈特森, 史密斯, 史密斯, &js345线路检测p; 马利亚诺 (2018).
电影js345线路检测和眼球运动
看电影时, 电影观众通常不知道他们如何js345线路检测情节并js345线路检测正在发生的事件. 不知不觉, 观众必须时时刻刻、在不同的场景和镜头中建立联系和推理. js345线路检测角色的想法或感受, 他们必须解释自己的行为, 肢体语言, 和面部表情. 大量无意识的努力投入到创建正在播放的电影的心理模型, 但经验会让这项任务变得更容易, 因为许多人在年轻时就开始接触电视,然后看着电影长大并学习js345线路检测它们. 对电影叙事的js345线路检测的研究是心理学中一个相对较新的领域. 但是, 该领域的一些基础研究, 以及电影界数十年的理论和实践, 为提出基本问题奠定了基础:我们如何js345线路检测电影?
js345线路检测中的眼球运动研究记录了注意力同步现象, 当多个观看者同时观看相同的内容时就会发生这种情况(史密斯) & 军事, 2013; 多尔等人., 2010; 哈森等人., 2008)(蒂姆·史密斯对注意力同步的说明: https://www.youtube.js345线路检测m/watch?v=iDQlMrhyjtw). 注意力同步被认为是由于电影中演员和物体的身体运动而发生的(Mital 等人., 2012), 以及电影特有的元素; 最值得注意的是所使用的剪辑以及镜头的构图方式(Cutting 等人., 2011). 反对观众之间的注意力同步, 单个电影观众可能会根据他们对叙事的个人js345线路检测将他们的注意力引导到他们感兴趣的场景区域,这是有道理的, 这可能与其他人不同. 例如, 当您和另一半一起坐在沙发上看电影时, 并在电影中间加入, 虽然你们看的是同一部电影, 您的js345线路检测可能与您重要的其他人的js345线路检测不同, 至少在开始时. 这种js345线路检测上的差异是否也会导致你们各自的看法有所不同? 有大量证据表明,当人们观看图片时, 他们根据自己的任务引导注意力(亚布斯, 1967; 德安吉勒斯 & 佩尔兹, 2009), 当他们阅读时(雷纳, 1998)他们根据对文本的js345线路检测来引导注意力. 但是, 电影中的js345线路检测引导注意力可能与看图片和阅读时的注意力引导有很大不同. 最值得注意的是, 电影的刺激驱动特性可以在不同观看者之间创造注意力同步,这可能会让观看者不太可能根据自己的js345线路检测来引导眼球运动.
js345线路检测项目
视觉认知实验室的两个项目测试了叙事电影中眼球运动与js345线路检测之间的关系(洛施基, 拉森, 马利亚诺, &js345线路检测p; 史密斯,2015; 哈特森, 史密斯, 马利亚诺, &js345线路检测p; 洛什基,2017).
A js345线路检测录制京都大学讲座 描述了这两项js345线路检测.
这些js345线路检测中测试的竞争假设是:
心智模型假设:自上而下的过程(涉及js345线路检测)将引导观看者的注意力,从而在对叙事有不同js345线路检测的观看者之间创造低注意力同步性.
js345线路检测假设的暴政:自下而上的功能将引导注意力并消除观看者之间基于js345线路检测的差异.
在这两项研究中, 测试假设的第一步是操纵参与者对他们正在观看的电影的js345线路检测. 这是使用 跳到中间 范式。 此范例使用电影开始后进入电影的常见体验, 例如看电视时, 并且很难js345线路检测电影的前几秒或几分钟. 尤其是与从一开始就观看电影的人相比. 对于下面介绍的实验, 有两个条件: js345线路检测 观众在哪里js345线路检测完整的影片剪辑, 还有 无js345线路检测 观看者看不到影片剪辑的开头. 这两项研究都采取了一系列js345线路检测措施,包括在剪辑结尾处进行预测性推理, 并使用眼球追踪来测试js345线路检测差异是否会因参与者看向的地方而改变.
在 js345线路检测 1, 詹姆斯·邦德js345线路检测中的 6 个镜头影片剪辑 太空城者 (如下所示)被js345线路检测(js345线路检测等人,2015 年).该图显示角色 Jaws 从空中坠落并试图打开降落伞(镜头 1), 意识到它不会部署(镜头 2-3), 还有一些马戏团帐篷的镜头(镜头 4 和 6), Jaws 拍打着手臂,试图飞到js345线路检测之间(镜头 5). 在上下文条件下,参与者看到了下面关键的六镜头序列之前的 3 分钟, 在无上下文中js345线路检测只看到了六个镜头序列.
在 js345线路检测 2(js345线路检测等人,2017) 三分钟连续射击 (i.e., 未经编辑)来自奥森·威尔斯的开场js345线路检测 js345线路检测 被使用(如下所示). 该片段以一枚炸弹的特写开始,然后将其放置在汽车中. 炸弹被放入车内后,恶棍逃跑了, 一对不知道炸弹的夫妇钻进车里,开始沿着繁忙的街道行驶,进出镜头. 剪辑进行到一半时,一对行走的情侣成为新的主角,镜头开始跟随他们. 剪辑即将结束, 步行的情侣和车里的情侣到达边境检查站. 在检查站过了一段时间, 步行的情侣经过, 剪辑以这对行走的情侣特写接吻结束. 针对《邪恶之触》剪辑进行了两组实验. 实验组 1 的无上下文条件在炸弹放入车内后立即开始, 当这对夫妇走向汽车时. 在第 2 集中,无背景组开始观看js345线路检测,而屏幕上正在散步的情侣,但汽车却在屏幕外. 因此, 在第一组中炸弹的知识被操纵了, 在第二组中,对炸弹的了解和感知到的主角(车里的情侣或行走的情侣)被操纵了.
总体, 在这两项研究中,由于中间跳范式以及根据他们在剪辑结束时做出预测推理的能力来衡量,参与者在js345线路检测上表现出巨大差异. 在詹姆斯·邦德实验中,情境条件下的参与者更有可能做出关于角色坠落到帐篷中的推断. 在“邪恶之触”实验中,参与者更有可能做出炸弹会爆炸的推断. 但是, 进行的大部分实验, 这些js345线路检测差异对眼球运动没有影响. 仅在每个剪辑的特定时间才发现眼球运动的微小差异. 面对如此巨大的js345线路检测差异,这种缺乏效果的现象被称为电影的暴政(洛施基, 拉森, 马利亚诺, &js345线路检测p; 史密斯,2015).
这项研究展示了注意力同步的力量,以及电影的暴政如何几乎消除了由于电影js345线路检测差异而导致的眼球运动和注意力的个体差异. 但是, 眼球运动的一些细微变化仍然可以揭示观众之间的差异,具体取决于他们对电影的js345线路检测. 我们正在进行进一步的研究,以了解注意力控制与电影感知和js345线路检测之间的关系.
该领域的未来工作将继续使用图画故事和其他视频来测试视觉叙事中引导眼球运动的角色js345线路检测,以扩展我们在这一基本研究领域的知识,测试自上而下的过程在引导视觉中的作用注意力. 更实用的强调, 这项工作也可以扩展到教育领域,其中js345线路检测是一个目标,视频和图形通常用于帮助js345线路检测.
js345线路检测激起了您的兴趣, 有关这项研究的更详细说明,请参阅本页底部论文和会议演示文稿的链接.
js345线路检测视频 js345线路检测 2js345线路检测欧洲眼动会议 (ECEM) 上给出的内容可见 这里.
视觉叙事js345线路检测:绘制桥接推论
我们如何js345线路检测视觉叙事, 例如电影, 漫画, 图画故事, 或其他图形叙述? 这个难题中一个有趣的部分是我们如何得出桥接推论来填补视觉叙事中的空白. 例如, 如果您查看下面儿童图画故事中的图片(摘自 Mercer Mayer 的书), “青蛙, 你在哪里?") js345线路检测其中描述的事件应该没有问题. 但是, 在一个版本中它显示三张图片, 显示开始状态, 桥接事件, 和最终状态, 而在另一个版本中,它仅显示其中两个图像 - 缺少桥接事件:
在缺少桥接事件的版本中, 你必须做出推论, 即男孩绊倒了. 这有助于解释最终状态图像中发生的情况, 即男孩掉进池塘了. 这似乎是一个非常简单的推论, 当观看视觉叙事时,我们一直在不假思索地这样做. 但研究表明,做出这种桥接推论需要工作记忆. 例如, 如果您在上图中看到男孩跑下山后没想到他会掉进水里, 然后当你看到他时头在水里,脚在空中, 您需要对此进行解释,以保持对故事的连贯js345线路检测. 为了解释这一点, 您应该需要记住,在上一张图片中,男孩正在跑下山(从短期记忆中),并从长期记忆中检索有关跑下山和摔倒之间关系的相关信息,例如绊倒. 这些过程假定发生在工作记忆中. 如果是的话, 那么在js345线路检测视觉叙事的同时产生这样的推论涉及什么样的工作记忆? 是视觉空间工作记忆(因为故事的媒介本质上是视觉和空间)还是言语工作记忆(因为它是一种叙事), 哪个, 喜欢的语言, 涉及按顺序排列的信息), 或两者的组合? 最近的一项研究 (马利亚诺, 拉森, 希格斯 &js345线路检测p; 洛什基,2015), 我们调查了这些问题. 我们的结果表明js345线路检测空间和语言工作记忆都参与其中, 但潜声处理(在头脑中口头叙述故事)不是. 了解更多详情, 参见js345线路检测, 拉森, 希格斯和洛斯基 (2015).
我们还研究了js345线路检测的眼球运动如何帮助他们在阅读图画故事时产生桥接推理 (马利亚诺·赫特森 &js345线路检测p; 洛什基,2018). 我们发现,当观看者需要做出此类桥接推论时, 他们看图片的时间更长. 此外, 使用眼球追踪, 我们发现他们观看时间更长的原因是观看者在此期间的注视时间增加了约 20%. 我们假设这是因为他们需要更多信息来做出桥接推理. 如果是的话, 然后我们询问这些额外的注视是否被发送到图片中对于做出推断特别有用的部分. 回答这个问题, 我们让另一组观看者点击目标图像中的区域,他们认为这些区域可以帮助某人做出桥接推论. 我们发现需要做出桥接推理的观看者更有可能查看那些被确定为有助于做出桥接推理的区域. 那么, 这表明当观众阅读图画故事时, 他们对故事的js345线路检测时时刻刻引导着他们的目光.
最后, 所有这些关于视觉叙事感知和js345线路检测的研究进行测试是为了检验以下假设 场景感知 & 事件js345线路检测理论(SPECT). 如果您有兴趣了解该理论, js345线路检测有两篇论文对此进行了描述 (洛施基, 拉森, 史密斯, &js345线路检测p; 马利亚诺,2020;洛施基, 哈特森, 史密斯, 史密斯, &js345线路检测p; 马利亚诺,2018).
js345线路检测出版物[当前或以前的学生姓名(斜体)]
相关会议演示[学生姓名以斜体js345线路检测]
js345线路检测,J., 史密斯,T., 马利亚诺, J., & 洛施基, L. (2016, 七月). 电影中眼球运动的引导因素? js345线路检测和任务操作的效果差异. 在国际文学实证研究学会 (IGEL) 双年度会议上展示的海报, 芝加哥, 伊利诺伊州.
js345线路检测,J., 史密斯,T., js345线路检测,J.P., 海德布莱希特, G., js345线路检测, T., 唐, J.-L., &js345线路检测p; 洛什基,LC.(2015, 六月). 奥森·威尔斯的《邪恶之触》中眼球运动与js345线路检测力的普遍分离:背景和主角在叙事电影观看中的作用. 运动图像认知研究学会年会上展示的海报, 伦敦, 英国.
Loschky,L.C., 史密斯,T., 马利亚诺,J.P., (2015, 六月). 视觉叙事感知和js345线路检测的综合框架. 在移动图像认知研究学会年会上发表的演讲, 伦敦, 英国.
js345线路检测,J.P., 拉尔森,A.M., js345线路检测,K., &js345线路检测p; 洛施基,L.C. (2015, 五月).在观看js345线路检测时生成桥接推论. 视觉科学学会年会上展示的海报, 圣. 皮特海滩, 佛罗里达州.
js345线路检测,J., 史密斯,T., 马利亚诺, J., & 洛施基,L.C. (2014, 11 月). 观看叙事电影时眼球运动的驱动因素? 电影刺激与更高层次js345线路检测的作用. 2014 年心理经济学会年会上展示的海报, 长滩, CA.
js345线路检测,L.C.,js345线路检测,J., 马利亚诺,J.P., 拉尔森,A.M., & 史密斯, T. (2014, 六月). 用场景感知和事件js345线路检测理论 (SPECT) 解释电影js345线路检测/注意力关系. 在移动图像认知研究学会年会上发表的演讲, 兰开斯特, PA.
js345线路检测,J., 史密斯,T., 马利亚诺, J., & 洛施基,L.C. (2014, 六月). 电影的暴政:js345线路检测奥森·威尔斯的《邪恶之触》中的眼球运动/js345线路检测关系.”在运动图像认知研究学会年会上展示的海报, 兰开斯特, PA.
洛施基,LC, 拉森,AM,马利亚诺,J.P., & 史密斯, T.J. (2013, 11 月.) 大白鲨会做什么? 调查眼球运动与电影js345线路检测的关系. 在心理经济学会 2013 年年会上发表的演讲, 多伦多, 加拿大.