论视觉多模态话语的符号间性与认知功效

视觉多模态与人们的认知有着密切的关系。本文首先介绍多模态的基本概念与认知的一般过程,然后系统地阐述视觉多模态作为社会符号形态的符号间性和认知功能。但是,本文的重点是根据不同模态与不同模式的阅读实验数据以及阅读者在实验中所发生的物理动作和心理活动的数据,采用对比法多维度地分析和解读多模态话语和单模态话语在阅读理解、词汇的短期记忆与长期记忆中所产生的差异,从而揭示了视觉多模态话语的认知功效及其相关因素。