TRAIETTORIE DELLA MULTIMODALITÀ: GLI SNODI TEORICI E I MODELLI APPLICATIVI

Abstract

Questo saggio ripercorre le principali linee di sviluppo degli studi della multimodalità intesa come semiosi della comunicazione nell’ambito di derivazione angloamericana. La multimodalità è definita come una disciplina a sé e discussa nella sua epistemologia attraverso un excursus della sua storia ed evoluzione dalla fine degli anni Novanta ad oggi. Si passano in rassegna alcune scuole di pensiero della multimodalità, a partire dagli sviluppi socio-semiotici di matrice linguistica sistemico-funzionale elaborata da Michael A. K. Halliday in Inghilterra negli anni Settanta. Le principali teorie e prassi di analisi multimodale sono illustrate attraverso alcuni principi cardine per delineare l’ambito di applicazione e le aree privilegiate di indagine. Il saggio inoltre illustra le differenze teoriche e pratiche fra multimodalità e multimedialità, termini spesso utilizzati in modo interscambiabile e dunque improprio. Successivamente, si presenta un’analisi multimodale del video TikTok più popolare di un creator italiano, Khaby Lame, che ha raggiunto livelli di viralità tali da guadagnargli fama e successo a livello globale. L’analisi, di natura qualitativa classica, consiste in una trascrizione e annotazione integrale del breve video più visualizzato al momento della scrittura del saggio, per inquadrare i fenomeni della semiosi della comunicazione digitale in un ambito disciplinare più vasto rispetto alla linguistica pura. Questa apertura ad aspetti non verbali include nell’analisi delle risorse semiotiche elementi quali lo sguardo, il montaggio, la distanza fra partecipanti, la musica, i rumori ambientali, la distribuzione degli elementi nel tempo e nello spazio, e così via. Coerentemente con questo presupposto di base, le conclusioni invitano a un ripensamento della definizione stessa di “lingua della rete”, indicando nella multimodalità, sia come teoria sia come metodo, una prospettiva utile alla lettura consapevole, etica e inclusiva della complessa testualità digitale contemporanea.

Trajectories of multimodality: theoretical foundations and application model

This paper discusses the main theories that map out the development of multimodality as semiosis of communication within the Anglo-American tradition. An overview of the history and evolution of multimodality starting in the late Nineties will motivate the claim that this is a discipline in its own, with its specific epistemology. Some major theories within sociosemiotics approaches are outlined, as resulting from the developments of systemic-functional linguistics as theorized by Michael A. K. Halliday in the Seventies in the UK. Theories and methods will be presented by means of an illustration of some key concepts and principles, with a view to explore some potential applications and preferential objects of studies. The paper also sets out to explain the differences between the concepts of multimodality and multimediality, which are often used interchangeably, thus bringing about theoretical and empirical issues. As a case study, I have selected the most viewed TikTok video produced by an Italian creator, Khaby Lame, who has gained global recognition and immense popularity, to the point of allowing him to obtain Italian citizenship after almost twenty years of Italian residency. The qualitative analysis makes use the typical heuristic tools used by multimodal analysts, namely an integral transcription and annotation of the video, with the aim of showing the full range of the involved digital communicative phenomena that cannot be accounted for only on linguistic grounds. Broadening the domain of analysis beyond the tools provided by linguistics includes the analysis and description of non-verbal semiotic resources, such as gaze, editing, distance between participants, music, ambient sound, compositional strategies in time and space, among others. Consistent with this approach, the concluding remarks encourage further reflections of the very definition of the “language of the net”. It follows that theoretical and empirical research lines mapped out by multimodal studies may ultimately help promote awareness, ethics, and inclusion when engaging with contemporary digital textualities.