Multimodalité
Fiche concept rédigée par Nathalie Lacelle et Eleonora Acerra
Bien que les créations littéraires et artistiques numériques puissent être monomodales, l’œuvre numérique est généralement multimodale.
Cela veut dire que plusieurs codes, ressources et modes sémiotiques sont utilisés pour véhiculer le message : matières iconiques (images), verbales (textes), gestuelles (actions et gestes), cinétiques (animations) et sonores (musiques et sons) façonnent le texte numérique.
Diversement combinées, ces ressources coconstruisent le message et, en même temps, donnent lieu à des procédés poétiques, rhétoriques et stylistiques partiellement inédits, tels des métaphores animées ou des animations textuelles.
Pour lire et écrire des œuvres numériques il est donc nécessaire de maitriser des compétences spécifiques, qui relèvent, selon Kress et Van Leeuwen (1996), de quatre composantes principales associées à la dimension multimodale du texte numérique :
« la matérialité (…) ; l’architecture visuelle (le framing), soit la manière dont les éléments de la composition visuelle s’articulent, sont disposés, combinés ; le design, soit la façon dont les individus font usage de ressources sémiotiques particulières pour mettre en forme leurs représentations ; la production, soit la création et l’organisation d’une représentation (site Web, film, podcast, visual text, théâtre…) ».
Traduction libre de Lacelle et Lebrun (2016)
En d’autres termes, tout enseignement de la littérature numérique exige une formation des élèves à la compétence multimodale, que Lacelle, Lebrun, Boutin, Richard et Martel (2015) définissent comme la capacité à lire et à communiquer en combinant au moins deux modes sémiotiques sur des supports médiatiques variés.
La compétence multimodale présuppose des compétences sous-jacentes d’ordre cognitif, affectif, pragmatique, sémiotique et textuel.
Ainsi, comme l’expliquent Lebrun et Lacelle (2012)
« outre les compétences cognitives et affectives telles que l’habileté à distinguer l’implicite, par exemple, ou encore, la capacité à s’investir émotionnellement, elle (= la compétence multimodale) sollicite des compétences pragmatiques de nature idéologique ou sociale, telle que, par exemple, la capacité à distinguer le contexte de production ou de réception d’une œuvre. S’y ajoutent des compétences sémiotiques touchant, par exemple, la reconnaissance des thèmes et des symboles. Lorsqu’on aborde les compétences d’ordre textuel, on se rapproche encore plus de la nature même de la compétence multimodale générale, puisque cette compétence textuelle suppose l’habileté de (re)connaitre, analyser et utiliser, à la fois pour les médias traditionnels et les nouveaux médias, les composantes linguistiques du texte, les composantes sémiotiques de l’image (fixe ou mobile) et les codes spécifiques à la lecture/production en hypertexte, par exemple ».
Il conviendra notamment que les jeunes sachent :
- Saisir les spécificités de chaque mode sémiotique ;
- Lire, comprendre et interpréter un texte issu d’une pluralité de ressources (non exclusivement verbales) ;
- Observer les liaisons qui lient textes, images, actions et gestes, animations, musiques et sons et évaluer comment elles s’articulent, se complètent, voire se contredisent ;
- Saisir les finalités poétiques, stylistiques et rhétoriques des différentes combinaisons modales.
Comment citer cette page :
Lacelle, N. et Acerra, E. (2021, 22 avril). Fiche concept sur la Multimodalité. Lab-yrinthe. https://lab-yrinthe.ca/education/multimodalite