SensoryPaint: A Multimodal Sensory Intervention for Children with Neurodevelopmental Disorders

Résumé de l'auteur

Les interfaces utilisateurs naturelles et multimodales offrent une approche innovante pour les thérapies d’intégration sensorielle. Nous avons conçu et développé SensoryPaint, un système multimodal qui permet aux utilisateurs de peindre sur un écran large en utilisant des objets physiques, des interactions basées sur le corps, et de l’audio interactif. Nous avons évalué l’impact de SensoryPaint au travers de deux études : une étude de laboratoire avec 15 enfants ayant des désordres neurodéveloppementaux durant laquelle ils ont pu interagir avec le système durant 1 heure, et une étude de déploiement avec 4 enfants autistes durant laquelle le système a été intégré au sein de sessions quotidiennes de thérapies sensorielles existantes. Nos résultats démontrent que les écrans larges multimodaux utilisant l’interaction corps entier combiné à l’interaction tangible et l’interaction audio équilibrent l’attention des enfants entre leur propre corps et les stimuli sensoriels, augmentant les thérapies existantes et promouvant la socialisation. Ces résultats ont des implications pour la conception d’autres systèmes de l’informatique ubiquitaire pour les enfants avec des désordres neurodéveloppementaux et pour leur intégration au sein des thérapies existantes.

English : Multimodal and natural user interfaces offer an innovative approach to sensory integration therapies. We designed and developed SensoryPaint, a multimodal system that allows users to paint on a large display using physical objects, body-based interactions, and interactive audio. We evaluated the impact of SensoryPaint through two user studies: a lab-based study of 15 children with neurodevelopmental disorders in which they used the system for up to one hour, and a deployment study with four children with autism, during which the system was integrated into existing daily sensory therapy sessions. Our results demonstrate that a multimodal large display, using whole body interactions combined with tangible interactions and interactive audio feedback, balances children's attention between their own bodies and sensory stimuli, augments existing therapies, and promotes socialization. These results offer implications for the design of other ubicomp systems for children with neurodevelopmental disorders and for their integration into therapeutic interventions.

Commentaire du Centre Ressources

Les chercheurs en interaction humain-machine ont aussi exploré la conception de jeux interactifs impliquant le corps entier dans le contexte de thérapies sensorielles. Ici l’enjeu est moins sur l’entrainement de compétences motrices ou sociales spécifiques et plus sur l’expression corporelle et le rapport aux corps de l’enfant. Le projet SensoryPaint présenté dans ce papier propose un dispositif interactif pour l’intervention sensorielle multimodale basé sur la captation de la silhouette de l’enfant, notamment grâce à l’utilisation de la caméra de profondeur Kinect. L’enfant voit sur un écran sa silhouette dont la couleur varie en fonction de la distance par rapport à l’écran, et peut se saisir de boules réelles qui, une fois détectées par le système, deviennent des pinceaux virtuels. Dans le contexte des thérapies sensorielles, ce projet explore l’impact d’une telle interaction (via sa propre silhouette sur un écran) ainsi que du mode d’interaction (libre sans modèle ou avec un guide de coloriage sur l’écran) sur la compréhension que l’enfant a de son corps. Deux évaluations qualitatives (d’abord 15 enfants avec TSA pour une interaction ponctuelle en laboratoire puis un déploiement de 4 semaines avec 4 enfants en thérapie sensorielle) sont présentées. Les auteurs soulignent l’importance d’alterner les interactions guidées et libres, de permettre la participation dans le jeu du praticien et de ne pas négliger l’aspect amusant de l’interaction.