ISMES

Embedded SensoriMotor Interfaces for rehabilitation and aSsistance

Aims and objectives

The aim of the project is to study  the benefit of techniques associating sensors and effectors-stimulators that we call “sensori-motor interfaces”. Those embedded interfaces will allow online measurements of motor activity and augmented sensory feedback  based on a physiological analysis of human action. The objective is to improve the autonomy of disabled persons thanks to sensori-motor learning, rehabilitation and assistive technology.

Enriched sensory feedback allow to compensate the impairments of sensory loops and to reinforce the learning of new compensatory actions. This adresses two scientific challenges. The first is to establish the necessary models to represent the motor actions in a parsimonious way from the sensors. The second is to find the efficent encoding of motor behaviour to provide pertinent sensory or multisensory signals, easily interpretable by the central nervous system. 

The projec will be closely related to clinical neurorehabilitation. Current clinical challenges are first to analyze and rehabilitate the human activities in an enriched context closer to the daily life activity and secondly to develop assistive technology as a function of patients' needs. 

Context

The use of sensory information is mandatory for motor learning [1]. Contemporary technologies allow providing complementary information that are both precise and objective on the mechanical consequences of the human actions (“extrinsic”, “augmented” or “enriched” feedback). The addition of articicial feedback in a sensorimotor interaction has two fundamental aims: to inform about the result of the action (success or failure: knowledge of results, KR) and/or about the quality of movement execution (knowledge of performance, KP)[2]. KR feedback act as positive or negative reinforcement for action while KP feedback allow to use alternative sensory pathways (tactile, visual or auditive) to inform about the parameter of the ongoing movement (for example : smoothness, coordination, équilibrium) that may not be directly perceptible, particularly in case of motor or sensory impairment. However, their use is relatively little documented for rehabilitation [3].

Il est maintenant bien démontré que la plasticité cérébrale qui détermine la récupération à la suite d’un accident vasculaire cérébral (AVC) est sous tendue par l’apprentissage [4]. De nombreuses méthodes de réalité virtuelle associées ou non à la robotique ont été proposées à cet effet comme support d’apprentissage pour la rééducation [5,6 ] . De même, les technologies d’assistance (prothèse ou aide technique) imposent un apprentissage prolongé avant de pouvoir être incluses dans le schéma corporel et permettre un usage intuitif et automatique dans les activités de la vie quotidienne [7].

Une meilleure connaissance de l’utilisation du/des membres déficients lors des activités de la vie quotidienne des personnes handicapées et est un challenge scientifique et clinique [8,9] qui conditionne le suivi clinique et l’adaptation des technologies d’assistance aux besoins des personnes pour une meilleure autonomie. Le contexte scientifique particulier à chaque tâche sera décrit plus bas dans la description de chaque programme.

Project 

Three main applications will be investigated.

  • Sound feedback modality to facilitate the rehabilitation of upper-limb coordination in hemiparetic stroke patients. In relationship with the project using mechanical assistance (exoskeleton) for rehabilitation. 
  • Sound feedback modality to facilitate the integration of an artificial limb (prosthesis) into the body schema.In relationship with the development of innovative smart prosthetic sommands based on physiological signals.
  • Tactile feedback (light touch) to assistance and rehabilitation of posture and gait. In relationship with the development of  gait assistance devices (active cane). 

The project is positioned as the convergence of three domains:

  • Engineering for the conception of embedded interface devices and experimental platforms and for the proposition of coupling laws between motor activity and the delivery of sensory stimuli.
  • Neurosciences to study the sensorimotor interactions from a theoretical and physiopathological point of view. It is also necessary to extract the pertinent information from motor activity logs and to identify the useful sensory stimuli.
  • Neurorehabilitation and assistance to define the patients needs and to validate the devices in the clinics after preliminary tests in healthy subjects.

This proposition corresponds to several axis of the SMART Labex and is perfectly consistent with its objectives. It federates the activities related to rehabilitation and assistance of three laboratories of the UPMC and relies on existing expertise and previous collaboration. The prototypes will be evaluated in a clinical context. 

particular needs of disabled persons and clinical evaluation or their benefits.  

[1] Schmidt  RA. Motor  schema  theory  after  27  years:  reflections  and  implications  for  a new theory. Research Q. for exercice and sport. 2003 74:366-375.

[2] Cirstea CM, Ptito A, Levin MF. Feedback and cognition in arm motor skill reacquisition after stroke. Stroke 2006 37:1237-1242.

[3] Robertson  JVG, Hoellinger T, Hanneton S, Roby-Brami A. Effect of auditory  feedback differs according to side of hemiparesis. J Neuroeng Rehabil. 2009, 6:45

[4] Shmuelof  L, Huang VS, Haith AM, Delnicki RJ, Mazzoni  P, Krakauer  JW. Overcoming motor "forgetting" through reinforcement of learned actions. J Neurosci. 2012 32:14617-4621.

[5] Liebermann DG, Berman S, Weiss PL, Levin MF. Kinematics of reaching movements in 2-D  virtual  environment  in  adults  with  and  without  stroke.  IEEE  Trans  Neural  Syst Rehabil Eng. 2012 20:778-787

[6] Reinkensmeyer D.J., Emken J.L., Cramer S.C. Robotics, motor learning, and neurologic recovery. Ann Rev Biomed Eng.2004 6:497–525.

[7] Pilarski  PM,  Dawson  MR,  Degris  T,  Fahimi  F,  Carey  JP,  Sutton  RS.  Online  human training of a myoelectric prosthesis controller via actor-critic reinforcement learning. IEEE Int Conf Rehabil Robot. ICORR 2011. 

[8] Dobkin BH, Dorsch A. The promise of mHealth: daily activity monitoring and outcome assessments by wearable sensors. Neurorehab Neural Repair 2011 25:788-798. 

[9] Linder SM, Rosenfeldt AB, Reiss A, Buchanan S, Sahu K, Bay CR, Wolf SL, Alberts JL. The home stroke rehabilitation and monitoring system trial: a randomized controlled trial. Int J Stroke. 2013 8:46-53.

Contexte

L’utilisation d'informations sensorielles en retour ou « feedback » est essentielle pour l’apprentissage moteur [1]. Les technologies actuelles permettent de fournir des informations complémentaires (feedback « extrinsèque» « augmenté » ou «enrichi ») à la fois objectives et fines sur les conséquences mécaniques de l’action. L’ajout de feedback dans une interaction sensori-motrice a deux buts principaux : informer sur le résultat de l’action (knowledge of results, KR) et/ou augmenter la connaissance sur la qualité de l’exécution du mouvement (knowledge of performance, KP)[2]. Les feedback de type KR agissent comme renforcement (positif ou négatif) de l’action. Les feedback de type KP permettent d’utiliser les canaux sensoriels alternatifs (tactiles, visuel ou auditif) pour renseigner sur des paramètres du mouvement en cours (par exemple : fluidité, coordination, équilibre) qui ne sont sinon pas directement perceptibles, notamment en cas de déficiences motrices et sensorielles. Toutefois, leur utilisation est peu documentée pour la rééducation [3].


Nous étudierons l’apport de techniques associant des capteurs et des effecteurs-stimulateurs que nous appelons « interfaces sensorimotrices » pour améliorer l’autonomie des personnes handicapées motrices par l’apprentissage sensori-moteur. En effet, l’apprentissage est crucial à la fois pour la rééducation et pour la suppléance. Il est maintenant bien démontré que la plasticité cérébrale qui détermine la récupération à la suite d’un accident vasculaire cérébral (AVC) est sous tendue par l’apprentissage [4]. De nombreuses méthodes de réalité virtuelle associées ou non à la robotique ont été proposées à cet effet comme support d’apprentissage pour la rééducation [5,6 ] . De même, les technologies d’assistance (prothèse ou aide technique) imposent un apprentissage prolongé avant de pouvoir être incluses dans le schéma corporel et permettre un usage intuitif et automatique dans les activités de la vie quotidienne [7].

Un besoin actuel de la recherche en neurorehabilitation est de disposer de dispositifs embarqués. En effet, il importe maintenant de «sortir du laboratoire » pour pouvoir analyser et rééduquer les activités dans un contexte enrichi, plus proche de celui de la vie quotidienne (voire, à plus long terme, à domicile). Une meilleure connaissance de l’utilisation du/des membres déficients lors des activités de la vie quotidienne des personnes handicapées et est un challenge scientifique et clinique [8,9] qui conditionne le suivi clinique et l’adaptation des technologies d’assistance aux besoins des personnes pour une meilleure autonomie. Le contexte scientifique particulier à chaque tâche sera décrit plus bas dans la description de chaque programme.

Enjeux et objectifs

L’objectif central du projet est de concevoir des interfaces sensorimotrices embarquées en vue de restaurer les capacités des boucles sensorimotrices humaines. Il s’agit d’estimer en temps réel le comportement moteur et de renvoyer cette information au système nerveux en utilisant un ou plusieurs canaux sensoriels. Cet enrichissement sensoriel permet de palier les déficiences de certaines boucles sensorimotrices et de renforcer l’apprentissage de nouvelles stratégies d’action. Deux verrous sont à lever. Le premier consiste à établir les modèles nécessaires pour représenter d’une façon minimale le comportement moteur à partir des mesures de capteurs embarqués sur le corps humain. La seconde difficulté revient à trouver le bon encodage du comportement moteur pour le restituer sous la forme d’entrées sensorielles facilement interprétables par le système nerveux. Le caractère embarqué des interfaces se justifie par la volonté croissante de développer et d'étendre la réhabilitation hors des centres médicaux. Certaines des interfaces seront développées afin de fournir à terme une suppléance dans le cadre des activités de la vie quotidienne et doivent par conséquent être portatives.

Cet objectif principal sera mis en œuvre dans trois applications complémentaires. Deux concernent le feedback sonore des gestes du membre supérieur (pour la rééducation post AVC et pour faciliter l’usage de prothèse) et une concernant le rôle du feedback tactile pour l’assistance à la posture et locomotion. Les deux volets du projet ne constituent pas deux blocs séparés, les interactions seront bien au contraire multiples. Par exemple, l’estimation de la posture pendant la marche nécessitera des techniques similaires à celles développées pour le membre supérieur. Des essais de stimuli multimodaux (son et tactile) sont également prévus dans les deux axes.