RÉSUMÉS DES INTERVENTIONS
Modèles et analyse de mouvements oculaires
Mouvements des yeux et interaction
Technologie d'oculomètres et autres systèmes pour l'interaction via le regard
Modèles et analyse de mouvements oculaires
Stabilisation du regard, Pierre-Paul Vidal (Univ. Paris 5)
La stabilisation du regard, loin d'être un processus simple, permet d'étudier une série de problèmes tels que les transformations sensori-motrices et la plasticité, problèmes dont la résolution est nécessaire à la compréhension du fonctionnement du système nerveux central (SNC) adulte. On peut bien entendu en dire autant de nombreux autres modèles à la disposition des chercheurs et des cliniciens. Néanmoins, la stabilisation du regard est remarquable à deux titres :
1. La stabilisation du regard est un modèle bien défini, dont les entrées et les sorties sont quantifiables C'est un point très important. Les tenants et aboutissants de la stabilisation du regard sont bien compris : à partir d'entrées sensorielles diverses, il s'agit de stabiliser et de réorienter le regard dans l'espace lorsque le sujet subit une perturbation passive. De plus, l'état actuel de la technologie permet de mesurer l'accélération de la tête, le défilement rétinien et le mouvement de rotation du cou à l'origine des entrées proprioceptives. On peut également quantifier précisément les mouvements oculaires et les modifications posturales induits par ces entrées sensorielles. Connaissant les entrées et les sorties, il est possible de modéliser les mécanismes qui lient les premières aux secondes. Ces modèles peuvent être validés : ils permettent de faire des prédictions qui sont ensuite testées expérimentalement par l'enregistrement simultané du comportement et des neurones.
2. Les réseaux de neurones sous-jacents à la stabilisation du regard sont maintenant bien décrits En raison de ce que nous venons d'évoquer, les réseaux de neurones qui stabilisent le regard ont été l'objet d'études intensives depuis environ 25 ans. C'est dire que ses principales caractéristiques sont bien connues. Il en résulte que des questions passionnantes peuvent être maintenant abordées : plasticité du SNC adulte, rôle respectif des propriétés de réseau et des propriétés intrinsèques des neurones qui les composent dans les transformations sensori-motrices, modulation par l'état d'éveil de ces transformations, développement, etc.
Mon exposé consistera donc en une description succincte de ces réseaux de neurones. Pour simplifier cette description, nous nous bornerons à décrire les réseaux de neurones impliqués dans le cas où le déplacement de la tête est effectué dans le plan horizontal, lorsque l'entrée sensorielle est limitée à l'entrée vestibulaire des canaux semicirculaires horizontaux. Enfin, nous ne considérons que les mouvements oculaires, i.e. le réflexe vestibulo-oculaire (RVO). En pratique, ce cas correspond à la situation où le sujet a subi une rotation horizontale dans l'obscurité. Sa tête est immobilisée par rapport au corps pour supprimer les entrées proprioceptives du cou. Néanmoins, l'état actuel des connaissances permettrait de décrire le fonctionnement des réseaux de neurones lorsque le sujet est soumis à une stimulation tridimensionnelle complexe et de dégager des liens de causalité entre le fonctionnement de ces réseaux et les mouvements non seulement des yeux mais aussi du cou, du tronc et des membres, qui permettent de compenser cette perturbation.
Moving two eyes: Brain & body, Zoi Kapoula (IRIS, CESeM, CNRS, Univ. Paris Descartes)
Maintenir le corps débout, en position orthostatique repose sur l’intégration de multiples signaux sensoriels (visuels, vestibulaires, somesthésiques et propriocepifs). Si le rôle de la vision est prépondérant, qu’en est-il de la motricité oculaire ? Pour répondre à cette question, nos recherches se sont focalisées sur l’interaction entre posture et oculomotricité. En particulier, nous avons montré que la déviation de l’image reçue par un œil – via l’application d’un prisme vertical d’un degré seulement – provoquait un mouvement compensatoire de l’œil plus ou moins adapté et agissant directement sur l’équilibre postural. Des patients souffrant d’une déviation verticale latente et intermittente des axes optiques ont par ailleurs témoigné d’une instabilité posturale souvent associée à des douleurs dorsales chroniques. D’autres travaux chez l’enfant confirment l’importance de la motricité binoculaire sur l’équilibre postural, en particulier celui de la vergence permettant de maintenir une vision binoculaire fusionnée.
Ces travaux nous amènent aujourd’hui à définir un modèle conceptuel selon lequel le contrôle moteur binoculaire serait au centre de l’intégration multi-sensorielle, et en interaction permanente avec la fonction vestibulaire et posturale. De plus, le système moteur binoculaire reposerait sur la synergie des mouvements de saccade et de vergence quel que soit l’environnement visuel (espace 3D ou 2D, espace réel ou virtuel). Cette fonction motrice binoculaire intégrative soutiendrait la vision spatiale, l’équilibre et la posture, mais aussi le déploiement de l’attention et les fonctions cognitives.
Sur cette base, je présenterai des travaux récents centrés sur le développement et le vieillissement du système binoculaire moteur chez l’homme, montrant la lenteur de son développement et la nécessité des processus d’adaptation ou de neuroplasticité pour le maintien de cette fonction. En effet, le système binoculaire – et en particulier sa composante de vergence – est particulièrement fragile dans de nombreuses populations, qu’il s’agisse de l’enfant présentant des vertiges liés à des troubles vestibulaires infra-cliniques, de l’enfant dyslexique ou strabique, mais aussi de l’adulte avec pathologie vestibulaire voire avec des troubles auditifs. Au total, plus que 18% de la population éprouveraient des troubles de la motricité et de la vision binoculaires, sans tenir compte des AVC et autres atteintes en présence desquelles le premier système affecté est celui de la vergence.
Selon notre modèle intégratif, la rééducation de la motricité binoculaire pourrait améliorer à la fois la vision et l’équilibre postural. En effet, des études en cours chez l’enfant dyslexique ainsi que chez des personnes âgées chutant ou ayant peur de chuter témoignent de l’intérêt de l’entraînement oculomoteur binoculaire.
Ce travail pose une question d’importance clinique et sociétale : comment définir et mettre en place un tel entraînement ? Nous avons, dans cette perspective, conçu un instrument de rééducation (breveté) basé sur les résultats de la recherche fondamentale sur la motricité binoculaire. L’effectivité d’un tel transfert technologique de la recherche vers la clinique, qui s’avère incontournable en France comme à l’étranger, passera par l’ouverture de certains verrous dans le domaine de la santé publique, notamment en matière de formation des cliniciens et d’appropriation de ces outils.
Disantengling ambient and focal modes on visual scenes processing, Thierry Baccino (LUTIN, EPHE)
A current debate on eye movements concerns the meaning of visual fixations during the free viewing of natural scenes. Recent studies suggest that at least two types of visual fixations exist: focal and ambient fixations. The former is believed to be used to inspect local areas accurately, whereas the latter is used to obtain the context of the scene. The presentation will present the theoretical background, the methodology to isolate these different fixations (as well as the EFRP technique) and some experimental evidence showing the validity of such hypotheses.
Modèles de mouvements des yeux : état de l’art et applications, Andrea Carbone (ISIR, UPMC)
Studying eye-movements is a way to understand the underlying cognitive processes corresponding to complex activities such as visual search, reading or driving. Eye movements themselves are considered as motor actions initiated in response to external stimuli and goal oriented drives. They are related to how people allocate and deploy attentive resources during scene perception and action thus linking an externally observable event - the rapid shift of the gaze or overt attention - to an internal correlated neural brain activity called covert attention that anticipates the successive overt reaction. Significant correlations of fixation distribution with low-level visual features have been observed in a wide range of studies but still computational models of visual saliency based on feature conspicuity alone are not able to fully predict the gaze distribution across different tasks, contexts and subjects.
In this talk I will introduce a literature review about eye-movements and visual attention modeling research and future perspectives. Finally I will also show how eye-movements can be exploited in the domain of robotics and assistive technologies.
Mouvements des yeux et interaction
Acting and communicating with eye movements, Jean Lorenceau (ICM, CNRS)
In everyday life, eye movements are devoted to vision so as to direct the eyes to relevant sources of visual information. The oculomotor system being endowed with exquisite motor abilities and a large repertoire of eye movements, using the eyes as a motor tool to act onto the world and communicate with others would be desirable. However, the oculomotor system being tightly link to vision, generating voluntary eye movement - pursuit eye movement in particular- requires visual targets. I shall present a device that overcomes these limitations and allows generating pursuit eye movements, so as to write letters, digits, words or drawings at will and that can be extended to other type of actions. The principle relies on a visual illusion of reverse-phi motion (Anstis, 1970), elicited by the eye movements themselves, that provides a visual motion substrate to control and direct eye movements. Enabling the action-perception loops requires training, but one can gain the capability to generate smooth eye trajectories at will after a few training sessions. In this talk, I shall describe the device and discuss its applications to communication for disabled people as well as extensions to other domains.
Analyser le movement des yeux pour “mesurer” la construction “online” de modèles mentaux à partir de la visualisation de scènes dynamiques complexes, Jean-Michel Boucheix (LEAD, Univ. Bourgogne)
Dans l’étude des processus perceptifs et cognitifs en psychologie, l’usage des techniques du mouvement des yeux s‘est souvent limité au suivi et à l’analyse des durées de fixation, des saccades, et des trajectoires oculaires (scanpaths) sur des aires d’intérêt délimitant des stimuli très variés (mots écrits, notations musicales, scènes visuelles etc.) et présents devant le sujet (Rayner, 1998 ; Rayner & al. 2010 ; Baccino, 2004, 2010) sans objectif d’apprentissage. Jusqu’à présent également, la majorité des études a concerné des stimuli statiques et non dynamiques. Dans cette présentation, nous exposerons brièvement les résultats de 3 expérimentations qui utilisent les techniques de mouvement des yeux avec un objectif différent : décrire et « mesurer » la construction de modèles mentaux (internes) au cours de l’apprentissage ou de la compréhension de scènes dynamiques complexes. La première expérience porte sur l’apprentissage de la reconnaissance de mouvements non humains. Après une exposition à des mouvements biologiques complets, les participants devaient imaginer le mouvement de parties manquantes à partir de la visualisation de parties présentes. Le mouvement des yeux était enregistré. L’effet de cet apprentissage, en comparaison avec un apprentissage à partir de la visualisation du mouvement complet, était testé par une épreuve reconnaissance. Dans la deuxième expérience, les mouvements des yeux de participants visualisant des vidéos d’actions quotidiennes sur un écran sont comparés à ceux de participants écoutant une description verbale de ces actions et regardant un écran « blanc ». La troisième étude s’intéresse aux anticipations « on line » au cours du traitement cognitif de partitions musicale de chefs d’orchestre pendant l’activité de direction d’un orchestre exécutant une pièce musicale. Enfin, en fonction du temps disponible une étude récente sur l’obéissance à des signalisations visuelles continues pourra être présentée.
Commande oculaire de caméras 3D, Geoffrey Tissier, Charles Tijus (CHArt-LUTIN, Univ. Paris 8), Marie-Jeanne Lesot, Bernadette Bouchon-Meunier, Gilles Moyse (LIP6, UPMC), Yves Pupulin (Binocle)
Parmi les technologies cognitives, - associant mathématique et algorithmique aux modèles de la cognition et du comportement -, l’intérêt de la commande oculaire de dispositifs a été très tôt relevé (Ware & Mikaelian, 1987) pour ses applications militaires (e.g. Smyth, Bates, Lopez & Ware, 1994), les interactions humain-machine (e.g. Jacob, 1991), avec la notion de « non-command user interface », la commande à distance (e.g. projet du IBM Almaden Research Center), ou la commande robotique (e.g., Atienza & Zelinsky, 2003). Le mouvement oculaire, lorsqu’il est opératif, est trouvé plus rapide parce que plus direct que la commande motrice, ceci pour les commandes de pointage et de direction (travaux du Gaze-Based Interaction Group).
D’une part, tous ces dispositifs sont basés sur du « location-based interaction » (pause oculaire sur une commande iconique ou une zone de l’écran lorsqu’il s’agit de zoomer par exemple) associée à du « time-based interaction » (durée de la pause oculaire). D’autre part, il n’existe pas jusqu’ici de système de commande oculomoteur de prise de vue alors même qu’un tel système présenterait d’indéniables avantages. Parmi les avantages, on citera les mains libres, mais surtout la commande de la prise de vue de l’image à partir de l’image elle-même : la manière naturelle de voir appliquée à la prise de vue. Avec un tel dispositif, le réalisateur, qui dispose du viseur et d’un écran de contrôle, pourrait travailler directement la prise de vue à partir d’un écran de contrôle de grande taille (à partir duquel se fait le parcours oculaire) sur une image plus proche par sa taille de l’image finale. La nature continue des commandes de caméra et fait que le « location-based interaction » qui repose sur des coordonnées absolues n’est pas adapté.
Dans le cadre du PIA Action 3DS, nous travaillons sur la mise au point d’un procédé « movement-based interaction » permettant de commander par le regard la position de caméras à partir des mouvements des yeux, le guidage de caméra s’effectuant via des coordonnées relatives, dans une boucle perception-action oculomotrice, assistée par la logique floue, qui permet de filmer de façon simple et naturelle présente. L’objectif final est de pouvoir transposer ce principe pour 2 caméras en récupérant les informations binoculaires (vergence) afin de pouvoir aussi filmer en profondeur.
Le système qui utilise ce procédé présente des avantages : rapidité de réaction, simplicité de mise en œuvre, contrôle très naturel, pas de calibration des moteurs (il suffit que la caméra soit approximativement dirigée dans la direction de départ souhaitée), une calibration imparfaite de l’oculomètre peu handicapante : si c’est le cas, le point de référence sera simplement déplacé, dans une proportion généralement acceptable.
Références
Atienza, R. , & Zelinsky, A. (2003). Interactive Skills Using Active Gaze Tracking" , ACM 5th International Conference on Multimodal Interfaces, Vancouver Canada, Nov 2003.
Jacob, R. J. K. (1991). The use of eye movements in human-computer interaction techniques: What you look at is what you get', ACM Transactions on Information Systems 9(3), 152-169.
Smyth, C. C., Bates, B. B., Lopez, M. C. & Ware, N. R. (1994). A comparison of eye-gaze to touch panel and head-fixed reticle for helicopter display control and target acquisition during a simulated armed reconnaissance mission, in `Proceedings of the 2nd Mid-Atlantic Human Factors Conference', p. 49. Abstract.
Ware, C. & Mikaelian, H. H. (1987). An evaluation of an eye tracker as a device for computer input, in J. M. Carroll & P. P. Tanner, eds, `CHI + GI 1987 Conference Proceedings', SIGCHI Bulletin, ACM, pp. 183-188. Special Issue.
De la reconnaissance actives des formes à l’apprentissage de la lecture de la direction du regard dans des jeux d’interaction, Philippe Gaussier (ETIS, ENSEA, Univ. Cergy Pontoise, UMR CNRS 8051)
Reconnaître une scène visuelle peut être grandement simplifié par une exploration active. Le « scan-path » fournit des informations intéressantes pour caractériser une scène en tant que séquence de vues locales. Des expériences sur robots nous ont permis d’analyser les limites de cette approche et de nous concentrer sur l’exploitation de ces données en tant qu’information relative à la topologie de la scène. Nous monterons comment ces informations peuvent être indifféremment exploitées au travers d’une intégration temporelle d’informations « what » and « where » pour reconnaître un objet, une scène ou un lieu.
En parallèle, l’usage d’une caméra mobile à champs de vision limité permet à un humain de mieux comprendre ce que fait le robot. Son « regard » devient lisible et fournit implicitement des informations sur ce qu'il utilise dans son environnement pour prendre des décisions. Nous avons montré qu’un robot peut au travers d’un jeu d’interactions avec un humain apprendre à reconnaître la direction du regard de l’humain pour peu que ce dernier l’imite en regardant les mêmes objets que le robot. L’un de l’élément clé pour le développement de ces interactions est la capacité du robot à focaliser son attention en alternance sur un objet et sur le visage de son partenaire.
Technologie d'oculomètres et autres systèmes pour l'nteraction via le regard
Suivi du regard à l'aide d'un eye tracker porté en éclairage visible, Francis Martinez, Andrea Carbone, Edwige Pissaloux (ISIR, UPMC)
Le suivi du regard est une source d'information importante pour comprendre le comportement humain: il permet de connaître les points d’intérêts et les intentions d’une personne. Dans cette présentation, nous proposons une méthode permettant d’estimer le regard à partir d’un eye-tracker binoculaire porté. Contrairement à la plupart des systèmes basés sur l’éclairage infrarouge, notre approche fonctionne en éclairage visible. Pour cela, nous nous inspirons des méthodes basées apparence qui, au lieu, d’extraire des caractéristiques géométriques (ex. pupille ou iris), exploitent l’image de l’œil dans sa globalité et donc permettent de prendre en compte toutes les caractéristiques de l’œil. De plus, au lieu d’utiliser l’intensité du pixel, nous extrayons des caractéristiques reposant sur l’information du gradient. En effet, celle-ci n’a jamais été explorée dans le cadre d’une méthode basées apparence, or elle est fortement exploitée dans le cadre des méthodes géométriques. A partir des caractéristiques d’apparence, nous entrainons des regresseurs permettant d’estimer les coordonnées du point de regard dans l’image de la caméra de scène. Deux méthodes non-linéaires sont comparées : Support Vector Regression et Relevance Vector Regression. Des résultats expérimentaux sur divers sujets montrent que la méthode proposée donne des résultats encourageants.
Développement d'un oculomètre adapté à la formation des jeunes conducteurs: Calibrage rapide et correction de parallaxe, Christophe Cudel (MIPS, UHA)
Le laboratoire MIPS s’intéresse à l’oculométrie et l’automobile. Ces travaux s’inscrivent dans le cadre d’un projet Européen visant à améliorer l’apprentissage de la conduite, mais aussi dans la thématique plus large de notre équipe autour du véhicule intelligent.
Cette présentation abordera les approches retenues pour simplifier le calibrage d’un oculomètre et les travaux menés pour corriger les effets de parallaxes inhérents aux oculomètres portés par l’utilisateur.
Ensuite, la présentation montrera que le prototype développé s’intègre dans un dispositif d’aide à l’apprentissage de la conduite. Il trouve des débouchés dans l’évaluation des capacités à conduire des personnes handicapées ou en reprise de conduite suite à un traumatisme.
Cette présentation se conclura par la description d’un projet en cours associant oculométrie et projection rétinienne et destiné aux personnes atteintes de la DMLA.
Conception d'un système oculométrique à partir d’une webcam, Ke Liang, Youssef Chahir & François Jouen (EPHE)
La plupart des systèmes actuels d’oculométrie utilise les caractéristiques des yeux (comme le centre du pupille ou le reflet cornéen d’une source infra-rouge) pour estimer la position du regard. Le système que nous développons se différencie dans la mesure où il travaille à partir d’un modèle d’apparence des yeux. Le système est non-intrusif et ne nécessite pas de source infra-rouge. Ce système utilise une phase de calibration de 8 points. En premier lieu, nous extrayons la région des yeux du sujet depuis l'image fournie par une simple webcam. Ensuite, nous créons une corrélation entre l'image des yeux et les coordonnées de chaque point de calibration. Enfin, nous utilisons une méthode d'apprentissage semi-supervisé, qui se fonde sur la régression par processus gaussien, pour estimer la position du regard.
Problématiques autour de la capture de mouvement des yeux chez ESSILOR, Damien Paillé (ESSILOR)
Un verre progressif est un verre dont la puissance augmente entre sa partie haute dédiée à la vision de loin et sa partie basse dédiée à la vision de près. Les lois de la physique font que des aberrations optiques y apparaissent en périphérie. Une des principales difficultés dans la conception du verre progressif réside en la répartition de ces aberrations de façon à ce qu’elles impactent le moins possible la vision du porteur dans sa stratégie oculomotrice.
Nous disposons de plusieurs outils d’investigation permettant l’étude du comportement du porteur dont l’un des principaux est un simulateur en réalité virtuelle. Bien que n’étant pas équipé d’eye-tracker, cet outil nous permet d’étudier indirectement les mouvements des yeux à partir des mouvements de tête. Cet outil nous a notamment permis de développer un verre personnalisé prenant en compte la coordination œil-tête d’un individu.
Nous disposons également de plusieurs système d’eye-tracking qui vont nous permettre d’étudier différents axes de recherche, dont les interactions vision et locomotion mais aussi les changements qu’apportent les nouvelles technologies dans nos stratégies de lecture.
Pour finir, nous présenterons quelques problématiques techniques liées à l’eye-tracking, au sein d’ESSILOR.