E42 Fusion multisensorielle

Topique

La fusion multisensorielle combine les informations provenant de différents canaux, tels que la vision, la proprioception et le système vestibulaire, afin de produire une estimation de l'état du monde plus précise que celle obtenue par l'utilisation de chacun de ces canaux pris séparément. Le cadre bayésien stipule que la combinaison optimale pondère chaque signal en fonction de son incertitude : plus sa variance est faible, et donc plus sa précision est grande, plus son poids dans l'estimation finale est important. La combinaison de plusieurs capteurs indépendants améliore progressivement la précision. Pour des capteurs identiques, le gain de précision augmente avec la racine carrée de leur nombre. Deux capteurs présentant la même variance individuelle, lorsqu'ils sont combinés, produisent une estimation dont la variance est deux fois moindre. En général, l'augmentation du nombre de sources indépendantes réduit l'incertitude de l'estimation conjointe. Ce principe s'applique également lorsque les modalités ont des niveaux de précision différents : le signal le plus fiable reçoit un poids plus important, mais le moins précis peut néanmoins fournir des informations utiles. D'après le texte, le système nerveux humain se rapproche de ce comportement optimal dans les tâches d'estimation de position qui combinent la vision et le toucher.

Cependant, avant de fusionner deux signaux, il est nécessaire de déterminer s'ils proviennent de la même source. Deux stimuli sensoriels peuvent représenter différents aspects d'un même objet ou événement, mais ils peuvent aussi provenir de sources indépendantes. Un modèle bayésien causal estime la probabilité d'une cause commune et ajuste le degré d'intégration en conséquence. Lorsque cette probabilité est élevée, les signaux fusionnent fortement ; lorsqu'elle est faible, ils sont traités de manière plus indépendante.

Ce principe explique l'illusion de ventriloquie. Lorsqu'un signal visuel et un signal auditif apparaissent suffisamment proches, le système peut les attribuer à une cause commune et déplacer la localisation perçue du son vers la source visuelle. Si la séparation spatiale augmente trop, la probabilité d'une cause commune diminue et l'intégration commence à disparaître. Plus la disparité entre les deux signaux est grande, moins ils ont tendance à fusionner. Le texte relie ce mécanisme à d'autres processus d'inférence bayésienne concernant le corps, comme l'illusion de la main en caoutchouc.

L'effet McGurk est un autre exemple d'intégration multisensorielle. Entendre un son particulier tout en observant une articulation visuelle correspondant à un autre peut générer la perception d'un troisième phonème. Selon le modèle décrit, la perception résultante correspond à celle qui offre la plus grande plausibilité globale en considérant simultanément les informations auditives et visuelles. Aucune des deux modalités, prise isolément, n'explique pleinement le résultat, qui découle de leur intégration sous l'hypothèse que les deux signaux proviennent de la même source vocale.

Ce même principe de pondération de l'incertitude apparaît dans le filtre de Kalman. Son gain détermine dans quelle mesure l'organisme doit se fier à la prédiction fournie par son modèle interne et dans quelle mesure à une nouvelle mesure sensorielle. Si la mesure nouvellement reçue est très précise, l'estimation s'oriente principalement vers elle. En revanche, si la prédiction interne présente moins d'incertitude que l'observation, cette dernière est davantage pondérée. La pondération s'adapte ainsi continuellement à la fiabilité relative des deux sources.

Ce mécanisme constitue également un principe fondamental des systèmes de navigation inertielle, où les estimations internes accumulées doivent être périodiquement corrigées par des observations externes. D'après le texte, le cervelet met en œuvre une pondération adaptative comparable dans la coordination sensorimotrice, complétant des mécanismes analogues au filtre de Kalman pour l'estimation de l'état et au régulateur LQR pour le contrôle des actions. Globalement, la fusion multisensorielle ne se résume pas à une simple addition de signaux. Il faut d'abord déterminer s'ils correspondent à une cause commune, puis pondérer chaque signal selon sa précision. L'inférence bayésienne causale détermine le moment opportun pour les intégrer, tandis que des principes comme le gain de Kalman établissent la part de chaque source et des prédictions internes à prendre en compte. Le système nerveux obtient ainsi des estimations plus précises et robustes, adaptant continuellement l'intégration à l'incertitude et à la cohérence des informations disponibles.

ID:2398