E42 Multisensorische Fusion

Thema

Multisensorische Fusion kombiniert Informationen aus verschiedenen Kanälen wie Sehen, Propriozeption und dem Gleichgewichtssinn, um eine genauere Einschätzung des Zustands der Umgebung zu ermöglichen, als dies mit jedem einzelnen Kanal möglich wäre. Der Bayes'sche Ansatz besagt, dass die optimale Kombination jedes Signal entsprechend seiner Unsicherheit gewichtet: Je geringer seine Varianz und damit seine Genauigkeit, desto höher sein Gewicht in der endgültigen Schätzung. Die Kombination mehrerer unabhängiger Sensoren verbessert die Genauigkeit schrittweise. Bei identischen Sensoren steigt der Genauigkeitsgewinn mit der Quadratwurzel ihrer Anzahl. Zwei Sensoren mit gleicher individueller Varianz liefern in Kombination eine Schätzung mit halber Varianz. Generell reduziert eine Erhöhung der Anzahl unabhängiger Informationsquellen die Unsicherheit der gemeinsamen Schätzung. Dieses Prinzip gilt auch, wenn die Modalitäten unterschiedliche Genauigkeitsgrade aufweisen: Das zuverlässigste Signal erhält ein höheres Gewicht, aber auch das weniger genaue kann noch nützliche Informationen liefern. Dem Text zufolge nähert sich das menschliche Nervensystem diesem optimalen Verhalten bei Positionsbestimmungsaufgaben an, die Sehen und Tastsinn kombinieren.

Bevor zwei Signale zusammengeführt werden, muss jedoch geklärt werden, ob sie denselben Ursprung haben. Zwei Sinnesreize können unterschiedliche Aspekte eines Objekts oder Ereignisses repräsentieren, aber auch unabhängig voneinander entstehen. Ein kausales Bayes'sches Modell schätzt die Wahrscheinlichkeit einer gemeinsamen Ursache und passt den Integrationsgrad entsprechend an. Ist diese Wahrscheinlichkeit hoch, verschmelzen die Signale stark; ist sie niedrig, werden sie eher unabhängig verarbeitet.

Dieses Prinzip erklärt die Bauchrednerillusion. Wenn ein visuelles und ein auditives Signal nahe beieinander liegen, kann das System sie einer gemeinsamen Ursache zuschreiben und die wahrgenommene Position des Schalls in Richtung der visuellen Quelle verschieben. Vergrößert sich der räumliche Abstand zu stark, sinkt die Wahrscheinlichkeit einer gemeinsamen Ursache, und die Integration nimmt ab. Je größer die Diskrepanz zwischen den beiden Signalen, desto geringer ihre Tendenz zur Verschmelzung. Der Text stellt einen Zusammenhang zwischen diesem Mechanismus und anderen Bayes'schen Schlussfolgerungsprozessen bezüglich des Körpers her, wie beispielsweise der Gummihandillusion.

Der McGurk-Effekt ist ein weiteres Beispiel für multisensorische Integration. Das Hören eines bestimmten Sprachlautes bei gleichzeitiger Beobachtung einer visuellen Artikulation, die einem anderen Laut entspricht, kann die Wahrnehmung eines dritten Phonems auslösen. Dem beschriebenen Modell zufolge entspricht die resultierende Wahrnehmung derjenigen, die unter Berücksichtigung auditiver und visueller Informationen die größte Gesamtplausibilität bietet. Keine der beiden Modalitäten allein erklärt das Ergebnis vollständig; es ergibt sich aus ihrer Integration unter der Annahme, dass beide Signale von derselben Sprachquelle stammen.

Dasselbe Prinzip der Unsicherheitsgewichtung findet sich im Kalman-Filter. Dessen Verstärkung bestimmt, wie stark sich das System auf die Vorhersage seines internen Modells und wie stark auf eine neue sensorische Messung stützen soll. Ist die neue Messung sehr präzise, ​​verschiebt sich die Schätzung primär in diese Richtung. Weist die interne Vorhersage hingegen eine geringere Unsicherheit auf als die Beobachtung, erhält letztere ein höheres Gewicht. Die Gewichtung passt sich somit kontinuierlich der relativen Zuverlässigkeit beider Quellen an.

Dieser Mechanismus stellt auch ein grundlegendes Prinzip von Trägheitsnavigationssystemen dar, bei denen akkumulierte interne Schätzungen periodisch durch externe Beobachtungen korrigiert werden müssen. Dem Text zufolge implementiert das Kleinhirn eine vergleichbare adaptive Gewichtung innerhalb der sensomotorischen Koordination und ergänzt damit Mechanismen, die dem Kalman-Filter zur Zustandsschätzung und dem LQR-Regler zur Aktionssteuerung analog sind.

Multisensorische Fusion ist also nicht einfach eine Frage der Signaladdition. Zunächst muss abgeschätzt werden, ob die Signale auf eine gemeinsame Ursache zurückzuführen sind, und anschließend muss jedes Signal entsprechend seiner Genauigkeit gewichtet werden. Die kausale Bayes'sche Inferenz bestimmt, wann eine Integration sinnvoll ist, während Prinzipien wie die Kalman-Verstärkung festlegen, wie stark die einzelnen Quellen und interne Vorhersagen gewichtet werden. Das Nervensystem erhält so genauere und robustere Schätzungen und passt die Integration kontinuierlich an die Unsicherheit und Kohärenz der verfügbaren Informationen an.

ID:2398