Zintuigen ontleed
Ik hou van een frietje. Ik hou van de zoutige smaak, het knappertje als ik ‘m doorbijt, de goudgele kleur, de geur en de vettige handen. Het doet me denken aan een zondagavond voor de televisie, of zomerdagen in het buitenzwembad. Er komt veel meer bij kijken dan alleen een goede smaak. Al mijn zintuigen moeten worden geprikkeld. Mijn neus, oren, vingers, ogen, en tong gaan aan het werk gezet voor de ultieme frietervaring.
Niet wat, maar waar ruik ik
Stel je voor dat jouw gebruikelijke frietboer de friet een keer minder goed doorbakken geeft, dat terwijl je daar zo van houdt! Balen, want nu zijn je frietjes gelijk een stuk minder lekker. Ze knisperen minder en zijn niet zo goudbruin. Met smaak alleen kom je er niet: het is juist de combinatie en samenhang van alle prikkels die jouw frietervaring maken of breken. Precies deze samenhang staat centraal in prof. dr. Jean Vroomen lezing, ‘Zintuigen: het complete plaatje’. De hoogleraar Cognitieve Neuropsychologie noemt deze optelsom van de zintuigen een ‘multisensorische integratie’. Deze multisensorische integratie zorgt ervoor dat je niet alleen weet wat je ziet, maar ook waar het beeld vandaag komt, en vice versa. Als ik aan de friet ruik, dan weet ik direct dat wat ik ruik en waar die geur vandaan komt, namelijk dat visueel aantrekkelijke dampende vette bakje friet op tafel.
Deze multisensorische integratie legt zich goed uit als we naar het zogenaamde ‘McGurk’ effect kijken. Het McGurk-effect is de samenhang tussen wat we zien en wat we horen. Vroomen illustreert het met een geluidsfragment. Als je je ogen dichthebt klinkt het alsof de persoon in het geluidsfragment ‘da da da’ zegt. Wanneer ook kijkt, zie je dat de lippen een ‘ba ba ba’ beweging, waardoor je dat ook automatisch hoort. Beeld en geluid versterken elkaar. Je zou dus kunnen zeggen dat je hoort met je oren én je ogen.
Wat je hoort is (niet) wat je ziet
Een ander voorbeeld dat Vroomen aanhaalt om de innige en soms complexe samenwerking tussen de zintuigen te illustreren, zijn buikspreekpoppen. “Een écht goede buikspreker beweegt zijn mond niet of nauwelijks, waardoor het lijkt alsof de pop praat. Dit heet ook wel het ‘buiksprekereffect’, het alokaliseren van geluid”, legt Vrooman uit. Oren en ogen hebben geen eenzijdige functie, maar vullen elkaar aan, trekken aan elkaar, sluiten onderlinge compromissen. In dit geval, als in de meeste gevallen, ‘trekt’ het visuele het geluid aan.
Zoals gezegd is het brein cruciaal bij zintuigelijke waarneming, want daar wordt van alle prikkels een behapbaar geheel gemaakt. Als het daarvoor geluiden toe moet wijzen aan buikspreekpoppen, of ‘ba ba’ moet corrigeren in ‘da da’, so be it. “Het interessante is dat dit bij personen met schizofrenie of die op het autistische spectrum zitten anders werkt. Daarbij kan het brein bepaalde dingen niet of anders aan elkaar koppelen,” legt Vroomen uit. Zo hebben mensen die op het spectrum zitten veel meer moeite om het buiksprekerpopeffect te verwerken. Daar laat het brein het geluid moeilijker (of niet) alokaliseren naar de mond van de pop, omdat de brein de koppeling tussen het visuele en het gehoorde niet kan maken. Het bestuderen van zintuigen en hoe het brein dit verwerkt, helpt dus ook beter te begrijpen hoe mensen op het autistische spectrum de wereld om hun heen ervaren, verklaart Vroomen.
Dus weer even terug naar dat frietje. Als ik een robot zou moeten leren, hoe een goed frietje smaakt, dan zou je niet genoeg hebben aan zout, vet, warm. De robot moet worden geprogrammeerd met een multisensorische integratie: precies op het juiste moment een knappertje te verwachten, het warme gevoel van het frietje te voelen, en terugdenken aan chloorvingers of zondagavond op de bank. En natuurlijk om de mayonaise niet te vergeten. Hoe een simpel gerecht een totaalbeleving kan zijn, dankzij onze fantastische zintuigen.
