John Redden is een dove, professionele muzikant. Hij kan zuiver zingen, harmonieën zuiver laten samensmelten en hoort muzikale tussenpozen goed genoeg om deze na te doen. Hij kan dit met een cochleair implantaat, een computerchip die chirurgisch in zijn schedel aangebracht is.

De chip voert 16 heel kleine elektroden aan, die bedraad zijn tot in het binnenste oor en zo zijn gehoorzenuwen stimuleren. De chip ontvangt auditieve data van een externe computer die achter zijn oor zit als een gehoor apparaatje. In plaats van geluid versterken, stuurt het digitaal bewerkte geluid naar het implantaat via een radio, dwars door de huid.

De technologie is geniaal, maar mensen als Redden zijn een mysterie. De sofware is namelijk ontworpen voor spraak, dus ‘luistert’ het alleen naar spraak frequenties in plaats van een veel breder spectrum zoals dat van muziek. Het apparaat produceert een algemene vorm van geluid maar pikt niet de gedetailleerde frequentie informatie op, die cruciaal is om toonhoogten te onderscheiden.

De meeste mensen met normaal gehoor, kunnen het verschil tussen twee toonhoogtes die 1.1. halve tonen van elkaar liggen, nog onderscheiden. (Die halve toon is in Westerse muziek de verandering van toon na een ritmische pauze (‘pitch interval’). Maar de Universiteit van Iowa ontdekte tijdens een onderzoek in 2002, dat de meeste gebruikers van dit implantaat pas vanaf 7,6 halve tonen, toonverschillen kunnen onderscheiden.

Er is wel vooruitgang geboekt met schrijven van betere software voor muziek. Ikzelf gebruik ook een cochlear implantaat. In 2005 heb ik nieuwe software, genaamd Fidelity 120 uitgeprobeerd, die 7 virtuele elektroden tussen elke bestaande elektrode stimuleert. Zoals een geluidstechnicus de illusie kan wekken dat een geluid niet uit de speakers komt maar daar tussen vandaan. Door zenuwen tussen elke elektrode te prikkelen gaf de software me een betere frequentie resolutie. Voor mij was dat een beduidend verschil. Als ik deze simulatie van een piano afspeel met mijn oude software (genaamd Hi-Res), kan ik het verschil tussen 3 naast elkaar liggende tonen niet horen. Met de Fidelity 120 gaat dat wel. Muziek klinkt voller, rijker en veel gedetailleerder.

Maar niet iedereen heeft hetzelfde resultaat. Redden, die het qua muziek een stuk beter doet dan ik, heeft de Fidelity 120 geprobeerd, maar geeft toch de voorkeur aan de Hi-Res. Deze verschillen tussen gebruikerservaringen, doen onderzoekers die betere software willen ontwikkelen, perplex staan. De ervaring van muziek is onvermijdelijk subjectief. Een fan van de Sex Pistols zou je vertellen dat ze met bepaalde software ‘Anarchy in the UK’ veel beter hoort, terwijl een Mozart fan zou zeggen dat diezelfde software niks verbetert aan ‘Eine Kleine Nachtmusik’. Persoonlijke ervaringen geven ontwikkelaars niet genoeg informatie om te kunnen bepalen wat er verbeterd moet worden.

Aan de universiteit van Washington vroeg ik Jay Rubinstein, een KNO arts en cochleair implantaat- onderzoeker, het probleem eens uit te leggen: ‘Muziek is geen geheel’, vertelde hij me. ‘Het bestaat uit combinaties van ritme, melodie, harmonieën, dissonanties en tekst. Je zou het moeten ontleden in aparte stukjes om vast te stellen hoe goed of slecht iemand het horen kan.

Dat is precies wat Rubinstein en zijn team van onderzoekers aan de Universiteit van Iowa en Washington doen. Op de jaarlijkse bijeenkomst van de Vereniging van KNO Onderzoekers, op 17 februari, onthulden ze een gecomputeriseerde test; de Klinische Evaluatie van Muziek Perceptie (‘Clinical Assessment of Music Perception, CAMP). In het tijdschrift ‘Otology and Neurotology’ staat in het februari nummer een artikel waarin hun werk beschreven staat.
De CAMP test ontwijkt smaakverschil door muziek te ontleden in 3 basis componenten: hoogte, warmte en melodie. Systematisch wordt bekeken hoe goed de gebruikers elk van de componenten horen.

Perceptie van toonhoogten wordt gemeten als het programma 2 tonen met een korte tussenpose afspeelt en er gevraagd wordt welke toon hoger is. Als er goed geantwoord wordt laat het programma haar 2 tonen horen die dichter bij elkaar liggen. Als er onjuist geantwoord wordt, krijgt ze weer 2 tonen te horen die wat verder van elkaar liggen. Na een aantal pogingen bepaalt het programma het toonverschil dat ze in elk geval kan onderscheiden. Het is een relatief makkelijke test want de toehoorder hoeft alleen maar te zeggen welke toon de hoogste is.

Warmte perceptie wordt gemeten door op 8 instrumenten dezelfde toon te spelen. De gebruiker wordt gevraagd de instrumenten die ze hoort te benoemen. Bijvoorbeeld: er wordt gevraagd of de zojuist gespeelde toon van een piano, fluit of saxofoon afkomstig is. Toon warmte of klank is waarschijnlijk het moeilijkst te definiëren aspect van muziek, maar verschaft een accurate meting voor de mogelijkheid van de gebruiker subtiele verschillen te onderscheiden.

Melodie perceptie wordt op een wel heel bijzondere manier getest. De test maakt gebruik van bekende melodieën als ‘Vader Jacob’ en ‘Kortjakje’. Iedereen herkent ‘Vader Jacob’ natuurlijk door de tekst, dus die wordt weggelaten. Maar ook het ritme, dat wil zeggen, de duur en timing van de tonen worden gewist. Wat overblijft, is een ketting van tonen die even lang duren en even veel stilte tussen elkaar hebben. De melodie is werkelijk het enige dat overblijft!

Ik was één van de proefpersonen in een vroeg stadium van CAMP. De eerste keer dat ik de test deed, gebruikte ik mijn oude software, de Hi-Res. De toonhoogte test was best makkelijk; ik kon de meeste frequenties juist onderscheiden, 75% maar liefst. Maar de toonwarmte test ging me minder makkelijk af; slechts 40% had ik goed.

De melodietest sloeg me uit het veld. De allereerste keer klonk het als bliep bloep bliep bliep bloep bliep ie bliep bloep. Ik staarde naar de computer; ‘wat was dít in godsnaam?’ Ik koos maar wat liedjes uit maar wist alleen het verschil doordat ik verschillende titels zag maar omdat ik geen idee had wat het was wachtte ik maar tot het voorbij was om dan door te gaan naar het volgende ‘liedje’. Bliep bloep bliep bliep bloep bliep ie bliep bloep. En het volgende. Bliep bloep bliep bliep bloep bliep ie bliep bloep.
Was er wel verschil?

Mijn score was minder dan 10%. Ik sprak Chad Ruffin, een van de ontwikkelaars van de test die ook een cochlear implantaat heeft. Ik wilde weten hoe goed een normaal horend persoon die melodie test zou afleggen. ‘Ongeveer 100% goed, zei hij.’

We deden de test opnieuw met de Fidelity 120. De melodietest ging nu beter en ik had een score van 20%. Dat zat dichter op de gemiddelde score van 25%, vertelde Rubinstein me.
Maar John Redden had het veel beter gedaan. Hij liet me zijn score van de melodietest zien en die bleek 100% te zijn. Voor een cochlear implantaat gebruiker is dat een ongebruikelijk hoge score. Een muzikaal professioneel getraind brein werkt dan wel mee. Richard Reed, een muzikant die geheel doof werd op zijn 37e, kreeg het implantaat toen hij 46 was en scoorde 86%. Maar een handjevol proefpersonen scoorden zo hoog.

Rubinstein zegt dat mensen als Redden en Reed bewijzen dat er mogelijkheden te over zijn. Hij vertelde me: ‘Ik wil geen onrealistische verwachtingen scheppen omtrent het horen van muziek met een cochlear implantaat, maar feit is, dat de resultaten zoveel beter zijn dan we verwachtten.’ Zo waren er natuurlijk de resultaten van de hoge scores, maar zelfs veel van de mensen met lage scores van de melodietest hadden wél goed gescoord tijdens de toonhoogtetest, zoals ik.

Die scores suggereerden dat de verborgen capaciteit hoge tonen te kunnen horen aanwezig was, wachtend op een kans zich te ontwikkelen middels betere software en betere training. Rubinstein’s laboratorium heeft bijvoorbeeld geëxperimenteerd met algoritme door een fenomeen te gebruiken dat ‘stochastische resonantie’ heet, om muziek perceptie te verbeteren.

Dus was het me wel duidelijk waarom de melodie test zo moeilijk was. Het was geen onmogelijke opgave voor implantaat gebruikers, maar gewoon een heel moeilijke test. Het was een eenvoudige, gemakkelijk uit te voeren en betrouwbare test waarmee de onderzoekers objectief het functioneren van nieuwe algoritmes kunnen meten. (Een onderzoeksverslag met informatie van een grotere groep proefpersonen dat aantoont dat de test en re-test betrouwbaar zijn wordt momenteel bekeken, zegt Rubinstein.)

De test laat de proefpersonen ook hun eigen vooruitgang meten. Als de scores over 10 jaar zijn verdubbeld, betekent dat, dat gebruikers van het implantaat de basis elementen van muziek daadwerkelijk beter horen.

De test maakt het ook makkelijker voor onderzoekers de scores van de ‘superhoorders’, zoals John Redden, te analyseren. Uiteindelijk kan men daardoor nieuwe sofware ontwikkelen zodat meer dove mensen muziek beter kunnen gaan horen.

Auteur: Michael Chorost
Bron: Technology Review, vertaling Doof.nl. Overname zonder toestemming en bronvermelding niet toegestaan.