Jordy Pellemans

Hibiki: AI die live vertaalt zonder je stem te verliezen

Jordy Pellemans 12 februari 2025

Stel je voor: je spreekt in het Frans, en bijna tegelijkertijd komt er een vloeiende Engelse vertaling uit, met je eigen stem. Dat is precies wat Hibiki, de nieuwste AI van het non-profit AI-lab Kyutai, mogelijk maakt. Dit baanbrekende spraak-naar-spraak vertaalmodel zorgt niet alleen voor een accurate vertaling, maar behoudt ook de stem en intonatie van de spreker. Wat betekent dit op de lange termijn voor het vreemdetalenonderwijs?

Hoe werkt het?

Hibiki vertaalt gesproken taal direct en synchroniseert de snelheid van de vertaling met de betekenis van de oorspronkelijke boodschap. Dit betekent dat gesprekken natuurlijk blijven aanvoelen, zonder haperingen of onnatuurlijke pauzes. Hoe kan dit? Omdat Hibiki gebruikmaakt van het zogenaamde Moshi model, dat het mogelijk maakt om spraak doorlopend te analyseren. Anders gezegd, luistert de AI niet meer naar een volledige spreekbeurt van een spreker, maar juist doorlopend naar het hele gesprek. Naast de gesproken vertaling genereert Hibiki ook automatisch een geschreven vertaling, wat het een krachtig hulpmiddel maakt voor live communicatie en transcriptie.

Waarom is dit bijzonder?

Op dit moment is Hibiki getraind om Frans naar Engels te vertalen, en het doet dat op een ongekend hoog niveau. Niet alleen de vertaalnauwkeurigheid, maar ook de stemkwaliteit en natuurlijkheid zijn echt fantastisch. Bovendien is het model efficiënt en licht genoeg om zowel online als op apparaten in real-time te werken, oftewel niet alleen maar te gebruiken op heel (letterlijk) zware apparaten.

Open en toegankelijk voor iedereen

Slechts zes maanden na de lancering van hun eerdere spraak-AI Moshi, stelt Kyutai nu de code van hun spraaktechnologie online beschikbaar. Onderzoekers en ontwikkelaars kunnen direct aan de slag met de code en modellen om Hibiki verder uit te breiden, bijvoorbeeld naar andere talen. Dit betekent een forse ontwikkeling in spraaktechnologie. Binnenkort, is de verwachting, komt Hibiki dus ook uit voor andere talen.

Met technologieën als Hibiki wordt de drempel tussen talen steeds lager. Kortom, hoe lang duurt het nog voordat we moeiteloos in elke taal kunnen communiceren, zonder dat taal een barrière vormt? De vaak gefantaseerde babel fish uit the Hitchhiker’s Guide to the Galaxy, of de Universal Translator uit Star Trek? Voor het vreemdetalenonderwijs is het belangrijk om hier oog op te blijven houden. Het zal belangrijk blijven om Engels, Frans en Duits te blijven leren, maar mogelijk is de noodzaak om een echte exotische taal te leren spreken, dankzij deze AI-modellen straks stukken minder groot. De toekomst komt snel dichterbij.

Meer lezen over het onderzoek? Klik hier. En op Medium hier.

Hoe kan AI helpen bij taalherkenning in het brein?

Jordy Pellemans 12 februari 2025

Kunstmatige intelligentie (AI) en neurowetenschappen komen steeds dichter bij elkaar. Onderzoekers van Meta, in samenwerking met het Basque Center on Cognition, Brain and Language, hebben baanbrekend onderzoek gedaan naar hoe AI kan helpen bij het begrijpen en zelfs decoderen van menselijke taal vanuit hersenactiviteit. Dit brengt ons een stap dichter bij geavanceerde machine-intelligentie (AMI) en kan op termijn een enorme impact hebben op communicatie.

Kan AI gedachten omzetten in tekst?

Een van de opvallendste resultaten is dat AI in staat is om tot 80% van de getypte tekens correct te reconstrueren op basis van hersensignalen. Dit gebeurde in een onderzoek van Meta met behulp van MEG en EEG, twee niet-invasieve methoden om hersenactiviteit te meten. Voor mensen met een spraakbeperking of hersenletsel biedt dit kansen.

Hoe zet het brein gedachten om in taal?

Daarnaast heeft AI geholpen bij het ontrafelen van hoe het brein taal produceert. Door hersenscans te analyseren terwijl proefpersonen zinnen typten, ontdekten onderzoekers dat het brein taal omzet in een opeenvolging van acties—van abstracte betekenis (zinnen, zinsdelen en woorden) tot daadwerkelijke bewegingen. Dit biedt niet alleen nieuwe inzichten in taalverwerving, maar ook in hoe AI menselijke denkprocessen kan nabootsen.

Wat betekent dit voor onderwijs en communicatie?

De toepassingen van deze technologie zijn veelbelovend, maar er zijn nog uitdagingen. Denk hierbij aan de nauwkeurigheid van de decodering en de praktische inzetbaarheid van MEG-scanners. Toch laat dit onderzoek zien hoe AI en hersenwetenschap hand in hand gaan om vooruit te komen in dit onderzoeksgebied.