Casestudie: AI en Nüshu-taalvertaling

AI helpt bij het behouden van Nüshu, een zeldzaam fonetisch schrift dat meer dan 400 jaar geleden door Yao-vrouwen in China is gemaakt. Met slechts 500 gedigitaliseerde zinsenparen beschikbaar (vanaf 2025) is het vertalen van Nüshu een uitdaging vanwege de beperkte documentatie en unieke één-op-één-toewijzing met Chinese karakters. Onderzoekers van Dartmouth College hebben echter het "NüshuRescue"-framework ontwikkeld, dat geavanceerde AI-modellen zoals GPT-4-Turbo gebruikt om vertalingen te automatiseren en datasets voor deze bedreigde taal uit te breiden.

Belangrijkste hoogtepunten:

• Achtergrond van Nüshu: Een syllabaire met 600-700 karakters, historisch gebruikt door vrouwen om te communiceren in een door mannen gedomineerde samenleving.
• Uitdagingen: Beperkt aantal overgebleven teksten, geen gestandaardiseerd woordenboek, en karakters zonder directe moderne Chinese equivalenten.
• Rol van AI:
  • NüshuRescue Framework: Combineert FastText en Seq2Seq-modellen voor vertaling, beginnend met een dataset van 500 zinnen (NCGold).
  • GPT-4-Turbo: Bereikt 48,69% nauwkeurigheid op onbekende Nüshu-zinnen met slechts 35 voorbeelden.
• Datasets:
  • NCGold: 500 handmatig geselecteerde Nüshu-Chinese zinsenparen.
  • NCSilver: 98 aanvullende vertalingen gegenereerd door AI.
• Toekomstige doelen: Vertalingen uitbreiden naar fysieke artefacten zoals geborduurd zakdoeken en waaiers met behulp van multimodale AI.

Door AI-automatisering te combineren met deskundig onderzoek, ondersteunt dit project niet alleen de behoud van taal, maar zorgt het ook voor nauwkeurige en respectvolle vertalingen van dit bedreigde schrift.

Kan AI bedreigde inheemse talen redden? | The Take

sbb-itb-0c0385d

Hoe AI Nüshu vertaalt en bewaart

AI is een belangrijke speler geworden in het behoud van Nüshu, vooral omdat er zo weinig menselijke experts zijn die vloeiend de taal spreken. Het handmatig vertalen van deze taal met beperkte middelen is zowel duur als tijdrovend, wat onderzoekers ertoe heeft aangezet nieuwe methoden te verkennen. Een opvallend voorbeeld van deze inspanning werd gepresenteerd op COLING.

In januari 2025 introduceerden onderzoekers Ivory Yang, Weicheng Ma en Soroush Vosoughi van Dartmouth College het NüshuRescue-framework op de 31e Internationale Conferentie over Computationele Linguïstiek (COLING). Dit systeem maakt gebruik van geavanceerde AI om vertalingen te automatiseren en taalkundige hulpbronnen uit te breiden met minimale menselijke inbreng. Zoals zij beschreven:

"NüshuRescue biedt een veelzijdig en schaalbaar hulpmiddel voor het herstel van bedreigde talen, waarbij de noodzaak voor uitgebreide menselijke inbreng tot een minimum wordt beperkt." ^[1]

Het framework pakt een kritiek probleem aan: het gebrek aan Nüshu-sprekers en wetenschappers die in staat zijn het volume aan vertalingen te produceren dat nodig is om de taal te behouden. Met behulp van iteratief leren en data-augmentatie begon het systeem met een zaadcorpus van 500 zinnen (NCGold) en breidde het uit door NCSilver te genereren - een secundaire dataset van 98 nieuw vertaalde moderne Chinese zinnen. Dit geautomatiseerde proces vult de leemte in die is ontstaan door het tekort aan menselijke experts, waardoor grootschalige vertaalingswerk haalbaar wordt.

Hoe AI-modellen Nüshu verwerken

Het trainen van AI om met Nüshu te werken brengt zijn eigen uitdagingen met zich mee. Het schrift heeft een unieke één-op-één-karaktertoewijzing met het Chinees - elk Nüshu-karakter komt precies overeen met een enkel Chinees karakter. Om ervoor te zorgen dat deze toewijzing nauwkeurig blijft, maakt het systeem gebruik van gespecialiseerde validatieregels, zoals lengtevalidatie, om de taalkundige nauwkeurigheid gedurende het proces te behouden ^[3].

Het NüshuRescue-framework maakt gebruik van een combinatie van AI-technologieën om deze complexiteiten aan te pakken. FastText-modellen worden gebruikt om de tweetalige relaties tussen Nüshu en Chinees te coderen, terwijl Sequence-to-Sequence (Seq2Seq)-modellen directe vertalingen tussen de twee schriften beheren. Deze hybride aanpak stelt de AI in staat Nüshu's unieke structuur te begrijpen, zelfs met een beperkte dataset ^[3].

Hoewel menselijke inbreng nog steeds deel uitmaakt van het proces - tweetalige annotators raadplegen online converters en gedrukte werken zoals A Compendium of Chinese Nüshu - wordt het merendeel van het vertaalwerk uitgevoerd door AI. Dit vermindert drastisch de kosten en tijd die nodig zijn om de taal te behouden, waardoor de inspanning praktischer en duurzamer wordt ^[3].

De rol van GPT-4-Turbo in Nüshu-vertaling

Voortbouwend op deze methoden brengen geavanceerde modellen zoals GPT-4-Turbo nog grotere efficiëntie in Nüshu-vertaling. Met behulp van een techniek genaamd "few-shot" leren kan GPT-4-Turbo indrukwekkende resultaten bereiken met zeer beperkte gegevens. In tegenstelling tot traditionele systemen die duizenden voorbeelden vereisen, kan GPT-4-Turbo nauwkeurige vertalingen produceren met slechts 35 zaadvoorbeelden. Bijvoorbeeld, het Dartmouth-team stelde het model bloot aan 35 zinnen uit het NCGold-corpus en bereikt een nauwkeurigheid van 48,69% bij het vertalen van 50 achtergehouden Nüshu-zinnen ^[1][4].

Deze aanpak benadrukt het potentieel voor het behouden van talen met schaarse gegevens. GPT-4-Turbo toonde aan dat het Nüshu's taalkundige patronen en structuur kan generaliseren op basis van slechts enkele voorbeelden. Dit maakt het mogelijk om te werken met talen die weinig tot geen digitale aanwezigheid hebben - een categorie die Nüshu en veel inheemse talen wereldwijd omvat ^[1].

Naarmate het model meer vertalingen verwerkt, verfijnt het zijn begrip van Nüshu's unieke kenmerken, wat een feedback-loop creëert die de nauwkeurigheid in de loop der tijd verbetert. Deze geautomatiseerde cyclus van leren en verbetering is iets wat alleen handmatige inspanningen moeilijk zouden kunnen bereiken, gezien het beperkte aantal Nüshu-experts dat beschikbaar is ^[3].

Resultaten: Voortgang in Nüshu AI-vertaling

Het project heeft vooruitgang geboekt in het balanceren van schaalbaarheid met het behoud van de essentie van Nüshu. Met behulp van het NüshuRescue-framework bereikten onderzoekers een nauwkeurigheid van 48,69% op 50 onbekende Nüshu-zinnen met GPT-4-Turbo, steunend op slechts 35 NCGold-voorbeelden ^[1]. Dit demonstreert hoe few-shot leren effectief kan zijn voor bedreigde talen met beperkte middelen. In tegenstelling tot traditionele vertaalsystemen die duizenden voorbeelden vereisen, bewijst NüshuRescue dat zinvolle vooruitgang mogelijk is met beperkte gegevens. Zoals Soroush Vosoughi, Assistentprofessor Informatica aan Dartmouth College, opmerkte:

"Ons werk demonstreert dat generatieve AI en grote taalmodellen de barrières voor het herstel van bedreigde talen aanzienlijk verlagen, en snel waardevolle taalkundige hulpbronnen produceren, zelfs uit minimale gegevens." ^[2]

Datasetuitbreiding met NCGold en NCSilver

Het succes van dit initiatief is grotendeels te danken aan twee belangrijke datasets. Ten eerste is NCGold, de hoeksteen van het project, een verzameling van 500 handmatig geselecteerde Nüshu-Chinese zinsenparen - het eerste openbaar beschikbare parallelle corpus voor Nüshu ^[1].

Voortbouwend op NCGold creëerde het team NCSilver, een secundaire dataset gegenereerd met behulp van GPT-4-Turbo. Het bevat 98 moderne Chinese zinnen vertaald naar Nüshu ^[1]. Deze stap overbrugt het historische schrift met moderne contexten, wat de weg vrijmaakt voor toekomstige vertaalswerk. Om precisie te garanderen, werd een geautomatiseerd lengtevalidatieproces gebruikt, waardoor een één-op-één-karaktercorrespondentie tussen Nüshu en Chinees werd gehandhaafd.

Beide datasets zijn nu beschikbaar op GitHub, waardoor onderzoekers wereldwijd kunnen bijdragen aan en dit werk kunnen uitbreiden. Door NCSilver-vertalingen terug in het model in te voeren, creëert het team een feedback-loop die de toekomstige nauwkeurigheid verbetert. Deze datasets spelen ook een cruciale rol in het beschermen van de culturele nuances van Nüshu.

Culturele context behouden in AI-vertalingen

Het framework gaat verder dan technische prestaties om cultureel behoud aan te pakken. Nüshu, een fonetisch schrift dat traditioneel werd gebruikt door Yao-vrouwen in Jiangyong County, Hunan Province, was een medium voor zelfexpressie ^[1]. Het NüshuRescue-framework combineert geautomatiseerde vertaling met menselijk toezicht om dit erfgoed te eren. Tweetalige annotators verfijnen AI-gegenereerde vertalingen, lossen ambiguïteiten op en corrigeren fouten, vooral voor termen die afwezig zijn uit standaardwoordenboeken.

Om authenticiteit te behouden, worden de trainingsgegevens ontleend aan geverifieerde historische teksten in plaats van moderne herinterpretaties. Dit zorgt ervoor dat de AI het oorspronkelijke gebruik van de taal vastlegt en niet-eigentijdse taalkundige patronen op een oud schrift oplegt.

In de toekomst streeft het team ernaar verder te gaan dan tekst. Ivory Yang, een postdoctorale onderzoeker in Informatica aan Dartmouth College, deelde de volgende stappen:

"Er zijn zakdoeken en zwevende waaiers met Nüshu-schrift erop. De volgende stap zou dus zijn om multimodale modellen te bouwen die computervision kunnen gebruiken om deze afbeeldingen vast te leggen en een model trainen om de karakters voor ons te herkennen en te vertalen." ^[2]

Deze toekomstige richting zou AI in staat kunnen stellen fysieke artefacten te analyseren, waardoor behoudsinspanningen worden uitgebreid tot items buiten gedigitaliseerde teksten.

Ethische uitdagingen in AI-aangedreven Nüshu-vertaling

AI heeft het mogelijk gemaakt om Nüshu-tekst snel en op schaal te genereren die menselijke teams alleen nooit zouden kunnen bereiken. Het garanderen dat deze technologie echter het culturele diepte van Nüshu respecteert, is echter geen kleine taak. Oorspronkelijk gemaakt door Yao-vrouwen in Hunan Province als een privéschrift om te communiceren in een samenleving die hen formeel onderwijs ontzegde, draagt Nüshu een diep verhaal van veerkracht en zusterschap. Elke vertaalbeslissing heeft culturele betekenis, en de taal als slechts een ander dataset behandelen riskeert haar unieke essentie af te stropen. Dit is waarom het mengen van AI-automatisering met menselijke expertise cruciaal is voor het beschermen van Nüshu's erfgoed.

Menselijke expertise combineren met AI-automatisering

Het NüshuRescue-framework demonstreert het belang van menselijke betrokkenheid bij ethische vertaalswerk. Tweetalige annotators spelen hier een sleutelrol, door zorgvuldig AI-gegenereerde vertalingen te beoordelen en ze te vergelijken met gezaghebbende gedrukte bronnen. Deze stap is essentieel omdat Nüshu's fonetische systeem toestaat dat een enkel symbool zoveel als 35 Chinese karakters kan vertegenwoordigen met identieke uitspraak maar verschillende betekenissen ^[7][8]. AI alleen kan dergelijke complexiteiten niet oplossen.

Soroush Vosoughi, Assistentprofessor Informatica aan Dartmouth College, benadrukte dit punt:

"Actieve deelname van moedertaalsprekers en taalkundigen is essentieel om taalkundige authenticiteit en culturele getrouwheid te garanderen. AI en gemeenschapsdeskundigheid zijn beide fundamenteel voor zinvolle behoudsinspanningen." ^[2]

Deze samenwerking tussen mensen en AI gaat niet alleen om nauwkeurigheid - het gaat om het aanpakken van diepere kwesties, zoals vooroordelen binnen AI-modellen, die hieronder verder worden onderzocht.

Vooroordelen in AI-trainingsmodellen aanpakken

AI-modellen erven vaak vooroordelen van de dominante culturen en talen met veel middelen waarop ze zijn getraind. Wanneer toegepast op een schrift met beperkte middelen zoals Nüshu, kunnen deze vooroordelen leiden tot subtiele, maar schadelijke vervormingen. Vosoughi benadrukte deze uitdaging:

"Deze modellen dragen inherent het risico in om vooroordelen van dominante culturen in te voeren, wat kan leiden tot vervorming of oversimplificatie van genuanceerde culturele identiteiten." ^[2]

Om dit aan te pakken, vertrouwde het NüshuRescue-team op door experts gevalideerde historische teksten in plaats van moderne herinterpretaties voor trainingsgegevens. Ze implementeerden ook strikte lengtevalidators om ervoor te zorgen dat AI-outputs het karakteraantal van het bronmateriaal matched. Van de 398 officieel Unicode-gecodeerde Nüshu-karakters, is de meest uitgebreide door experts gevalideerde bron slechts 374 unieke karakters ^[7][8]. Dit benadrukt de gaten in het officiële archief, waar menselijke expertise essentieel blijft om die kloven verantwoord te overbruggen.

Hoe BookTranslator.ai het behoud van bedreigde talen ondersteunt

NüshuRescue toonde ons hoe AI leven kan inblazen in bedreigde schriften, maar BookTranslator.ai gaat nog een stap verder door deze inspanningen voor iedereen toegankelijk te maken. De uitdagingen die in het NüshuRescue-framework worden beschreven, herinneren ons eraan dat het redden van bedreigde talen niet alleen gaat om het reconstrueren ervan - het gaat om ze wijd te delen. AI-aangedreven platforms zoals BookTranslator.ai overbruggen de kloof tussen academisch onderzoek en publieke toegang, waardoor literatuur in bedreigde talen voor lezers over de hele wereld beschikbaar wordt. Deze verschuiving van niches academische kringen naar wereldwijd publiek benadrukt hoe AI kan helpen deze culturele schatten democratisch toegankelijk te maken.

Toegang uitbreiden via AI-aangedreven vertalingen

UNESCO waarschuwt dat bijna de helft van de 7.000 talen ter wereld tegen het einde van deze eeuw zou kunnen verdwijnen, waarbij ruwweg elke twee weken een inheemse taal verdwijnt. Een belangrijke factor in deze achteruitgang? De afwezigheid van deze talen op digitale platforms. Wanneer een taal niet online wordt vertegenwoordigd, worden haar culturele materialen moeilijker toegankelijk, deelbaar en bestudeerbaar ^[6].

BookTranslator.ai pakt dit probleem frontaal aan door eenkliks EPUB-vertaling in meer dan 99 talen aan te bieden. Voor bedreigde talen zoals Nüshu zorgt deze mogelijkheid ervoor dat hun verhalen en culturele verhalen een wereldwijd publiek kunnen bereiken - zonder de behoefte aan zeer gespecialiseerde vertaalteams.

Het belang van dit werk wordt weerspiegeld door de NüshuRescue-onderzoekers:

"Het behoud en herstel van bedreigde en uitgestorven talen is een zinvolle onderneming, die cultureel erfgoed bewaart terwijl velden zoals linguïstiek en antropologie worden verrijkt." - Ivory Yang, Weicheng Ma en Soroush Vosoughi ^[4]

Culturele context en stijl behouden

Voortbouwend op de basis die door NüshuRescue is gelegd, gaat BookTranslator.ai nog een stap verder door ervoor te zorgen dat vertalingen niet de culturele essentie of stilistische nuances van de originele tekst verliezen. Het behoudt zorgvuldig de betekenis, toon en opmaak van elk werk, waardoor de unieke stem en structuur behouden blijven die immense culturele waarde hebben. In plaats van een droge, letterlijke vertaling, levert het een resultaat op dat de diepte van het originele materiaal respecteert en weerspiegelt.

Conclusie

Het NüshuRescue-framework toont hoe AI bedreigde talen kan helpen behouden, zelfs met zeer beperkte gegevens. In januari 2025 bereikten onderzoekers 48,69% nauwkeurigheid met slechts 35 voorbeelden, wat aantoont dat zelfs kleine datasets zinvolle AI-aangedreven vertaalswerk kunnen ondersteunen^[1][5]. Hun werk met het corpus van 500 zinnen NCGold en de AI-gegenereerde NCSilver-dataset biedt een praktische methode voor het beschermen van duizenden talen die risico lopen.

De inzetten kunnen niet hoger zijn. Bijna de helft van de 7.000 talen ter wereld zal naar verwachting tegen het einde van deze eeuw verdwijnen, met ruwweg elke twee weken een inheemse taal die verdwijnt^[6].

Deze vooruitgang benadrukt een diepere verantwoordelijkheid:

"Taal is een levend iets... dat levende sprekers, culturele context en menselijke relaties vereist." - Onbekende inheemse innovator, Smithsonian Magazine^[9]

AI-tools zoals BookTranslator.ai duwen deze inspanningen verder door literatuur