Glasklar brytning i gesterna

Hur dukar du ett bord? En fransman och en svensk gör nog på ungefär samma sätt när de ställer fram glas, lägger ut bestick och sätter fram tallrikar. Men när de ska beskriva hur de dukar ser gesterna som ackompanjerar talet helt olika ut.

Detta är något som fascinerar Marianne Gullberg, gestforskare och professor i psykolingvistik vid Lunds universitet. Hon har länge studerat samspelet mellan tal och gester hos infödda talare. Och för att jämförelserna mellan olika språk ska bli rimliga, har hon koncentrerat sig på en grupp ord där språken uppvisar stor skillnad: placeringsverben.

– Det finns flera sådana verb på svenska, som sätta, ställa och lägga. Motsvarigheter finns även på tyska och nederländska, men engelskan och franskan har bara ett ord för att placera något.

i början av 2000-talet forskade Marianne Gullberg om vuxen andraspråksinlärning och flerspråkighet vid Max Planck-institutet i Nederländerna. Hon och hennes kolleger skapade där ett enkelt men snillrikt verktyg för att ta reda på hur gesterna förhåller sig till språket. Verktyget består av en rad korta videoklipp där saker som koppar, fat och skedar placeras ut på ett bord. De sätts, ställs, läggs … Talare med 29 olika modersmål, fördelade över 13 olika språkfamiljer, fick titta på filmsnuttarna och beskriva för en försöksledare vad som hände på bilden.

– Detta visade sig vara en situation där det blev tydligt att folk gestikulerar på olika sätt beroende på språk när de berättar. Gesterna varierade beroende på hur uppsättningen placeringsord såg ut. Det är ju skillnad på hur man placerar ett glas och en sked. Engelsmän och fransmän sträckte bara fram handen lite allmänt för att beskriva vad de sett, tillsammans med det engelska ordet put eller det franska mettre. Men när svenskar och nederländare skulle förklara att ett glas ställts på bordet, kom det automatiskt en ”glashållningsgest”, alltså en gest där handen ”greppar” ett osynligt glas som sträcks fram och ställs på ett osynligt bord. – För dem som har svenska som modersmål är alltså själva objektet relevant när de ska säga och gestikulera ett verb som ställa.

Själv gestikulerar Marianne Gullberg livligt. Osynliga kaffekoppar, vattenglas och servetter dansar över bordet när hon berättar hur undersökningen går till. – Gester är ett socialt fenomen. Man är mer benägen att vifta med händerna när någon lyssnar aktivt. Våra försöksledare fick därför inte själva veta att försöket egentligen handlade om gester, och lyssnade därför aktivt på beskrivningen. Det är ett bra trick, och ett robust och repeterbart sätt att studera gester.

Efter att ha kartlagt gesterna hos vuxna med nederländska som modersmål, ville Marianne Gullbergs forskargrupp undersöka hur det ser ut hos barn. – I 3–4-årsåldern använder nederländska barn ofta bara ett placeringsverb. De gestikulerar då på samma sätt som engelsmän, det vill säga med bara en ”placeringsgest”, oavsett objekt. Men vid fem års ålder händer det plötsligt något. Då börjar de använda ytterligare verb, precis som de vuxna talarna. Och vips börjar de hålla i ett osynligt objekt när de beskriver händelsen. Forskarna kunde då dra slutsatsen att 5-åringarna hade lärt sig verbets betydelse, och visste att det är kopplat till en specifik sak.

Men hur gör vuxna när de ska lära sig ett andra språk? Följer de egna gesterna med? Och hur reagerar infödda talare på ”felaktiga” gester? För fem år sedan rekryterades Marianne Gullberg till Lunds universitet för att fortsätta forskningen i Sverige.

– Det finns en rad potentiella svårigheter när man ska lära sig språk som fungerar på ett annat sätt än det egna modersmålet. En fransman som ska lära sig svenska måste till exempel gå från att använda ett enda placeringsverb till att välja rätt mellan flera olika. Det är fruktansvärt svårt. En hypotes var att fransmännen som tragglat de svenska placeringsverben, kanske på något sätt också hade förstått att objekten är viktiga för verbens betydelse. Det borde i så fall synas i gesterna.

– Men nej, de gestikulerade som på sitt modersmål. De sträckte fram en avslappnad ”fransk” gest antingen de ställde eller lade något i talet. Det var som en manuell brytning på det nya språket.

Samma sak gällde åt andra hållet, när svenskar skulle gå från många verb i sitt eget språk till bara ett i det nya, vilket borde vara lättare.

– Verbval och uttal var perfekt – de sig snabbt att säga mettre – men de fortsatte ändå att gestikulera med ett osynligt objekt i handen. De bröt alltså också. Tekniskt sätt kan man alltså lära sig att tala felfri franska, men fortsätta att gestikulera på sitt modersmål.

Nu vill Marianne Gullberg också undersöka hur infödda talare uppfattar andraspråksinlärares brytning i gester.

– Det är svårt att få pålitliga svar om hur någon uppfattar ”fel” gester när man ställer en explicit fråga. Därför måste man göra det experimentellt – utan att berätta exakt vad det är man vill studera.

Tanken är att mäta hjärnaktiviteten hos modersmålstalare som tittar på videoklipp av de ”felgestikulerande” andraspråkstalarna. Detta ska göras med hjälp av elektroencefalografi, EEG, som registrerar hjärnans elektriska aktivitet. – Med EEG kan man avslöja om hjärnan blir ”överraskad”. Vi tror att de infödda talarna kommer att reagera på de avvikande inlärargesterna. EEG mäter mycket finfördelade tidsförlopp. Ett par hundra millisekunder efter att man hört ett ord eller sett en gest kan forskarna se hur hjärnan bearbetar intrycket.

– EEG-mätning innebär många metodologiska utmaningar, och vi håller på att bygga nya analysverktyg. För att man ska kunna göra korrekta jämförelser mellan olika talare i ett sådant här experiment är det dessutom viktigt att deltagarna får prata om samma saker, under samma omständigheter. De som deltar bör också vara indelade i matchande åldersspann – och det får inte vara för stor dialektvariation.

Under våren räknar Marianne Gullberg med att börja testa de första Lundaborna. Sedan ska forskargruppen turnera med utrustningen till andra språk. – Det går inte att använda fransmän som varit i Sverige i 30 år och blivit ”miljöskadade” av svenskan.

En annan gestfråga som intresserar Marianne Gullberg är om det går att lära sig gestikulera på rätt sätt i främmande språk. Men för att undersöka det måste forskarna veta exakt hur de infödda talarna gör. Därför fortsätter de att studera samspelet mellan tal och gester med så kallad motion capture. Det ger en 3D-modell av gestikulerandet, och täcker även mimiken. Med sensorer på händernas leder och på muskler i ansiktet – överläpp, käke, tunga, ögonbryn och så vidare – kan Marianne Gullberg och hennes kollegor läsa av samspelet på ett mycket detaljerat och objektivt sätt. – Vinsten är att vi inte själva behöver tolka, utan får informationen från en sensor. Det är annars svårt att med bara filmkamera se vad som händer. Med hjälp av denna 3D-modell hoppas forskarna kunna bygga ”virtuella” modersmålstalare av olika språk, med både korrekt uttal och de rätta gesterna. En svensk medelsvensson, en fransk medeldupont och en brittisk medelsmith – som också ska kunna användas i språkundervisning.

Marianne Gullberg skulle önska att det muntliga – och gestliga – fick mer uppmärksamhet vid språkinlärning i skolan.

– Man tragglar mycket verbböjningar, att läsa och skriva, men det är ju lyssna och tala man gör mest. Barn lär sig tala och höra innan de lär sig läsa och skriva. Låt folk bada i det språk de ska lära sig! Uttal, ordförråd och gester är inte skilda enheter, utan hänger tätt samman.

Eva Barkeman är vetenskapsjournalist.

Läs också: ”Gesterna vill ha sällskap” i Språktidningen 4/12