Cartoonification

Inom akademisk forskning om  ljud och interaktionsdesign talar man ibland om cartoonification. Det är den ljudmässiga motsvarigheten till att rita av någonting.

När man gör en seriefigur av en människa måste man välja bort en massa attribut som saknar betydelse. Rör det sig om en superhjälte måste du förmodligen lägga fokus på ett kraftigt hakparti, stora svällande muskler och en mörk blick. Det går inte att snöa in på detaljer på örats form. Det saknar betydelse. Bara det framgår att personen är stark, har hämnarblick och inte är jättesmart. Då går det väsentliga hem hos läsaren och du har uppnått ditt kommunikativa mål.

På samma sätt är det med modeller över ljud. Man bryter ner ett ljud och analyserar vilka egenskaper hos ljudet som är relevanta för det givna ljudet. Hos vissa ljud är rytmen viktigast, hos andra tonen och hos ytterligare några är det klangfärgen, och så vidare, och så vidare. Istället för att bryta ner en bild i färg, form och linjer – som i fallet med en teckning – så bryter man ner ljudet enligt musikaliska och akustiska principer.

Sedan bygger man upp igen.

Det är inte alltid nödvändigt att sträva efter perfektion här. Ibland blir det fruktansvärt roligt när det är på gränsen till igenkännbart.

Minns ni Flat Eric? Flat Eric var en liten gul figur i slutet av förra millenniet som figurerade i artisten Mr. Oizos musikvideo, men från början skapades till en reklam för jeanstillverkaren Levi’s. Flat Erics röst består av en ton som ändrar tonhöjd och vars karaktär ändras genom ett filter. Skulle det inte vara för videon där Erics mun är synkad till ljudet skulle vi knappast associera ljudet till en röst. Men när vår hörsel – understödd av den visuella informationen – faktiskt gör det blir effekten humoristisk:

Flat Erics röst är exempel på det väldigt abstrakta. I andra änden av spektrumet har vi det nästan perfekta, det som nuddar vid att vara verkligt men inte riktigt är det. Hit kan vi t.ex. räkna viss slags röstsyntes – det går att höra a det ska efterlikna en mänsklig röst. Det är nästan aldrig några problem att höra meddelandet heller. Men den är inte riktigt mänsklig.

Det här kan användas konstnärligt för att uppnå en rätt kuslig effekt: Radiohead – Fitter Happier

Nu går ju utvecklingen frammåt, röstsyntesen blir bättre. Men en helt mänsklig röst hade inte kunnat förmedla samma känsla i Fitter Happier. Den enda rösten perfekt för uppdraget var just den på gränsen till mänskliga röstsyntesen, (i detta fall röstfunktionen i SimpleText för Mac OS).

Från teori till praktik! Vi testar!

Storlommen (Gavia arctica) har ett läte består dels av en serie med parvisa korta (woh) och långa (wooooooooooo) uppåtgående portamenton (dvs tonen glider uppåt). Så här:

woh-wooooooooooo, woh-wooooooooooo, woh-wooooooooooo

Därefter följer några långa toner som glider upp och ner på ett fruktansvärt spökligt och melankoliskt vis.

oooooooååååååhhhh… oooooooååååååhhhh…

Sedan finns ett tredje purrande läte som är kort och rytmiskt:

oww-aww, ow-aw, o-aw

Tonhöjd och rytm är alltså elementen jag tycker känns viktigast för att modellera en igenkännbar storlom. Det här är ett kreativt övervägande alla måste göra på sitt sätt.

Slutligen kan vi också lägga till lite ambienta och andra stämningsskapande ljud. Jag kände för ett lite mystiskt pianostycke i samklang med mytologin runt storlomen.

Vuvuzela

Ljud berör – både positivt och negativt! De senaste dagarna är det vuvuzelan som retat gallfeber på fotbollsfans världen över. De senaste dagarna har det startats åtskilliga hatgrupper på facebook och skrivits upprörda spaltmeter i tidningarna om detta ljudfenomen.

Vuvuzelan är i princip en lång trumpet som spelas genom att trycka luft från lungorna genom ett munstycke, vilket förstärks i det långa hornet och åstadkommer ett tut.

Jag är intresserad av: vad är det är hos just vuvuzelan som åstadkommer denna upprördhet? Det är ingen som höjer ögonbrynen åt en skramlig sambaorkester eller ens en wööö-ande engelsk fyllekör.

Speciellt intressant är att mestadels TV-tittare reagerar. Jag upplever inte volymen i relation till kommentatorerna som speciellt hög, och det finns naturligtvis möjlighet att både sänka och filtrera ljudet från TV-bolagens kontrollrum. Så om det inte är nivån, vad är det då?

Jag har två kandidater:

1.) Det faktum att ljudet helt och hållet saknar dynamik. Vuvuzelan (eller snarare ljudet från tusentals vuvuzelor) ljuder hela tiden på samma ton. Vuvuzelan är stämd i Bb och kan inte spela något annat.

2.) Detune.

Så det utdragna, monotona, tjatiga och enformiga tror jag helt klart är en faktor. Men inte den största. Den största faktorn tror jag är det faktum att vi pratar om mängden vuvuzelor som spelar på en gång. Något ostämda i förhållande till varandra. Detune.

Vi snackar om ett plaströr som inte är precitionstillverkat. Alla ni som spelar ett akustiskt instrument vet att instrumentet är starkt påverkat av olika faktorer som inverkar på tonen: kyla/värme, spänningen i spelarens läppar, osv. Det är därför man behöver stämma t.ex. en trumpet varje gång man spelar på den. Så är inte fallet med Vuvuzelan. Det betyder att vi har tusentals vuvuzelor som spelar nästan på tonen Bb, några lite högre, andra lite lägre.

Detta ger en effekt som kallas för detune, i brist på lämplig svensk term. Här är en bra artikel som behandlar ämnet. Det är en ganska vanlig metod inom musikproduktion för att åstadkomma fetare ljud.

Jag testar min tes, jag riggar upp ett antal synthar med sågtandsvågor (lämplig vågform för att efterlikna blåsinstrument) och stämmer om allihop lite över och lite under tonen Bb. Sen tutar vi loss:

Japp! Där har vi det! Detune!

Resultatet leder tankarna till något mellan ett  flyglarm och en en getingsvärm. Det kanske inte är så konstigt att många inte gillar ljudet…

Problemet är nu att i Sydafrika har man förmodligen inte samma förhållande till ljudet. Förmodligen förknippar man det med kul kommunikation och att ha roligt tillsammans. Det ska bli spännande att följa vuvuzelans öde!

Ett moln av ljudpartiklar

Granulär syntes kallas den metod jag använt för att göra ett sånt här ljudlandskap

Granulär syntes (granular synthesis på engelska) går ut på att spränga sönder ett ljud till små partiklar eller “grains”. Så små ljudkorn, så att om man lyssnar på dem var för sig skulle man bar höra små klick och knäppar, 1-50 millisekunder brukar de vara. Närmast subliminal perception med andra ord.

När man har sprängt sönder ljudet i små korn fogar man samman dem igen, i en mer eller mindre slumpmässig ordning, till ett moln av partiklar. Detta moln upplevs som en helhet – men en väldigt annorlunda helhet eftersom allt är sönderbrutet och oordnat sammansatt.

Tänk dig att du torkar och maler ner din favoritmat till ett pulver. Det skulle fortfarande smaka ungefär som din favoritmat, men det skulle inte vara din favoritmat – utan ett pulver som påminner om din favoritmat. Det är samma sak med ljud: det häftiga som uppstår vid granulär syntes är att man får en vag känsla av att känna igen ljudet trots att det är alldeles utomjordiskt i in karaktär. Förutsatt att man utgår från samplade vardagsljud – vilket jag har gjort.

Några vardagsföremål redo att spelas in

Det går såklart att på syntetisk väg ta fram ljudpartiklar också, och vissa föredrar att utforska den syntetiska domänen:

You know, natural sounds are beautiful – concréte (as we call them) sounds are beautiful. And I do use them from time to time. But – the vitrtual sound world is also beautiful. The world of sinewaves, of impulses, of electronical generated impulses. Thats a vast space.

-Curtis Roads

Nu “spränger” man ju inte ljuden bokstavligen. Verkligheten är lite mer teknisk. Man säger åt ett program hur, var och när den ska spela upp en bit av en ljudfil (eller när var och hur den ska generera ljud). Det här går att göra på mer eller mindre kontrollerat sätt och mängden av slump är en viktig del i syntesen. Följande variabler har jag huvudsakligen använt:

1. Mängden av slumpmässighet
2. Täthet mellan ljudpartiklarna
3. Längden på ljudpartiklarna
4. Variation i pitch för enskilda partiklar

Med andra ord; det är inte direkt dina vardagsredskap för att åstadkomma ljud. För hur ska vi sprida ljuden och när ska vi låta bli att göra det? Vi behöver med andra ord hjälpsamma analogier för att närma oss den här typen av skapande.

The idéa is that individual grains form points, you can think of them on a canvas as forming individual pinpoints. If you line up the grains they forme a line – a  tone. If you scatter them in clouds then they create clouds. So – point, line, cloud – all the music is made with those materials.

-Curtis Roads

Citaten i det här inlägget kommer från en dokumentär om Curtis Roads som du kan titta på här, här och här (tre delar). Curtis Roads är professor inom musikvetenskap och en av pionjärerna inom (digital) granulär syntes. Men genren har växt fram ur tidig elektroakustisk experimentell musik, namn som Iannis Xenakis och Karlheinz Stockhausen brukar nämnas som viktiga förlöpare.

Här är ett utdrag från en komposition av Roads: