Huawei presenterar ljudet av norrsken – skapat av AI

Nya Huawei Mate20 Pro har med sina kamerafunktioner bländat en kräsen publik och med sin kraftfulla prestanda imponerat på nogräknade medier.

Men nu har mobilen utmanats ytterligare – att fånga ljusets ljud och därav skapa ljuv musik. Tillsammans med ledande artister och mobilens kraftfulla AI-teknik har världens mest fascinerande ljusfenomen tolkats – norrskenet. Resultatet är något av det mest spännande inom skapande av ny musik idag. Ett fängslande musikäventyr där teknik, artister och ljusfenomen tillsammans skapat ett bländande och hänförande verk – symfonin Sound of Light framförd i den berömda Brahms-hallen i Wien.

Sound of Light är ett samarbetsprojekt som utmanat människans förmåga att lära ett AI-system att avläsa bilder och skapa ljud. Uppgiften har gått ut på att fånga norrsken i Norge, lära ett special-anpassat AI-system i Mate20 Pro att tolka ljuset och därefter omvandla ljuset till musikelement. Dessa element användes sedan till att skapa grunderna till en symfoni. Det artistiska teamets slutgiltiga utmaning var därefter att skapa en multisensationell upplevelse, assisterad av AI-innovationer och som slutligen resulterade i ett unikt norrskensspråk, vilket varken hörts eller på detta sätt upplevts någon gång tidigare.

Resan från norrsken till symfoni

Projektet inleddes med att norrskensjägaren Kjetil Skoglifilmade norrsken på de öppna fälten vid Tromsö i Norge. Filmerna skickades sedan till ett ljudlabb där den prisbelönta kompositören Mark Sayfritz arbetade med det specialbyggda AI-systemet för att skapa en symfoni. En symfoni baserad på Kjetils filmer som kördes på Huawei Mate20 Pro. När ljudstyckena sedan var komponerade delades de med en av världens bästa kompositörer, James Shearman. Han skapade därefter ett arrangemang för en symfoniorkester redo att framföras i den berömda Brahms-hallen i Wiens Wiener Musikverein (Wiens konserthus) med titeln Sound of Light.

Huawei Mate20 Pro passade väldigt bra för Sound of Light-projektet, med sina kraftfulla funktioner och förmåga att stödja projektets specialbyggda AI-system. Ett system som skapades för att känna igen och analysera ljudets olika egenskaper och utvecklades till att kunna omvandla norrskenet i filmerna till musikaliska element.

– Att introducera artificiell intelligens i min skapandeprocess har öppnat upp ett helt nytt utbud av kreativa möjligheter. Nu kan jag mata in bilder och filmer av norrskenet i ett AI-system som analyserar saker som färg, storlek, form och hastighet. Baserat på resultaten av analysen genererar systemet olika variationer av mina musikaliska fraser. Det betyder att när AI känner igen ett särskilt ljusspel, kan det omvandla intensiteteten i ljuset att matcha rätt musikelement. Dessa element för jag sedan samman och skapar symfonier, säger Mark Sayfritz.

De musikaliska elementen som genereras skulle normalt behöva analyseras av väldigt kraftfulla datorer. Det beror på den intensiva bearbetningsfasen som krävs för att analysera levande material. Men med stöd av det specialbyggda AI-systemet kunde teamet göra om Mate20 Pro till en nästa generations dator. Under liveuppspelningen matas den konverterade datan via Mate20 Pro till anslutna synthesizers, vilket i sin tur skapar musikaliska element vid framförande av symfonin.

En kväll med AI, musik och norrsken

Och hur låter då ljudet av norrsken? Svaret framfördes den 28 november i den berömda Brahms-hallen i Wiens Wiener Musikverein (Wiens konserthus). Över 300 personer hade förmånen att uppleva denna unika symfoni framförd av dirigenten James Shearman och orkestern Synchron Stage Orchestra. Under kvällen visades en ’’behind the scenes-film’’ som beskrev resan från himmel till scen.