EYE Filmmuseum presenteert robot-filmmaker. Is Dada terug in de internettijd?

Algoritmisch filmmaken. Knoop die term in uw oren, dames en heren. En kijk dan even naar dit werkstuk, en probeer te raden wat u ziet.

Is dit de trailer van een romantische avonturenfilm? De koortsdroom van een editor? Een surrealistisch experiment uit de oertijd van de film? Toevalskunst? Een practical joke? De toekomst van de cinema? Kunnen die algoritmes, die griezelige computerprogramma’s die van onze wereld een soort Matrix dreigen te maken dan nergens meer afblijven?

Bits & Pieces

Op maandag 28 mei 2018 koos Jan Bot het filmpje dat u zojuist zag uit als het beste dat hij die dag had gemaakt. Jan Bot is een nieuwe medewerker van EYE Filmmuseum. Hij is dag en nacht in de weer met Bits & Pieces, de verzameling ongeïdentificeerde beelden uit het filmarchief. Jan Bot is een robot. Voor zijn favoriet van 28 mei liet hij zich inspireren door het Roland Garros-tennistoernooi. Zo te zien trof hij geen tennissers aan tussen die oude filmsnippers, maar daar liet hij zich niet door uit het veld slaan.

Jan Bot aan het werk

Jan Bot heeft een eigen website die afgelopen zaterdag live is gegaan. Hij toont daar niet alleen de films die hij heeft gemaakt. Hij geeft ook een toelichting bij zijn werk. Zie hier hetzelfde filmpje over Roland Garros, nu met zijn commentaar. Ik geef toe, het blijft behoorlijk cryptisch. Hij heeft ook een livelog waar je hem aan het werk kunt zien.

“Hello, let’s see what’s happening on the internet today”, zegt hij, wanneer ik hem vroeg in de ochtend bij het schrijven van dit stukje even aanklik.

Van filmerfgoed naar experiment

Dit zegt het persbericht van EYE: “Eye Filmmuseum en Stichting Modern Times presenteren: Jan Bot. Deze bot brengt filmerfgoed naar het tijdperk van het algoritme. Een computerprogramma dat dag en nacht experimentele films in elkaar sleutelt waarin vroeg twintigste-eeuws beeldmateriaal wordt gekoppeld aan actuele thema’s op sociale media.”

“Hoe breng je een collectie oude films weer tot leven? Filmarchieven besteden veel tijd aan het restaureren van oude films, maar hoe zorg je dat al dat unieke materiaal ook een publiek bereikt? Eye Filmmuseum werkt samen met filmmakers Bram Loogman en Pablo Núñez Palma aan een mogelijke oplossing. Het resultaat: Jan Bot.”

Pablo en Bram

Dit zijn Pablo Núñez Palma en Bram Loogman.

Ze ontmoetten elkaar bij de master-opleiding van de Filmacademie, de vervolgcursus waarbij de nadruk ligt op research en experiment. Ze vonden elkaar in hun belangstelling voor algoritmisch filmmaken en bouwden samen Jan Bot. Een soort ‘black box’ die zijn eigen ondoorgrondelijke gang gaat, maar wel af en toe door Bram en Pablo wordt bijgestuurd. “We willen niet dat het steeds over voetbal gaat”, aldus Pablo in een telefonische toelichting.

Algoritmes

In de metalog van Jan Bot legt Pablo uit wat algoritmes zijn.

Dat is minder griezelig dan u allicht dacht. Zelfs de mens in de oudheid die een methode had om vuurstenen bijlen te maken volgde al een algoritme. Een algoritme is een stapsgewijs proces om een doel te bereiken. Dus niet alleen de digitale tovenarij waarmee sociale media ons in onze filterbubbel houden, maar ook de alledaagse routine van het boodschappenlijstje.

Ook zonder computers maakten kunstenaars al algoritmishe films. Zie Arnulf Rainer van Peter Kubelka, of Critical Mass van Hollis Frampton. Daarmee vergeleken is het werk van Jan Bot heel braaf, ook al zijn de verbanden die hij legt meestal heel onverwacht. Dit is waartoe hij (is Bot eigenlijk wel een hij?) werd geïnspireerd door Kate Middleton.

Kunstmatige intelligentie

Terug naar het persbericht: “Jan Bot is een computerprogramma dat ontworpen is om korte experimentele films te genereren op basis van twee componenten: het oude beeldmateriaal in de collectie van Eye en actuele thema’s op sociale media. Gemiddeld streamt Jan Bot tien films van dertig seconden per dag op de eigen website, waar nu al meer dan 7.000 items op staan. Jan Bot selecteert elke dag een filmpje dat hij op zijn Facebook en Instagramprofiel post.”

“Om deze enorme hoeveelheid werk af te kunnen leveren maakt Jan Bot gebruik van diensten op het gebied van artificiële intelligentie die door zijn makers op het web zijn gevonden. “Veel grote bedrijven, zoals Google en IBM, bieden instrumenten waarmee je beelden kunt herkennen en taal kunt analyseren, sommige zelfs gratis. Dus pakten we er een paar en plakten ze aan elkaar om er films mee te maken”, zegt Loogman, een van de creatieve breinen achter Jan Bot.”

Nu even stap voor stap

Stap 1. Het begint met beeldherkenning. Jan heeft al het materiaal in de Bits & Pieces-collectie van EYE bekeken en ieder beeld van een reeks trefwoorden, ofwel ’tags’ voorzien. Beeldherkenning gaat tegenwoordig al heel ver, al ziet Jan Bot soms nog niet het verschil tussen een kat en een aap.

Ik moest (vergeef me de zijsprong) hier ook even denken aan de Wordcamera waar ik een paar jaar geleden op IDFA mee mocht spelen. Die zet willekeurige foto’s om in een experimenteel gedicht. Probeer het zelf op word.camera.

Tussendoor even kijken hoe ver Jan Bot is. Zijn eerste filmpje van vandaag (30 mei) is geïnspireerd op computerbedrijf Bethesda en het gerucht over het Fallout-spel. Daar moet dus veel over getwitterd en gegoogled zijn. Jan heeft dat vertaald in een nogal spooky compilatie. Niet gek.

De zwarte doos als toverpot

Stap 2: wat is trending op internet? Jan Bot krijgt gegevens over onder meer zoekwoorden, kijkt welke onderwerpen op dat moment veelbesproken worden in de sociale media en verzamelt nieuwsberichten die daarmee te maken hebben. Op basis van dat alles maakt hij een lijstje van de trefwoorden die op dat moment het hoogst scoren.

Overigens waait Jan niet zomaar met alle winden mee. Een onderwerp moet online vaak genoeg genoemd worden. Bij te weinig hits zegt hij: “Hmm, I can’t find anything interesting. Let’s wait a bit and try again.” Zo is hij vanmorgen al tien uur bezig en heeft nog geen tweede onderwerp gevonden.

Stap 3. Met behulp van zijn tekstanalyseprogramma’s (en Wikipedia) zoekt hij naar betekenissen achter die trefwoorden. Het woord ‘rood’ duidt immers niet alleen op een kleur, maar ook op een politieke richting. Die betekenissen probeert hij via de tags van de Bits & Pieces-verzameling te koppelen aan oude filmbeelden. De nieuwsberichten leveren stof voor de tussentitels die hij in zijn films monteeert.

Stap 4. Al dat ruwe materiaal gaat in de ‘black box’, het hart van de programmatuur waar Jan Bot mee werkt. Daar vindt de uiteindelijke compositie plaats. Hoewel Pablo en Bram deze zwarte doos zelf met algoritmes hebben gevuld, blijft het een verrassing waarmee Jan Bot voor de dag komt.

Ik zie overigens wel dat hij een maniertje heeft: vaak kiest hij twee of drie beelden die hij nerveus door elkaar snijdt, om dan weer naar een volgens setje te springen.

Volgens Pablo is dat niet alleen de keus van Jan Bot zelf. Zijn makers kunnen wel degelijk zorgen voor enige sturing, dus in de toekomst zal hij ook andere werkwijzen laten zien.

De oude verhalen hebben afgedaan

Voor wie het allemaal nog steeds heel bizar vindt: bedenk dat Jan Bot gevoed wordt door de internetwereld. De logica van de oude media zoals films en kranten heeft afgedaan. Continuïteit heeft plaatsgemaakt voor toeval en willekeur. We scannen en zappen, met achter de schermen de onzichtbare hand van de algoritmes van de sociale media. Wat we op onze tijdlijn zien is een grillige verzameling waar we zelf chocola van moeten zien te maken.

Is Dada terug?

Zie ook het artikel van Pablo over de manier waarop dichters woorden kunnen laten botsen.

Moeten we zo naar het experimentele werk van Jan Bot kijken? Ik weet het nog niet precies. Wel moest ik plotseling ook denken aan de onvolprezen dadaïst Tristan Tzara, die in 1920 het recept publiceerde voor het maken van een Dada-gedicht. Dat wil ik u niet onthouden (vertaling Peter Nijmeijer/Sjoerd Kuyper):

“Neem een krant.
Neem een schaar.
Kies uit de krant een artikel dat ongeveer de lengte heeft die je aan het gedicht wilt geven.
Knip het artikel uit.
Knip vervolgens alle woorden uit die in het artikel staan en doe ze in een hoge hoed.
Schud voorzichtig.
Trek één voor één de knipsels uit de hoed.
Schrijf de woorden zorgvuldig over in de volgorde waarin ze uit de hoed gekomen zijn.
Het gedicht zal op u lijken.
En u zult het zien, u bent een ongelooflijk origineel schrijver met feeling, hoewel miskend door het volk.”

Fun

“Is it fun?”, vraag ik Pablo tenslotte. Hij lacht. “Ja, Jan Bot is erg leuk, al was het tot nu toe vooral heel hard werken om de programma’s en de website in elkaar te zetten. Maar nu het draait kunnen we er echt plezier aan gaan beleven. Nu kunnen we gaan experimenteren.”