Een computer liet mij Oekraïens praten (en dat zegt veel over de toekomst van synthetische media)

Schrijven over technologische ontwikkelingen is leuk, ermee experimenteren is nog veel leuker. De afgelopen weken was ik best wel druk met dat laatste. Waar ik eerder al een deepfake liet maken en mijn eigen stem liet klonen (freaky, luister maar eens), wilde ik nu een stap verder gaan. En dat leverde een aardig inzicht op over de toekomst van zogenoemde synthetische media. Wat dat inzicht is, lees je in deze nieuwsbrief. Daarin vertel ik je ook over onderzoek naar robotjournalisten én laat ik je een tool zien waarmee je achtergronden uit video’s verwijdert. Veel leesplezier.

Synthetische media: van strooigoed naar stapelgoed

Foto: Unsplash / Drew Dizzy Graham

Veel van de kunstmatige intelligentie (AI) die ik in onze zaterdagse nieuwsbrief bespreek of laat zien, zijn ieder op zich vooral goed in één ding. Zo kunnen AI-tools achtergrondruis uit audio filteren, een stem klonen en een virtueel persoon tekst laten uitspreken.

Al dat losse strooigoed, laat je zogenoemde synthetische media maken. Dat zijn media die gemaakt of bewerkt zijn met kunstmatige intelligentie. Die losse AI-tools zijn aardig tot uitstekend in wat ze doen. Maar wanneer je ze op elkaar gaat ‘stapelen’, wordt het pas echt interessant. Door de juiste tools met elkaar te combineren, lukt het al redelijk goed om overtuigende ‘synthetische mensen’ te maken. Je creëert dan bijvoorbeeld een virtuele weergave van een (al dan niet bestaand) persoon, die je kunt laten doen en zeggen wat je wil.

Dat gaat verder dan de bekende deepfakes. Bij een synthetisch mens combineer je bijvoorbeeld technologie die geschreven tekst omzet in gesproken tekst, met technologie die de stem van een echt persoon nabootst én deepfake-technologie die mondbewegingen synchroon laat lopen. Zo bouw je bijvoorbeeld een virtuele nieuwslezer. Of laat je een Nederlands sprekend persoon in een video Oekraïens praten.

Dat laatste deed ik onlangs zelf, met hulp van XS2Content. Ik stuurde een Nederlandstalige video in naar de startup. Die plukte mijn gesproken tekst uit de video, schreef deze uit en vertaalde de tekst naar het Oekraïens. Daarna zette XS2Content de geschreven Oekraïense tekst weer om in gesproken zinnen, plaatste die weer terug in de video en paste de bewegingen van mijn mond daarop aan. Het resultaat zie je hieronder (en hier lees je waarom we die video eigenlijk lieten maken).

Hoewel je aan die video nog kan zien dat hij gemaakt is met de computer, worden AI-tools in rap tempo beter. Dat betekent dat ook het stapelen van tools beter wordt. We gaan de komende jaren denk ik nog heel wat horen over synthetische media.

Mini-tooltip!

Wil je nou zelf spelen met AI-tools, maar heb je geen idee waar je ze kunt vinden? Op de website Futurepedia vind je er honderden!

Tooltip: Achtergronden verwijderen uit video’s en gifs

Wanneer je in een video tegelijkertijd jezelf en andere beelden wil laten zien, film je jezelf het liefst voor een green screen. Heb je geen green screen of besluit je pas na het filmen dat je er eigenlijk een had willen gebruiken, dan zijn er tools die de achtergrond uit je video voor je kunnen verwijderen. Een zo’n tool is Unscreen. In deze video laat ik je zien hoe Unscreen werkt.

Iedereen aan de robotjournalist?

Foto: Open-AI / DALL-E 2

Relatief simpele taken kun je best laten uitvoeren door robots. Ook in de journalistiek gebeurt dat met mondjesmaat. Zowel de NOS als RTL Nieuws experimenteerden de afgelopen jaren met softwarerobots, die aan de hand van data artikelen schreven. Maar echt grootschalig worden die robotjournalisten nog niet gebruikt. Een van de redenen: robotjournalisten bouwen is best wel aan de prijs. De programmeercode waar ze uit bestaan moet voor een groot deel met de hand worden geschreven.

Onderzoeker Chris van der Lee van Tilburg University zocht voor zijn promotie naar een oplossing. En vond die! Als je een computer zelf laat leren hoe de programmeercode van een robotjournalist eruit moet zien, kan die computer uiteindelijk ook ontdekken hoe hij meer robotjournalisten maakt. Ik sprak Chris erover vlak voor de verdediging van zijn proefschrift. Nu benieuwd of zijn theorie ook ooit praktijk wordt.

Ook de moeite waard:

• Wil je weten wat je doelgroep interessant vindt, dan kijk je goed naar je data. Maar met data alleen kom je er niet, aldus Margriet-hoofdredacteur Helene van Santen in mijn rubriek Online Lessen

• De Tweede Kamer wil deepvake-video’s in bepaalde gevallen verbieden. Volkskrant-journalist Laurens Verhagen en media-advocaat Otto Volgenant zien daar geen brood in

• Een paar jaar terug nog zouden spraakassistenten het helemaal worden. Maar Amazons Alexa gaat niet zo lekker: alleen dit jaar al gaat Amazon 10 miljard dollar verliezen aan zijn spraakassistent

• We moeten beter luisteren, anders kijken en vaker in contact treden met mensen die niet zijn zoals wij - de nieuwsconsument. Dat is wat Laurens Vreekamp leerde van Arne van der Wal, Kim Einder en Arie Bart de Vries

• Het is nog niet zo heel lang geleden dat Facebook besloot flink in te gaan zetten op zijn rol als nieuwsverspreider. Maar recente ontslagen lijken te bevestigen dat Facebook-moeder Meta helemaal klaar is met nieuws

• De European Data Protection Supervisor (EDPS) wil dat journalisten beter beschermd worden tegen spyware. De Europese privacytoezichthouder wil dat er binnen de Europese Unie een verbod komt op het maken en inzetten van spyware