Wat genereert een tekst-naar-video-AI zoals Sora?

Een tekst-naar-video-AI zoals Sora genereert korte videoclips rechtstreeks uit een geschreven beschrijving, door te voorspellen hoe beelden van het ene naar het volgende frame moeten veranderen en bewegen zodat ze overeenkomen met wat de prompt beschrijft. Zo kan iemand een simpele zin typen en een bewegende, vaak verrassend realistische scène krijgen zonder ooit een camera te gebruiken, al moet het systeem in feite talloze visuele details die niet expliciet in de tekst staan, zoals licht en fysica, als het ware zelf verzinnen.

Gedrukte fotoalbums zijn fysieke producten die printen en samenstellen vereisen, los van het genereren van digitale bewegende video uit tekst. Een snellere thuisinternetverbinding is een upgrade van een internetdienst en heeft niets te maken met een AI-model dat videocontent produceert.

Vroege tekst-naar-video-clips vertonen vaak vreemde fouten, zoals handen met het verkeerde aantal vingers of voorwerpen die door elkaar heen bewegen, wat laat zien dat fysiek realisme nog altijd een van de moeilijkste dingen is voor deze modellen om goed te krijgen.