Als James Dolan, CEO von Sphere Entertainment, zum ersten Mal vorschlug, The Wizard of Oz (1939) im riesigen Sphere in Las Vegas zu zeigen, waren sogar die KI-Ingenieure von Google skeptisch. Der ikonische Film, der auf 35-mm-Zelluloid gedreht wurde, war nie für einen 160.000 Quadratmeter großen Wraparound-Bildschirm mit 16K-Auflösung gedacht – eines der modernsten Displays der Welt.
Doch durch bahnbrechende KI-Hochskalierung, generative Leistungserstellung und filmische Erweiterung verwandelten die DeepMind- und Cloud-Teams von Google den Filmklassiker in ein immersives Erlebnis, das es so noch nie gegeben hat. Das Ergebnis? Eine zu 90 % KI-verbesserte Version von „Der Zauberer von Oz“, die am 28. August 2024 im Sphere Premiere haben wird.
Die unmögliche Herausforderung: Die Adaption eines Films von 1939 für die Sphäre
Die Las Vegas Sphere, die 2023 eröffnet wird, ist ein technisches Wunderwerk. Das Auditorium mit 18.600 Plätzen verfügt über ein Audiosystem mit 20.000 Lautsprechern und einen 16K-LED-Bildschirm, der sich um 270 Grad um das Publikum herum wickelt. Bislang wurden hier nur Live-Auftritte (U2, Phish, Dead & Company) und speziell angefertigte Filme wie Postcard from Earth gezeigt.
Einen vordigitalen Film im Seitenverhältnis 4:3 auf dieser Leinwand zu zeigen, schien nicht machbar zu sein.
Wichtige technische Hürden:
Auflösungsbeschränkungen – Die Auflösung des Originalfilms (~2K beim Scannen) würde auf dem Ultra-High-Definition-Display des Sphere unscharf und pixelig erscheinen.
Beschränkungen des Seitenverhältnisses – Der Film wurde im Format 1,37:1 gedreht, was weitaus schmaler ist als die 360-Grad-Leinwand des Sphere.
Fehlende visuelle Daten – Viele Szenen hatten abgeschnittene Hintergründe, so dass die KI komplett neue Landschaften und Charaktere generieren musste.
Googles KI-Durchbrüche: Wie sie es geschafft haben
Um diese Herausforderungen zu meistern, haben Google DeepMind und Google Cloud drei revolutionäre KI-Techniken entwickelt:
AI Super-Resolution & Detail-Rekonstruktion
Herkömmliche Hochskalierungsmethoden (wie die bilineare Interpolation) strecken die Pixel einfach, was zu Unschärfe führt. Google verwendet stattdessen KI-Modelle, die von Gemini gesteuert werden:
- Generieren Sie neue Pixel auf der Grundlage eines kontextuellen Verständnisses des Films.
- Verbessern Sie Gesichtsdetails (z. B. die Strohtextur der Vogelscheuche oder Dorothys Sommersprossen).
- Wiederherstellung der verlorenen Filmkörnung ohne digitale Artefakte.
„Es gibt Szenen, in denen die Nase der Vogelscheuche nur 10 Pixel groß ist“, sagt Steven Hickson, Google DeepMind’s AI Research Director. „Das auf einem Bildschirm dieser Größe natürlich aussehen zu lassen, war eine unserer größten Herausforderungen“.
Generatives „Outpainting“ – Die Welt des Films erweitern
Da der Bildschirm des Sphere breiter und höher ist als der des Originalrahmens, hat Google Imagen 3 (Googles neuestes Text-Bild-Modell) verwendet:
- Erweiterung der Hintergründe (z. B. durch Hinzufügen weiterer Teile der Skyline von Emerald City).
- Einführung von Figuren aus dem Off (z. B. Onkel Henry, der ursprünglich in Tante Em’s Szenen nicht zu sehen war).
- Fehlende Versatzstücke rekonstruieren (z. B. zusätzliche Gebäude in Munchkinland).
„Wir mussten neue Wege für die KI finden, um die Kinematografie der 1930er Jahre zu verstehen“, erklärt Ravi Rajamani, Leiter der Abteilung Generative KI bei Google Cloud. „Die KI musste von nur einem Film lernen, was beim maschinellen Lernen extrem selten ist.
KI-generierte Charakter-Darbietungen
Einige Szenen erforderten völlig neue Bewegungen der Figuren, damit sie auf die erweiterte Leinwand der Sphere passen. Googles Veo 2 (eine KI zur Videogenerierung) wurde auf den Originalfilm trainiert, um:
- Animieren Sie Hintergrundfiguren (wie zusätzliche geflügelte Affen).
- Passen Sie die Augenlinien der Schauspieler an die gekrümmte Perspektive der Sphäre an.
- Synthetisieren Sie lippensynchronen Dialog für längere Szenen.
Um die Authentizität zu gewährleisten, wurde die für einen Oscar nominierte Produzentin Jane Rosenthal (bekannt für The Irishman) zu Rate gezogen, um die Genauigkeit der Darstellung zu gewährleisten.
Warum dies ein Meilenstein für KI im Film ist
Dieses Projekt stellt einen großen Sprung in der Rolle der KI in der Unterhaltung dar:
Eine neue Form des „AI-Remastering“
Im Gegensatz zur einfachen Kolorierung oder Rauschunterdrückung handelt es sich hier um eine vollständige filmische Neuinterpretation. Künftige Klassiker (Casablanca, Vom Winde verweht) könnten ähnlich umgestaltet werden.
Die Zukunft des immersiven Kinos
Das Format von The Sphere könnte den Kinobesuch neu definieren. Stellen Sie sich vor:
- Star Wars mit KI-erweiterten Weltraumschlachten.
- Jurassic Park mit KI-generierten Dinosaurierausblicken.
- Live-Konzerte mit KI-generierten Bühnenerweiterungen.
Ethische und industrielle Implikationen
Dies ist zwar bahnbrechend, wirft aber auch Fragen auf:
- Sollte KI klassische Filme ohne die Mitwirkung der Filmemacher verändern?
- Wird KI die traditionellen Restauratoren ersetzen?
- Könnten Studios diese Technologie nutzen, um Filme ohne Schauspieler „neu zu drehen“?
James Dolan bleibt unbeeindruckt: „Ich kann es kaum erwarten, dass Hollywood das sieht. Denen wird die Kinnlade runterfallen.“
Fazit: Ein Blick in die KI-Zukunft des Kinos
Googles KI-gesteuerter „Wizard of Oz“ ist mehr als ein technisches Wunderwerk – er ist ein Proof of Concept für die nächste Ära des Filmemachens. Wenn sich die KI weiter entwickelt, werden wir es vielleicht sehen:
- KI-verbesserte IMAX-Versionen von Filmklassikern.
- Interaktive Filme, bei denen die KI Szenen in Echtzeit generiert.
- Vollständig KI-gemasterte Filmbibliotheken für Next-Gen-Displays.
Vorerst werden die Zuschauer einen Film aus dem Jahr 1939 sehen, der durch KI aus dem Jahr 2024 wiedergeboren wurde – ein Beweis dafür, dass selbst die ältesten Filme im digitalen Zeitalter neue Magie entfalten können.
„Dies ist nicht nur eine Restaurierung“, sagt Thomas Kurian, CEO von Google Cloud. „Es ist eine Neuschöpfung. Die einzige andere Möglichkeit, dies zu tun, wäre, in der Zeit zurückzugehen und es noch einmal zu filmen.“
Die Premiere von Las Vegas Sphere am 28. August wird zeigen, ob das Publikum zustimmt. Eines ist jedoch sicher: Die Zukunft des Kinos wird nicht mehr dieselbe sein.
Zusätzliche Forschung und Brancheneinblicke
- Warner Bros. gewährte seltenen Zugang zu den Originalfilmnegativen für das KI-Training.
- Disney erforscht Berichten zufolge eine ähnliche KI-Hochskalierung für seine klassischen Animationsfilme.
- Der CEO von NVIDIA, Jensen Huang, bezeichnete die KI-Filmrestaurierung als „die nächste Stufe der Computerkinematografie“.
- Filmrestauratoren diskutieren, ob KI-Veränderungen die künstlerische Integrität gefährden.
Dieses Projekt verwischt die Grenze zwischen Restaurierung und Neuerfindung und stößt eine neue Debatte darüber an, wie weit KI bei der Umgestaltung der Filmgeschichte gehen sollte.
