Googles KI generiert vollständige Videos aus Start- und Endbild

3D-Convolutional Neural Network für Video-Inbetweening

Google-Forscher lösen das „Inbetweening“-Problem (Zwischenbildgenerierung) mit einem vollständig convolutiven 3D-CNN – ohne rekurrente Elemente, dafür mit stabilerem Training und tieferen Netzen.

Modellarchitektur: Drei Kernkomponenten

2D-Convolutional Image Encoder: Mappt Keyframes in latenten Raum
3D-Convolutional Latent Representation Generator: Fusst Keyframe-Repräsentationen stochastisch, erhöht zeitliche Auflösung progressiv
Video Generator: Dekodiert latente Repräsentation in Videoframes

Direkte Generierung aus encodierten Keyframes lieferte unzureichende Ergebnisse → Latent Generator als stochastischer Fusionsmechanismus.

Evaluation

Testdatensätze: UCF101, BAIR, KTH Action Database. Jedes Sample: 16 Frames (14 generiert). >100 Ausführungen pro Keyframe-Paar, 10× pro Modellvariante.

Ergebnisse

Realistische Videosequenzen bei Keyframes ~0,5 Sekunden auseinander
Vielfalt durch Variation des Input-Noise-Vektors steuerbar
Wertvolle Alternative für zukünftige Video-Generationsforschung

Quelle: arXiv:1905.10240 | NVIDIA

Microsofts Multi-Task DNN setzt neue Maßstäbe in conversationaler KI High-Tech-Holz kühlt Gebäude um 10 °C, senkt Kühlkosten um 60 %

Industrietechnik

Herstellungsprozess

3d Drucken

Automatisierungssteuerung System

Industrietechnik