Echtzeit-KI kolorisiert Schwarzweiß-Videos mit unübertroffener Genauigkeit

• Neuer Deep-Learning-Algorithmus ermöglicht Editoren, ganzes Video durch Kolorisierung eines Frames pro Szene zu kolorisieren.
• Hochpräzise, effizient, bis zu 50x schneller als vorherige Methoden.

Videos enthalten massive redundante Daten zwischen Frames – manuelle Kolorisierung jedes B&W-Frames extrem zeitaufwändig. Redundanzen in Video-Encoding & Compression gut erforscht, aber weniger in advanced Video Processing wie Kolorisierung.

Zahlreiche Algorithmen (Bilateral CNN, Similarity-Guided Filtering, Optical-Flow-based Warping) verarbeiten lokale Beziehungen zwischen Consecutive Frames zur Data Propagation. Nutzen Apparent Motion oder Pre-Designed Pixel-Level Features für Similarity Modeling zwischen Frames & Pixeln.

Limitierungen: Kein Ausdruck High-Level Relationships zwischen Frames, keine akkurate Reflexion der Bildstruktur. Lösung: NVIDIA-Forscher entwickelten neuen Deep-Learning-Algorithmus – Editoren kolorisieren ganzen Clip durch Kolorisierung eines einzelnen Frames pro Szene.

Funktionsweise

Für explizites Lernen High-Level Similarity zwischen Consecutive Frames: Temporal Propagation Network mit Propagation Component für Transfer von Charakteristika (z. B. Farbe) von einem Frame zum anderen. Nutzt Linear Transformation Matrix getrieben von Convolutional Neural Network (CNN).

CNN entscheidet: Welche Farben vom kolorisierten Frame übertragen & in verbleibenden B&W-Frames eingefüllt? Unterschied zu anderen Methoden: Bessere Kolorisierung durch interaktiven Ansatz – Editor annotiert Bildbereich → fertiges Produkt.

Für Learning Propagation im Temporal Domain: 2 Rules enforced. 1) Propagation zwischen Frames muss invertierbar sein. 2) Target Element muss gesamten Prozess über erhalten bleiben.

Gezeigt: Technik benötigt keine Image-based Segmentation für Ergebnisse vergleichbar mit State-of-the-Art.

Referenz: arXiv:1804.08758 | NVIDIA

Training: NVIDIA Titan XP GPUs. Hunderte Clips aus diversen Datasets (High Dynamic Range, Color, Mask Propagation). Network konfiguriert auf ACT Dataset: 7.260 Video-Sequenzen, ~600.000 Frames.

Vorteile der vorgeschlagenen Technik

1. Hohe Genauigkeit: Deutlich bessere Videoqualität vs. vorherige Arbeiten.
2. Hohe Effizienz: Echtzeit-Ausführung – bis 50x schneller als vorherige Methoden. Weitere Effizienzsteigerung durch parallele Verarbeitung aller Video-Frames.

Lesen Sie auch: Nvidia KI konvertiert 30fps Videos zu 240fps

Aktuelle Technik: Einfacher Weg zur Data Propagation über Zeit in Clips. Zukünftig: Einbindung High-Level Vision Cues (Tracing, Semantic, Segmentation) für Temporal Propagation.