Microsoft stellt AttnGAN vor: KI, die Textbeschreibungen in fotorealistische Bilder verwandelt

• Microsofts AttnGAN generiert hochfidele Bilder aus einfachem Text und Bildunterschriften.
• System nutzt Zwei-Modell-Architektur: Generator erstellt Bild, Diskriminator bewertet Realismus.
• Es fügt kontextrelevante Details über den Prompt hinaus hinzu, demonstriert interne „Vorstellungs“-Ebene.
• Zukünftige Anwendungen: vollautomatisierte Animationsproduktion gesteuert durch Drehbücher.

Während frühere Bemühungen Text-zu-Bild-Synthese verbesserten, avanciert Microsofts AttnGAN das Feld durch fotorealistische Bilder aus knappen Textprompts, mittels umfangreicher Bibliothek gelabelter Bilder.

Entwickelt bei Microsoft Research, parst AttnGAN einzelne Wörter eines Prompts zur Bildkonstruktion. Laut Team liefert der Ansatz ca. dreimal höhere Bildqualität als vorherige State-of-the-Art-Modelle.

Der kreative Prozess des Bots

Stellen Sie sich vor, Sie werden gebeten, einen blauen Vogel mit roten Flügeln und kurzem Schnabel zu zeichnen. Sie beginnen mit grober Skizze, fügen dann Farben und Details hinzu. AttnGAN folgt derselben Logik, analysiert jedes Wort zum Aufbau eines detaillierten, kohärenten Bildes.

Der Bot kann jedes Sujet rendern – von Gadgets bis Wildlife – und fügt oft kontextgerechte Hintergrundelemente hinzu, die nicht explizit erwähnt wurden, was seine Kapazität für „imaginierte“ Details zeigt.

Bilder werden Pixel für Pixel von Grund auf synthetisiert, was dem Modell erlaubt, Szenen zu erschaffen, die in Realität nicht existieren. Diese generative Aufgabe ist inhärent komplexer als bloßes Labeln existierender Fotos.

Wie AttnGAN Bilder generiert

1. Generator: Erstellt Bilder basierend auf Textbeschreibung.
2. Diskriminator: Bewertet Authentizität des generierten Bilds gegen Beschreibung.

Beide Modelle werden gemeinsam trainiert, sodass der Generator aus Feedback des Diskriminators lernt und progressiv höhere Fidelität erreicht.

Training involvierte Tausende gepaarter Foto-Caption-Datensets, die AttnGAN lehrten, spezifische Wörter auf visuelle Muster abzubilden. Z.B. triggert „Elefant“ das Modell, ein typisches Elefantenbild zu erzeugen.

Das System zerlegt komplexe Sätze in Einzelwörter, ordnet jedes Wort einem Bildbereich zu. Während Training lernt es auch „künstlichen Common Sense“, um fehlende Details zu ergänzen und realistische Komposition zu sichern.

In diesem Beispiel erwähnte der Prompt nur einen Vogel. AttnGAN platzierte den Vogel intelligent auf einem Ast – ein häufiger realer Kontext aus Trainingsdaten. Dies demonstriert die Fähigkeit des Modells, kontextuelles Wissen anzuwenden.

arXiv:1711.10485 – Microsoft Research Paper zu AttnGAN.

Herausgefordert, einen Doppeldeckerbus auf einem See schweben zu lassen, erzeugte das Modell eine verschwommene, doch erkennbar gemischte Szene – was seinen Kampf zeigt, konfligierende Prompt-Elemente zu vereinen.

Performance und Use Cases

AttnGAN übertrifft vorherige Benchmarks: 170,25 % Verbesserung auf COCO-Datensatz Inception Score und 14,14 % Gewinn auf CUB-Datensatz.

Potenzielle Anwendungen: Skizzenassistenten für Innenarchitekten, sprachaktivierte Fotoverfeinerung, mit Weiterentwicklung vollautomatisierte Animationsproduktion aus Drehbüchern.

Weitere KI-Kunstgeneratoren

Microsoft ist nicht allein im Verbinden von Kunst und KI. Googles DeepDream erzeugte 2016 psychedelische Bilder, seine KI produzierte Musik und Sprachsynthese wie Tacotron 2. Facebook und Nvidia veröffentlichten ebenfalls generative Modelle für Autos, Schiffe, Tiere und sogar synthetische Promi-Avatare.

Lesen Sie über Googles menschenähnliche Stimme KI Tacotron 2.