KI generiert realistische Gerichtsbilder aus textbasierten Rezepten

Ein neues Deep-Learning-System kann automatisch Bilder aus einer langen textbasierten Beschreibung generieren. Forscher demonstrierten ein Netzwerk, das ein Rezept als Eingabe nimmt und ein Bild von Grund auf neu erstellt.

Bedingte Generative Adversarial Networks

Bilder aus einer kurzen visuellen Beschreibung zu generieren, ist eine anspruchsvolle Aufgabe mit zahlreichen Anwendungen in der Computer Vision. Jüngste Studien bewiesen, dass Generative Adversarial Networks (GANs) hochwertige, realistische Bilder mit niedriger Auflösung und geringer Variabilität effektiv synthetisieren können.

Ein jüngster Beitrag eines Forschungsteams der Tel Aviv University in Israel kann die Forschung in diesem Bereich beschleunigen. Sie entwickelten ein Deep-Learning-Modell, das automatisch Bilder aus textbasierten Beschreibungen erstellt.

Insbesondere demonstrierten sie ihr System bei der Generierung von Bildern fertiger Gerichte aus einfachen schriftlichen Rezepten. Dazu nutzt das System eine Kombination aus State-of-the-Art Stacked GAN und dem Lernen cross-modaler Einbettungen für Kochrezepte und Lebensmittelbilder.

Funktionsweise bedingter GANs

Grundlegend bestehen GANs aus zwei Modellen (Generator und Diskriminator), die gegeneinander trainiert werden. Der Generator synthetisiert Bilder ähnlich der ursprünglichen Datenverteilung, während der Diskriminator zwischen Original- und synthetischen Bildern unterscheidet.

In dieser Arbeit nutzten Forscher bedingte GANs, bei denen sowohl Generator als auch Diskriminator gezwungen sind, eine bestimmte Bedingung zu berücksichtigen. Sie schlugen zwei Arten von Einbettungstechniken vor: semantische und nicht-semantische Regularisierung. Diese Techniken bestehen aus drei Schritten:

1. Initiale Einbettung der Zutaten und Kochanweisungen.
2. Kombinierte neuronale Einbettung des gesamten Rezepts.
3. Integration einer semantischen Regularisierungsverlustfunktion mittels hochklassigem Klassifikationsziel.

Das bedingte GAN wurde auf 52.000 textbasierten Rezepten und ihren zugehörigen Bildern trainiert. Trainiert wurde mit NVIDIA TITAN X GPUs und der CUDA Deep Neural Network Library. Nach dem Training erstellte das System Bilder dessen, wie das Rezept aussehen könnte, aus einer langen Beschreibung (die keine visuellen Informationen enthielt).

Referenz: arXiv:1901.02404 | Tel-Aviv University

Menschliche Evaluation

Das Netzwerk nimmt ein Rezept als Eingabe und erstellt ein Bild (von Grund auf neu), das die textbasierte Beschreibung des Essens am besten widerspiegelt. Beeindruckend ist, dass das System keinen Zugriff auf den Rezepttitel hat – sonst wäre die Aufgabe zu einfach – und der Rezepttext recht lang ist. Dies macht die Aufgabe selbst für Menschen schwierig.

Mit freundlicher Genehmigung der Forscher

Zur besseren Bewertung der synthetisierten Bilder baten die Forscher 30 Personen, die ansprechendsten Bilder auf einer Skala von 1 bis 5 zu bewerten. Sie präsentierten 10 zufällig ausgewählte Bildpaare, die von jeder Einbettungstechnik generiert wurden.

Die Ergebnisse zeigten, dass die nicht-semantische Regularisierungsmethode die semantische Regularisierung übertrifft, indem sie lebendigere Bilder mit fotorealistischen Details erzeugt. Tatsächlich fanden einige Personen es sehr schwer, zwischen echten und synthetischen Bildern zu unterscheiden.

Zudem gelang es beiden Einbettungstechniken, «breiartige» Lebensmittelbilder (wie Salat, Suppen und Reis) zu erzeugen, aber sie hatten Schwierigkeiten, Lebensmittel mit charakteristischer Form (wie Hähnchen, Hamburger und Getränke) zu erstellen.