KI-fähige Kameras ermöglichen eine Smart-City-Testversion

Eine KI-gestützte Smart-City-Testversion in Rom mit Sony-Image Sensoren mit KI-Fähigkeit als Teil eines „Smart Tip“-Systems soll dazu beitragen, Staus und Umweltverschmutzung durch den Verkehr zu reduzieren, Fußgängerunfälle zu reduzieren und das Gedränge in den Bussen der Stadt zu minimieren.

Ein KI-gestützter Smart-City-Test in Rom, bei dem Sony-Bildsensoren mit KI-Funktion als Teil eines „Smart Tip“-Systems verwendet werden, soll dazu beitragen, Staus und Umweltverschmutzung durch den Verkehr zu reduzieren, Unfälle mit Fußgängern zu vermeiden und das Gedränge in den Bussen der Stadt zu minimieren.

Der Versuch soll drei „Pain Points“ angehen, die den meisten Städten gemeinsam sind:Verkehrsaufkommen und Staus, insbesondere bei der Parkplatzsuche; Sicherheit von Fußgängern beim Überqueren der Straße; und Optimierung der Verfügbarkeit öffentlicher Verkehrsmittel für die Zeit der Pandemie und darüber hinaus.

In der Ewigen Stadt wurden bisher drei Machbarkeitsnachweis-Smart-Tipp-Systeme über der Ampel eingesetzt.

Das Smart Tip-System mit zwei Sony IMX500 AI-fähigen Kameramodulen sitzt auf einer Ampel (Quelle:Sony Semiconductor Europe)

Die Smart Tips verfügen jeweils über zwei Sony IMX500 Bildsensoren. Diese Sensoren, die vor einem Jahr auf den Markt kamen, verfügen insbesondere über eine KI-Verarbeitungsfunktion, mit der Bilder am Rand des Netzwerks verarbeitet werden können, ohne dass die Bilder den Smart Tip verlassen.

Das IMX500-Modul verfügt über einen 12,3-Megapixel-Sensor sowie einen Logikchip mit einem Sony DSP-Design für die KI-Verarbeitung sowie Speicher zum Speichern des KI-Modells. Die Fähigkeit, Bilder innerhalb des Geräts zu verarbeiten (ohne Daten an die Cloud zu senden) ist für den Betrieb von Smart City-KI-Systemen entscheidend, da sie eine extrem schnelle Latenz ermöglicht. Es gewährleistet auch die Privatsphäre der Verbraucher; Bilder verlassen das Gerät nicht, stattdessen werden Informationen über KI extrahiert und in Metadaten umgewandelt. Diese Metadaten können die Anzahl der Personen umfassen, die an einer Bushaltestelle in einen Bus ein- oder aussteigen, oder die Anwesenheit von Fußgängern, die die Straße überqueren. (Der IMX500 kann bei Bedarf ganze Bilder oder Bereiche von Interesse/Teilbilder ausgeben, aber für diese Testversion wurde nur die Kommunikation von Metadaten ausgewählt).

„Aus diesem Sensor kommt kein Bild, es ist keine Kamera, es ist eine Kamera, die als Sensor verwendet wird – kein Bild geht aus“, sagte Antonio Avitabile, Managing Director of Corporate Alliance and Investment bei Sony. „Was rauskommt, ist nur ein „Ja, Fahrzeug“ oder „Kein Fahrzeug“ oder eine Anzahl von Personen. Die Idee hier ist, dem Zweck zu dienen und die Arbeit zu erledigen, aber ohne die Leute zu beobachten.“

Durch die Verarbeitung der Bilder am Rand wird auch vermieden, dass Dutzende von 12-Megapixel-Bildern in die Cloud hochgeladen werden müssen; allein die Metadaten sind viel besser für die Übertragung durch das Mobilfunkmodem des Smart Tip geeignet.

Klick für Bild in voller Größe

Die drei Anwendungen, die von diesem Projekt getestet werden (Quelle:Sony Semiconductor Europe)

Drei Anwendungen

„Verkehrsstaus sind in Großstädten ein sehr großes Problem“, sagte Avitabile. „Ein erheblicher Teil korreliert ziemlich genau damit, dass Autofahrer einen freien Parkplatz suchen.“

Das Smart City-KI-System von Rom soll in Echtzeit verfolgen, wo verfügbare Parkplätze vorhanden sind. GPS-Standorte verfügbarer Plätze werden über das Mobilfunkmodem des Systems an die Cloud gesendet. Die Standorte können dann den Fahrern über eine Handy-App mitgeteilt werden. Die Idee besteht darin, zu vermeiden, dass Fahrer längere Zeit auf der Suche nach einem Platz herumfahren müssen, wodurch gleichzeitig Staus und Umweltverschmutzung reduziert werden.

Die Sicherheit von Fußgängern ist ein weiterer wichtiger Schwachpunkt für jede Stadt. Tausende von Fußgängern kommen jedes Jahr auf europäischen Straßen ums Leben. Der durchschnittliche Abstand zwischen Fußgängern und Fahrzeugen ist eine wichtige Kennzahl zur Messung der Fußgängersicherheit. Die Studie soll dies quantitativ analysieren. Die Smart Tips erkennen Fußgänger, die die Straße überqueren, und aktivieren dann visuelle oder akustische Signale für Fahrzeuge, wenn sie überqueren.

Verkehr vor dem Kolosseum in Rom (Bild:Boris Stroujko)

„Jedes Mal, wenn ein Fußgänger identifiziert wird, der die Straße überquert, haben wir eine Art Lichtsignal an der Kreuzung, das den Fahrer darauf aufmerksam macht, dass tatsächlich jemand die Straße überquert“, sagte Avitabile. „Wir glauben, dass dies abschreckend sein wird, um weniger Verletzte und Tote an Fußgängerüberwegen zu verursachen.“

Der öffentliche Nahverkehr ist die dritte Anwendung, die in der Studie bearbeitet wird. Das Beispiel von Avitabile, intelligente Bushaltestellen, könnte überprüfen, wie viele Personen an jeder Bushaltestelle warten, und diese Informationen verwenden, um die Anzahl der Personen in jedem Bus zu kontrollieren (besonders wichtig während der anhaltenden Pandemie). Busse könnten auch vermeiden, an Haltestellen zu halten, an denen keine Fahrgäste warten. Das System kann auch überwachen, wie viele Personen an jeder Haltestelle ein- und aussteigen. Diese Informationen können verwendet werden, um Busrouten und -zeiten besser zu optimieren.

Back-End-System

Das Smart Tip-System von Sony umfasst eine Serviceplattform, die in der Cloud ausgeführt wird. Diese Plattform übernimmt die Bereitstellung und Registrierung der Smart Tip-Geräte. Diese Plattform übernimmt auch das Training der KI-Modelle, die verwendet werden, um Autos und Personen zu erkennen, und die Produktion von Modellen, die auf das IMX500-Gerät passen.

Die Skalierbarkeit der Systeme wird durch die Minimierung ihres Bandbreitenbedarfs sichergestellt (indem wie oben beschrieben nur Metadaten gesendet werden). Die Smart Tips selbst sind in den drei Anwendungsfällen identisch; nur die KI-Modellsoftware ist bei jedem anders. Das KI-Modell kann drahtlos hochgeladen oder aktualisiert werden, um die Effizienz zu verbessern oder in Zukunft verschiedene Anwendungen zu berücksichtigen.

>> Dieser Artikel wurde ursprünglich auf unserer Schwesterseite EE published veröffentlicht Mal Europa.