Für ein besseres Gehör bei AVs

Wenn Autofahrer eine Sirene hören können, warum können autonome Fahrzeuge dies nicht tun? das gleiche?

In Notsituationen wie schweren Verkehrsunfällen zählt jede Sekunde und ein ausreichend breiter Rettungsstreifen kann über Leben und Tod entscheiden. Wenn Fahrer eine Sirene hören können, warum können dann autonome Fahrzeuge nicht dasselbe tun? Avelabs mit Sitz in Kairo, Ägypten, hat eine Sensorlösung entwickelt, die Fahrzeugen den Hörsinn verleiht, um das Sehvermögen zu ergänzen und autonome Fahrsysteme zu verbessern.

„Das Sehen ist unser wichtigster Sinn bei der Bewertung der Umwelt“, sagte Amr Abdelsabour, Director of Product Management bei Avelabs, in einer Podiumssitzung auf der diesjährigen AutoSens Brussels. „Als menschliche Fahrer sind wir jedoch nicht nur auf das Sehen angewiesen. Auch beim Autofahren sind wir auf unser Gehör angewiesen. Es gibt viele Informationen, die wir hören, aber nicht wie eine Sirene von hinten sehen können. Oder wenn wir in eine unübersichtliche Kreuzung fahren und ein Auto kommt, können wir es nicht wirklich sehen, aber wir können es hören.“

Auf der AutoSens stellte Avelabs AutoHears vor, ein akustisches Sensorsystem, das Geräusche erkennt, klassifiziert und lokalisiert, um die komplexe Umgebung des Fahrzeugs besser zu verstehen. AutoHears, das die Hardware, das mechanische Gehäuse und die Software umfasst, die die Sensorfunktionen ausführt, soll auch die Erkennung von Einsatzfahrzeugen, verdeckten Feldern, Naturkatastrophen (z. B. Steinschlägen) und Sicherheitsereignissen (z. B. Kollisionen in der Nähe, Schüsse, Explosionen) ausführen B. Fahrzeug-Eigendiagnose und Spracherkennung.

In einer Folgediskussion mit EE Times Europe , erläuterte Abdelsabour, was es braucht, um Fahrzeugen das Gehör zu geben, wie Software und Hardware voneinander abhängig sind, wo und wie die Datenfusion durchgeführt wird und wann mit AutoHears zu rechnen ist?

EE Times Europe:Können Sie die Arten von Geräuschen beschreiben, die AutoHears erkennen kann und welche nicht?

Amr Abdelsabour: Angefangen haben wir mit laufenden Fahrzeuggeräuschen (z. B. Reifen, Motor, Bremsen und aerodynamische Geräusche) sowie Hupen und Sirenen unterschiedlicher Standards weltweit. Diese Klassen wurden bisher getestet und demonstriert. Wir arbeiten derzeit daran, neue Klassen wie Naturkatastrophen und Kollisionserkennung hinzuzufügen, aber sie befinden sich noch in der Feature-Entwicklungsphase. Eine Roadmap für die Feature-Entwicklung ist im Aufbau.

EE Times Europe:AutoHears erkennt Geräusche aus allen Winkeln. Gibt es körperliche Einschränkungen?

Abdelsabour: AutoHears kann Geräusche aus allen Winkeln erkennen und nicht nur das, sondern auch Geräusche, die hinter Wänden und anderen Hindernissen kommen. Es gibt natürlich körperliche Einschränkungen. Schallmessung ist ein relativer Erfassungsprozess, bei dem Schall relativ zu seiner Umgebung erfasst wird. Dies bedeutet, dass AutoHears in einer ruhigen Umgebung in der Lage wäre, schwache und schwache Geräusche wie Fahrräder und sogar Schritte zu erkennen. Wenn die Umgebung jedoch laut ist, kann AutoHears nur die wichtigsten Geräusche erkennen. Wenn beispielsweise eine laute Sirene in der Nähe aktiv wäre, könnten wir die Motorgeräusche anderer Fahrzeuge nicht wahrnehmen, da der laute Ton den leisen Ton überdecken würde. Trotzdem arbeiten wir daran, unsere genaue physikalische Begrenzung in objektiven Zahlen herauszufinden, um unseren Kunden verlässliche Begrenzungen liefern zu können.

EE Times Europe:Wie sieht es mit der Klassifizierung von Geräuschen aus?

Abdelsabour: Die Klassifikation von Klängen ist ein komplexer Prozess, insbesondere wenn es um nicht standardisierte Klänge geht. Wenn wir über standardisierte Geräusche wie Sirenen sprechen, wird der Klassifizierungsprozess einfach und ziemlich unkompliziert und kann mit modellbasierten Algorithmen durchgeführt werden. Die Erkennung des fahrenden Fahrzeugs ist jedoch ein komplexerer Prozess, da es sich um eine nicht standardmäßige Kombination von Geräuschen handelt, die aus verschiedenen physikalischen Komponenten bestehen, die die endgültigen Geräusche erzeugen, die unsere Ohren oder Sensoren hören. Hier kommen verschiedene Methoden der Künstlichen Intelligenz ins Spiel, um Geräusche auf Basis des maschinellen Lernens durch gesammelte Daten klassifizieren zu können und die Geräusche nach dem Gelernten zu erkennen und zu klassifizieren. Wir sind stolz darauf, dass wir in AutoHears eine Kombination aus modellbasierten Algorithmen und maschinellem Lernen eingesetzt haben, um Geräusche in Abhängigkeit von den zu erkennenden Zielgeräuschen zu klassifizieren.

EE Times Europe:Wie verschmelzen Audiodaten mit Bilddaten von Kameras oder anderen im Auto integrierten Sensoren?

Abdelsabour: Wie bei menschlichen Fahrern ergänzt Ton das Sehvermögen. So sehen wir AutoHears und haben es entsprechend entwickelt. Da wir uns hauptsächlich mit dem akustischen Sensorteil befassen, liefern wir die rohen akustischen Sensorinformationen, die mit anderen Sensoren wie Kameras und Radaren fusioniert werden können, um Objekte zu klassifizieren und zu lokalisieren, um die Stärken jedes einzelnen Sensors zu nutzen und ihre Schwächen zu überwinden . So kann beispielsweise die Kombination von Radar, Kamera und AutoHears zu folgender Erkennung eines Fahrzeugs in unserem toten Winkel führen:Das Radar kann das Hindernis erkennen und dessen Entfernung genau abschätzen (da Radare in dieser Hinsicht sehr zuverlässig sind), die Kamera würde dieses Objekt klassifizieren (wenn eine Kamera in die Richtung schaut, in der sich das Zielfahrzeug befindet), würde AutoHears die Erkennung mit seiner eigenen Klassifizierung und Lokalisierung dieses Fahrzeugs bestätigen und die Informationen hinzufügen, wenn dieses Fahrzeug Geräusche wie z als Hupen oder Sirenen. Die Kombination aller Sensoren zusammen macht die Sensorfusion zu einer höchst schlüssigen Rekonstruktion der Umgebung auf bestmögliche Weise.

EE Times Europe:Warum haben Sie sich entschieden, ein komplettes System zu bauen? Warum war es wichtig, alle Software- und Hardwareaspekte anzugehen?

Abdelsabour: AutoHears als Sensorsystem ist eines der ersten Detektionssysteme seiner Art, nämlich ein akustisches Detektionssystem. Da Avelabs ein Softwareunternehmen ist, wollten wir uns zunächst nur auf die Erfassung von Funktionen aus Softwaresicht und nicht auf die Hardwareteile konzentrieren. Ohne Erfassungshardware kann es jedoch keine Erfassungsfunktionen geben. Die Sensorhardware ist der wichtigste Enabler der Sensorfunktionen, da der Sensor nicht so einfach ist, ein Mikrofon in das Fahrzeug einzubauen, um die Erkennung zu ermöglichen, sondern die Hardware muss sorgfältig entwickelt werden, um eine genaue Lokalisierung der Umgebung zu ermöglichen. Um ein Objekt zu lokalisieren, stützen sich die Lokalisierungsalgorithmen auf physikalische Faktoren wie die Schallzeitdifferenz bei der Ankunft, die nur erkannt werden kann, wenn die Hardware so ausgelegt ist, dass dies eine Erkennung ermöglicht. Es spielen mehrere Hardware-Faktoren wie die Anzahl der Mikrofone, der Abstand zwischen ihnen und ihre Platzierung im Fahrzeug eine Rolle. All diese Hardwareanforderungen zwangen uns, die Hardware selbst zu entwickeln und zu bauen, um die von uns angebotenen akustischen Sensorfunktionen zu ermöglichen. Einfach gesagt, es gibt kein Unternehmen, das externe akustische Erkennungshardware für Fahrzeuge anbietet, weshalb wir diese selbst entwickeln mussten.

EE Times Europe:Können Sie mir ein paar Details zum Akustiksensor selbst geben? Und auf der CPU, auf der der Algorithmus läuft?

Abdelsabour: Beim Sensor- und Prozessorsystem haben wir uns für eine zentrale Architektur entschieden. Diese Entscheidung folgt dem Trend, den alle Automobilunternehmen derzeit verfolgen, nämlich auf Sensoren zu setzen, die die Rohdaten erfassen (Kameras, Radare,…). Die Rohdaten werden dann an einen zentralen Domänencontroller gesendet, wo die Sensorfusion stattfindet. Aus diesem Grund haben wir den Akustiksensor als Rohdatensensor entwickelt, der alle akustischen Informationen erkennt und an den zentralen Domänencontroller sendet, auf dem die Erkennungsalgorithmen ausgeführt werden. Wie Sie wissen, haben wir den Akustiksensor selbst entwickelt, aber wir verwenden standardmäßige Automotive Domain Controller wie den Xilinx FPGA und den TI ADAS TDA SoC als CPU, die unsere Algorithmen ausführt. Da jedoch jeder Kunde seinen eigenen Domänencontroller verwendet, verwenden wir diese Prozessoren nur als Referenzhardware. Da wir mit den erforderlichen Anpassungen einfach auf jedem Typ von Domänencontroller bereitgestellt werden können.

EE Times Europe:Warum ist AutoHears Ihrer Meinung nach „hardwareabhängig“?

Abdelsabour: AutoHears als Sensor und als Sensoralgorithmen verfügt über generische Komponenten und hardwarespezifische Komponenten, abhängig von den vom Kunden gewünschten Funktionen und der vom Kunden verwendeten Verarbeitungssteuerung. Möchte der Kunde also beispielsweise nur die Richtung des Schallereignisses (ohne die Entfernung zum schallaussendenden Objekt), muss nur ein Sensor verwendet werden. Möchte der Kunde aber auch die Entfernung des Objekts erfassen, ist es notwendig, mehrere Sensoren zu verwenden, um die Entfernung des Objekts zu triangulieren. Dies ist beispielsweise eine hardwareabhängige Funktion.

Die andere Seite in Bezug auf die Hardwareabhängigkeit ist der Domänencontroller, der zum Verarbeiten der Erkennungsfunktionen verwendet wird. Die Leistung unserer Funktionen hängt von den Prozessoren ab, auf denen sie ausgeführt werden, und deren Fähigkeiten. Es gibt einen Kompromiss zwischen den Leistungs- und Verarbeitungsanforderungen der Hardware. Wenn AutoHears beispielsweise mit einer Auflösung von einem Grad erkennen soll, werden mehr Verarbeitungsressourcen benötigt. Wenn wir unsere gewünschte Leistung verringern, sinken auch die Anforderungen an die Verarbeitung. Darüber hinaus wird jede neue Hardware mit einigen hardwarespezifischen Anpassungen für die Mikrocontroller-Abstraktionsschicht geliefert, wie z. B. die AutoHears-Sensortreiber, die in die grundlegende Softwareumgebung des Kunden implementiert werden.

EE Times Europe:Wo stehen Sie in Sachen Entwicklung? Wann planen Sie, AutoHears auf öffentlichen Straßen zu testen? Wann rechnen Sie mit der Produktion von AutoHears?

Abdelsabour: AutoHears kann in der Produktentwicklungsphase berücksichtigt werden. Wir haben das Konzept bereits technisch und finanziell erprobt, Vorführungen und Tests zum Nachweis der Machbarkeit durchgeführt und arbeiten derzeit daran, die Entwicklung zu „produzieren“. Dies umfasst die öffentliche Straßenvalidierung sowie den Erwerb von Kfz-Zertifizierungen. Dies sind die beiden Schritte, die wir benötigen, um von der Produktentwicklung bis zur Kommerzialisierung zu gelangen. Dies sind notwendige Schritte, die vor der Produktionsreife durchgeführt werden müssen.

EE Times Europe:Haben Sie erste Kunden, die die Lösung testen?

Abdelsabour: Obwohl wir im September dieses Jahres mit der Ankündigung des Produkts bei AutoSens begonnen haben, diskutieren wir bereits mit Kunden über das Testen der Lösung. Da wir versuchen, ein neues Produkt auf dem Automobilmarkt einzuführen, hoffen wir, dass unsere Kunden und Partner mehr über die Markterwartungen und -anforderungen erfahren und unsere Sensoren in datenerfassende Fahrzeugflotten integrieren, um mehr Daten für Schulungen zu sammeln und Validierungszwecken.

Verwandte Inhalte:

• Erfolgreiche akustische Echtzeitverarbeitung erfordert eine sorgfältige Planung
• Hard- und Software für besseres Audio kombinieren
• Low-Power-Geräte könnten mit einer Silizium-Cochlea zuhören
• Adaptive ANC-Lösungen bieten verbesserte Audiofunktionen

Für mehr Embedded, abonnieren Sie den wöchentlichen E-Mail-Newsletter von Embedded.