Warum KI einen proaktiven Sicherheitsansatz braucht: Lektionen aus 30+ Jahren Hochleistungs-Elektronik-Engineering

Als ehemaliger Hochleistungs-Elektronik-Ingenieur entwarf und testete ich Hochspannungsnetzteile für eine Vielzahl von Anwendungen – von frühen CAT-Scan-System-Prototypen bis zu Teilchenbeschleunigern. Ich tat dasselbe mit Hochleistungs-Mikrowellensystemen für alles von Simulatoren, um die Auswirkungen von Radar auf empfindliche Flugzeugelektronik an einem Extrem bis hin zur Verarbeitung von Granola am anderen. Mehr als 30 Jahre lang handhabte ich Zehner Kilovolt Gleichspannung und Zehner Kilowatt Mikrowellenleistung.

Ed's Blog

Nach Jahrzehnten Arbeit als EE ist SAE Media Groups Ed Brown weit in seiner zweiten Karriere: Tech Editor.

„Ich erkannte, wenn ich auf meine Ingenieurzeit zurückblicke und all das Neueste und Größte als Editor betrachte, habe ich viele Gedanken darüber, was jetzt im Lichte meiner Ingenieurerfahrungen passiert, und ich möchte einige davon jetzt teilen.“ .

Alles musste mit so großen Sicherheitsmargen wie praktisch entworfen werden und mit dem Ziel, fehlersicher zu sein. Das bedeutete, im Voraus über die möglichen Arten nachzudenken, wie das System versagen könnte, und so zu entwerfen, dass die Chance minimiert wird, dass ein Ausfall Verletzungen oder Schäden verursacht. Zum Beispiel verwendeten wir elektronische „Crowbars“, die den Ausgang in Mikrosekunden sicher kurzschließen würden, wenn ein Sensor signalisierte, dass es einen plötzlichen Anstieg des Laststroms gab. Aber das war ein aktives System, das im Falle eines Stromausfalls nicht funktionieren würde. Also verwendeten wir eine mechanische Backup-Crowbar, die von einem Elektromagneten als Fail-Safe-Schutz gehalten wurde. Wenn die Eingangsleitungsspannung ausfiel, würde ein Metallbalken über den Ausgang fallen. Das war wichtig, weil auch ohne Strom gefährliche Mengen an Energie in Kondensatorbänken gespeichert sein konnten – etwas, das ich einst schrecklicherweise selbst entdeckte, als ich einen Schlag von einem Netzteil erhielt, von dem ich dachte, es sei sicher ausgeschaltet.

Mit dieser Denkweise denke ich über künstliche Intelligenz (KI) nach. Ich mache mir keine Sorgen, dass KI die menschliche Intelligenz verdrängt und uns alle in Roboter verwandelt. Aber ich mache mir Sorgen, zu stark auf sie zu vertrauen, besonders in mindestens zwei Bereichen: Sicherheitsanwendungen in Advanced Driver Assistance Systems (ADAS) und autonomen Fahrzeugen sowie Krankheitsdiagnose.

Daher fiel mir auf, als ich über „inhärente Limitations“ in KI hier las. Forscher der University of Cambridge und der University of Oslo behaupten, dass die neuronalen Netze, die KI verarbeiten, unter bestimmten Bedingungen instabil sein können, und dass diese Unsicherheit nicht einfach durch Hinzufügen weiterer Trainingsdaten behoben werden kann. Laut den Forschern brauchen wir mehr theoretische Arbeit, um die Mathematik des KI-Computings besser zu verstehen. Um zuverlässigere Ergebnisse zu erhalten, müssen Sie die spezifische Fehlerquelle verstehen und die KI-Methode ändern, um sie zu beheben.

Forscher der University of California, Berkeley, und der University of Texas at Austin bemerkten ein Problem hier, als sie die vielversprechenden Ergebnisse einer medizinischen Bildgebungsstudie nicht replizieren konnten. „Nach mehreren Monaten Arbeit erkannten wir, dass die in der Arbeit verwendeten Bilddaten vorverarbeitet worden waren“, sagte Studien-Hauptuntersucher Michael Lustig, UC Berkeley Professor für Elektrotechnik und Informatik.

Das war die Quelle des Problems. „Wir wollten das Bewusstsein für das Problem schärfen, damit Forscher vorsichtiger sein und Ergebnisse veröffentlichen können, die realistischer sind“, sagte Lustig.

Sie entdeckten, dass die Ungenauigkeit durch die Verwendung einer verzerrten öffentlichen Datenbank für das Training des Systems verursacht wurde. Die Forscher prägten den Begriff „implizite Datverbrechen“, um Forschungsergebnisse zu beschreiben, die entstehen, wenn Algorithmen mit fehlerhafter Methodik entwickelt werden.

In einem Q&A mit Billy Hurley, SAE Digital Editorial Manager, beschrieb Professor Eckehard Steinbach von der Technischen Universität München (TUM) potenziell kritische automobile Situationen, die KI-Modelle „möglicherweise nicht erkennen können oder noch nicht entdeckt haben“. Zum Beispiel könnte ein Muster wiederholten Bremsens normales Fahren bei warmem Wetter sein, aber ein bevorstehendes Auskuppeln anzeigen, wenn die Straßen eisig und rutschig sind. Solche Muster können schwer zu erkennen sein.

Aber auf der positiven Seite entwickelte Steinbachs Team Sicherheitstechnologie, die introspektiv aus ihren eigenen früheren Fehlern lernt. „Wenn das Auto in eine Situation gerät, für die es nicht trainiert wurde, können Probleme entstehen“, sagte Steinbach. „Solche neuartigen Szenen verursachen menschliches Eingreifen, was dazu führt, dass diese Szenen als Trainingsdaten für unseren Ansatz verwendet werden. Während unsere Methode dann helfen kann, eine solche neue herausfordernde Umgebung beim nächsten Mal zu erkennen, bleibt das Erkennen und korrekte Verwalten einer völlig neuartigen Szene beim ersten Mal eine herausfordernde Aufgabe.“

Mein Fazit aus all dem ist, dass KI die medizinische Diagnose beschleunigen und verbessern kann. Sie kann auch helfen, Fahrzeuge auf der Straße viel sicherer zu machen. Aber Sie müssen sorgfältig auf Ihre Methoden achten.

Es ist vital, wie ein Hochspannungsingenieur zu denken, wenn Sie ein KI-System entwerfen: Denken Sie im Voraus über die möglichen Arten nach, wie das System versagen könnte, und entwerfen Sie es mit dem Ziel, die Chancen dafür zu minimieren. Und wenn ein Ausfall auftritt, zielen Sie darauf ab, die Chancen für Verletzungen oder Schäden zu reduzieren.

Stimmen Sie zu? Teilen Sie Ihre Fragen und Kommentare unten.

Mehr von Ed's Blog: Designing from the Outside In vs the Inside Out