Die inhärenten Einschränkungen der KI erfordern eine „vorausschauende“ Sicherheitseinstellung

Als ehemaliger Ingenieur für Hochleistungselektronik habe ich Hochspannungsnetzteile für eine Vielzahl von Anwendungen entwickelt und getestet, von frühen Prototypen von CAT-Scan-Systemen bis hin zu Teilchenbeschleunigern. Ich habe dasselbe mit Hochleistungs-Mikrowellensystemen für alles gemacht, von Simulatoren zum Testen der Auswirkungen von Radar auf empfindliche Flugzeugelektronik auf der einen Seite bis hin zur Verarbeitung von Müsli auf der anderen Seite. Mehr als 30 Jahre lang habe ich zig Kilovolt Gleichspannung und zig Kilowatt Mikrowellenleistung gehandhabt.

Eds Blog

Nach jahrzehntelanger Arbeit als EE befindet sich Ed Brown von der SAE Media Group in seiner zweiten Karriere:Technischer Redakteur.

„Wenn ich auf meine Zeit als Ingenieur zurückblicke und mir als Redakteur die neuesten und besten Nachrichten ansehe, ist mir klar geworden, dass ich angesichts meiner Erfahrungen als Ingenieur viele Gedanken darüber habe, was jetzt passiert, und ich möchte jetzt einige davon teilen .“ .

Alles musste mit möglichst großen Sicherheitsreserven und dem Ziel der Ausfallsicherheit ausgelegt werden. Das bedeutete, im Voraus über mögliche Systemausfälle nachzudenken und so zu konstruieren, dass die Wahrscheinlichkeit minimiert wird, dass ein Ausfall zu Verletzungen oder Schäden führen würde. Beispielsweise haben wir elektronische „Brechstangen“ verwendet, die den Ausgang in Mikrosekunden sicher kurzschließen, wenn ein Sensor einen plötzlichen Anstieg des Laststroms signalisiert. Aber das war ein aktives System, das bei Stromausfall nicht funktionieren würde. Also haben wir ein mechanisches Backup-Brecheisen verwendet, das von einem Elektromagneten als ausfallsicherer Schutz gehalten wird. Wenn die Eingangsleistung ausfiel, würde ein Metallstab über den Ausgang fallen. Das war wichtig, denn selbst ohne Strom könnten gefährliche Energiemengen in Kondensatorbänken gespeichert sein – etwas, das ich einmal selbst erschreckend entdeckte, als ich einen Stromschlag von einer Stromversorgung erhielt, von der ich dachte, dass sie sicher ausgeschaltet sei.

Mit dieser Denkweise denke ich über künstliche Intelligenz (KI) nach. Ich mache mir keine Sorgen, dass die KI die menschliche Intelligenz verdrängen und uns alle in Roboter verwandeln wird. Aber ich mache mir Sorgen, mich zu sehr darauf zu verlassen, insbesondere in mindestens zwei Bereichen:Sicherheitsanwendungen in fortschrittlichen Fahrerassistenzsystemen (ADAS) und autonomen Fahrzeugen und Krankheitsdiagnose.

Daher erregte es meine Aufmerksamkeit, als ich über „inhärente Einschränkungen“ in KI las . Forscher der University of Cambridge und der University of Oslo behaupten, dass die neuronalen Netze, die KI verarbeiten, unter bestimmten Bedingungen instabil sein können und dass Unsicherheiten nicht durch einfaches Hinzufügen weiterer Trainingsdaten behoben werden können. Laut den Forschern brauchen wir mehr theoretische Arbeit, um die Mathematik des KI-Computing besser zu verstehen. Um zuverlässigere Ergebnisse zu erhalten, müssen Sie die jeweilige Fehlerquelle verstehen und die KI-Methode ändern, um sie zu beheben.

Forscher der University of California, Berkeley, und der University of Texas at Austin haben ein Problem festgestellt als sie die vielversprechenden Ergebnisse einer medizinischen Bildgebungsstudie nicht replizieren konnten. „Nach mehrmonatiger Arbeit stellten wir fest, dass die in der Arbeit verwendeten Bilddaten vorverarbeitet worden waren“, sagte Studienleiter Michael Lustig, Professor für Elektrotechnik und Informatik an der UC Berkeley.

Das war die Quelle des Ärgers. „Wir wollten das Bewusstsein für das Problem schärfen, damit Forscher vorsichtiger sein und realistischere Ergebnisse veröffentlichen können“, sagte Lustig.

Sie entdeckten, dass die Ungenauigkeit durch die Verwendung einer voreingenommenen öffentlichen Datenbank zum Trainieren des Systems verursacht wurde. Die Forscher prägten den Begriff „implizite Datenkriminalität“, um Forschungsergebnisse zu beschreiben, die entstehen, wenn Algorithmen mit fehlerhafter Methodik entwickelt werden.

In einem Q&A mit Billy Hurley, SAE Digital Editorial Manager, beschrieb Professor Eckehard Steinbach von der Technischen Universität München (TUM) potenziell kritische Automobilsituationen, die KI-Modelle „möglicherweise nicht erkennen können oder noch entdecken müssen“. Zum Beispiel könnte ein Muster wiederholten Bremsens normales Fahren bei warmem Wetter sein, aber ein bevorstehendes Ausrücken anzeigen, wenn die Straßen vereist und rutschig sind. Solche Muster können schwer zu erkennen sein.

Aber auf der positiven Seite hat Steinbachs Team eine Sicherheitstechnologie entwickelt, die introspektiv aus ihren eigenen früheren Fehlern lernt. „Wenn das Auto in eine Situation gerät, für die es nicht trainiert wurde, kann es zu Problemen kommen“, sagte Steinbach. „Solche neuartigen Szenen verursachen menschliche Eingriffe, was dazu führt, dass diese Szenen als Trainingsdaten für unseren Ansatz verwendet werden. Während unsere Methode dann helfen kann, eine so neue herausfordernde Umgebung beim nächsten Antreffen zu erkennen, kann eine völlig neue Szene erkannt und korrekt verwaltet werden das erste Mal, wenn man ihm begegnet, bleibt eine herausfordernde Aufgabe.“

Meine Erkenntnis aus all dem ist, dass KI die medizinische Diagnose beschleunigen und verbessern kann. Es kann auch dazu beitragen, Fahrzeuge im Straßenverkehr deutlich sicherer zu machen. Aber Sie müssen sorgfältig auf Ihre Methoden achten.

Es ist wichtig, wie ein Hochspannungsingenieur zu denken, wenn Sie ein KI-System entwerfen:Denken Sie im Voraus an die möglichen Fehlermöglichkeiten des Systems und entwerfen Sie es mit dem Ziel, die Wahrscheinlichkeit dafür zu minimieren. Und wenn ein Fehler auftritt, versuchen Sie, die Wahrscheinlichkeit von Verletzungen oder Schäden zu verringern.

Stimmen Sie zu? Teilen Sie unten Ihre Fragen und Kommentare.

Lesen Sie mehr in Eds Blog:Designing from the Outside In vs the Inside Out