Warum mögen Sicherheitsanforderungen Verwendung von AI entmutigen?

StackOverflow https://stackoverflow.com/questions/409252

Frage

Es scheint, dass Anforderungen an die Sicherheit scheinen nicht Systeme wie die AI verwenden für sicherheitstechnischen Anforderungen (vor allem, wenn große potenzielle Risiken der Zerstörung / Tod beteiligt sind). Kann jemand empfehlen, Warum ? Ich dachte immer, dass, sofern Sie Ihre Logik-Programm richtig ist, desto mehr Intelligenz Sie in einem Algorithmus setzen, desto wahrscheinlicher ist dieser Algorithmus kann eine gefährliche Situation zu verhindern. Sind die Dinge anders in der Praxis aus?

War es hilfreich?

Lösung

Die meisten AI-Algorithmen sind Fuzzy - Lernen der Regel, wie sie entlang gehen. Für Gegenstände, die von kritischer Sicherheits Bedeutung sind, was Sie wollen deterministisch ist. Diese Algorithmen sind einfacher zu bewahrheiten, was für viele sicherheitskritische Anwendungen unerlässlich ist.

Andere Tipps

Ich würde denken, dass der Grund ist zweifach.

Zunächst ist es möglich, dass die KI unvorhersehbare Entscheidungen treffen. Zugegeben, sie können von Vorteil sein, aber wenn es um sicherheits Bedenken sprechen, können Sie nicht wie die Risiken eingehen, vor allem, wenn das Leben der Menschen auf der Linie sind.

Die zweite ist, dass die „Argumentation“ hinter den Entscheidungen nicht immer zurückverfolgt werden kann (manchmal gibt es ein zufälliges Element zur Erzeugung von Ergebnissen mit einem AI verwendet) und wenn etwas schief geht, nicht die Fähigkeit hat, zu bestimmen, „warum“ (in einer sehr präzisen Art und Weise) wird eine Verbindlichkeit.

Am Ende kommt es darauf an Verantwortlichkeit und Zuverlässigkeit.

Je komplexer ein System ist, desto schwieriger ist es zu testen. Und desto wichtiger ist ein System, desto wichtiger wird es 100% umfassende Tests zu haben.

Daher wird für wichtige Systeme bevorzugen Menschen suboptimalen Eigenschaften zu haben, die getestet werden können, und verlassen sich auf die menschliche Interaktion für komplexe Entscheidungsfindung.

Aus sicherheitstechnischer Sicht ist man oft besorgt mit garantierter Vorhersagbarkeit / Determinismus des Verhaltens und die schnellen Reaktionszeit. Zwar ist es möglich, einen oder beide mit AI-Stil Programmiertechniken zu tun, als ein Steuerlogik des Systems komplexer wird es schwieriger ist, um überzeugende Argumente zu liefern, wie das System verhält sich (überzeugend genug einen Prüfer zu erfüllen).

Ich würde vermuten, dass KI-Systeme sind in der Regel komplex betrachtet. Komplexität ist in der Regel eine schlechte Sache, vor allem, wenn es sich auf „Magie“, das ist, wie manche Menschen wahrnehmen KI-Systeme.

Das ist nicht zu sagen, dass die Alternative unbedingt einfacher ist (oder besser).

Wenn wir Kontrollsysteme Codierung getan haben, haben wir für jeden einzelnen Codepfad zeigen Spur Tabellen haben, und Permutation der Eingänge. Dies war erforderlich, um sicherzustellen, dass wir nicht Ausrüstung in einen gefährlichen Zustand versetzt haben (für Mitarbeiter oder Infrastruktur), und zu „beweisen“, dass die Programme taten, was sie tun sollten.

Das wäre furchtbar schwierig zu tun, wenn das Programm ist unscharf und nicht-deterministisch, wie @tvanfosson angegeben. Ich denke, Sie sollten diese Antwort akzeptieren.

Die Kernaussage ist „sofern Sie Ihre Logik programmieren richtig“. Nun, wie do you "bieten" das? Die Erfahrung zeigt, dass die meisten Programme sind voll von Bugs.

Der einzige Weg, um sicherzustellen, dass es keine Fehler sind formale Verifikation wäre, aber das ist praktisch unmöglich für alle, aber die meisten primitiv einfache Systeme, und (schlechter) wird in der Regel auf Angaben gemacht, anstatt Code, so dass Sie immer noch don‘ t wissen, der Code korrekt implementiert Ihre spec, nachdem Sie die spec bewiesen haben fehlerlos sein.

Ich denke, das liegt daran, dass AI ist sehr schwer zu verstehen, und das wird nicht möglich aufrecht zu erhalten.

Auch wenn ein AI-Programm Fuzzy betrachtet wird, oder dass es „lernt“ von dem Moment es freigegeben wird, ist es sehr gut zu wissen alle Fälle getestet (und es schon daraus gelernt) vor seinem selbst fertig. Die meisten Fälle dieses „Lernen“ wird einige „Schwellen“ oder Gewichte im Programm ändern und danach, es ist sehr schwer, wirklich zu verstehen und diesen Code halten, auch für die Schöpfer.

Diese

haben sich in den letzten 30 Jahren zu ändern, indem Sprachen einfacher für Mathematiker zu verstehen, so dass es einfacher für sie zu testen und liefern neue Pseudo-Code, um das Problem (wie Matte Labor AI Toolbox)

Es gibt genug Möglichkeiten, die gewöhnliche Algorithmen, wenn shoddily entwickelt und getestet, kann das Töten von Menschen aufzuwickeln. Wenn Sie sich nicht über sie gelesen haben, sollten Sie den Fall von Therac 25 . Das war ein System, in dem das Verhalten sollte vollständig deterministisch sein, und es ging immer noch schrecklich, schrecklich falsch. Stellen Sie sich vor, wenn sie versuchen, „intelligent“ zu Grunde zu.

Da es keine allgemein anerkannte Definition von AI, so ist die Frage genauer sein.

Meine Antwort ist auf adaptive Algorithmen lediglich Parameterschätzung verwendet wird - eine Art des Lernens - die Sicherheit der Ausgabe von Informationen zu verbessern. Auch dies ist nicht in der funktionalen Sicherheit begrüßen, obwohl es, dass das Verhalten eines vorgeschlagenen Algorithmus scheint nicht nur deterministisch ist (alle Computerprogramme sind), sondern auch leicht zu bestimmen.

Seien Sie bereit für den Gutachter vorbereitet fragen Sie Berichte über alle Kombinationen von Eingangsdaten und Ausfallarten zu demonstrieren. Ihr Algorithmus ist adaptive bedeutet es nicht nur auf die aktuellen Eingangswerte, sondern auf viele oder alle der früheren Werten abhängt. Sie wissen, dass eine vollständige Testabdeckung im Alter des Universums unmöglich ist.

Eine Möglichkeit, ein Tor zeigt, dass bisher angenommen einfachere Algorithmen (Stand der Technik) sind nicht sicher. Dies soll einfach sein, wenn Sie Ihr Problem Raum kennen (wenn nicht, halten Sie weg von AI).

Eine andere Möglichkeit, das Problem bestehen kann: a. Zwingende Überwachungsfunktion anzeigt, ob der Parameter genau geschätzt wird

„Ordinary Algorithmen“ für ein komplexes Problem Raum neigen arkward werden. Auf der anderen Seite, einig „intelligenter“ Algorithmen hat eine einfache Struktur. Dies gilt insbesondere für Anwendungen von Bayes-Inferenz. Sie müssen nur die Wahrscheinlichkeitsfunktion kennen (e) für Ihre Daten (Plural gilt, wenn die Daten in statistisch unabhängige Teilmengen trennt).

Likelihood-Funktionen getestet werden. Wenn der Test die Schwänze nicht decken kann weit genug, um das erforderliche Vertrauensniveau zu erreichen, fügen Sie einfach mehr Daten, beispielsweise von einem anderen Sensor. Die Struktur Ihres Algorithmus wird sich nicht ändern.

Ein Nachteil ist / war die CPU-Leistung erforderlich für Bayes-Inferenz.

Außerdem erwähnen 25 Therac ist nicht hilfreich, da kein Algorithmus bei alle beteiligt war, nur Multitasking Spaghetti-Code. Unter Berufung auf die Autoren, „[die] Unfälle waren ziemlich einzigartig in mit Software Codierungsfehler beteiligt - die meisten Computer-Unfälle nicht beteiligt Codierungsfehler, sondern Fehler in der Software-Anforderungen wie Auslassungen und falsch behandelt Umgebungsbedingungen und Systemzustände.“

Lizenziert unter: CC-BY-SA mit Zuschreibung
Nicht verbunden mit StackOverflow
scroll top