왜 안전 요구의 사용을 막기 위 AI?

Question

인 요구 사항에 안전하지 않는 것 같이 사용하는 시스템에 대한 AI 안전과 관련된 요구 사항(특히 큰 잠재적 위험을 파괴의/죽음에는 참여하).할 수 있는 사람이 좋 유?나는 항상 생각하는,당신을 제공하는 프로그램은 당신의 논리로 더 많은 정보에 넣어 알고리즘,더 많은 가능성이 이 알고리즘의 가능한 방지 위험한 상황입니다.는 다른 것들에습니까?

Answer 1

대부분의 AI 알고리즘입니다 흐린 - 일반적으로 그들이 따라갈 때 학습. 비판적 안전성이 중요한 항목의 경우 원하는 것이 결정적입니다. 이러한 알고리즘은 정확한 입증이 쉽고 많은 안전성 중요한 응용 프로그램에 필수적입니다.

Answer 2

그 이유는 두 가지라고 생각합니다.

먼저 AI가 예측할 수없는 결정을 내릴 수 있습니다. 물론, 그들은 유익 할 수 있지만, 안전 상관에 대해 이야기 할 때, 특히 사람들의 삶이 줄을서는 경우 그런 위험을 감수 할 수 없습니다.

두 번째는 결정 뒤에 "추론"이 항상 추적 될 수 없다는 것입니다 (때로는 AI로 결과를 생성하는 데 사용되는 임의의 요소가 있음)와 무언가 잘못되면 "왜"를 결정할 수있는 능력이 없다는 것입니다. 매우 정확한 방식)은 책임이됩니다.

결국, 그것은 책임과 신뢰성에 달려 있습니다.

Answer 3

시스템이 복잡할수록 테스트하기가 더 어렵습니다. 그리고 시스템이 더 중요할수록 100% 포괄적 인 테스트를하는 것이 더 중요합니다.

따라서 중요한 시스템의 경우 사람들은 최적의 특징을 갖고 테스트 할 수 있으며 복잡한 의사 결정을 위해 인간의 상호 작용에 의존하는 것을 선호합니다.

Answer 4

안전 관점에서 볼 때, 행동의 예측 가능성/결정주의 및 빠른 응답 시간에 종종 관심이 있습니다. AI 스타일 프로그래밍 기술로 둘 중 하나 또는 둘 다를 수행 할 수는 있지만 시스템의 제어 논리가 더 복잡해 지므로 시스템이 어떻게 행동하는지 (감사자를 만족시키기에 충분히 설득력)에 대한 설득력있는 주장을 제공하기가 더 어렵습니다.

Answer 5

AI 시스템이 일반적으로 더 복잡한 것으로 간주된다고 생각합니다. 복잡성은 일반적으로 나쁜 것입니다. 특히 일부 사람들이 AI 시스템을 인식하는 "마법"과 관련이있을 때 특히 나쁘다.

대안이 반드시 더 단순하거나 더 나은 것이라고 말하는 것은 아닙니다.

제어 시스템 코딩을 완료하면 모든 단일 코드 경로에 대한 추적 테이블과 입력 순열을 표시해야했습니다. 이것은 우리가 장비를 위험한 상태 (직원이나 인프라)에 넣지 않았으며 프로그램이해야 할 일을 "증명"해야합니다.

@tvanfosson이 지적했듯이 프로그램이 퍼지되고 결정적이지 않은 경우에는 매우 까다로울 것입니다. 나는 당신이 그 대답을 받아 들여야한다고 생각합니다.

Answer 6

핵심 문은 "논리를 올바르게 프로그래밍 한 경우"입니다. 잘, 어떻게 당신은 그것을 "제공"합니까? 경험에 따르면 대부분의 프로그램은 버그로 가득 차 있다는 것을 보여줍니다.

버그가 없다고 보장하는 유일한 방법은 공식적인 검증이지만, 가장 원시적으로 간단한 시스템을 제외한 모든 사람에게는 실질적으로 불가능하며 (더 나쁜)는 일반적으로 코드가 아닌 사양에서 수행되므로 여전히 알지 못합니다. 이 코드는 사양이 완벽한 것으로 입증 된 후 사양을 올바르게 구현합니다.

Answer 7

AI는 이해하기가 매우 어렵고 유지하기가 불가능하기 때문이라고 생각합니다.

AI 프로그램이 퍼지로 간주되거나 출시되는 순간에 "학습"되더라도, 심지어 완료되기 전에 모든 알고있는 사례 (이미 배운)에 대해 매우 잘 테스트됩니다. 이 "학습"의 대부분은 프로그램의 "임계 값"또는 가중치를 변경하며 그 후에도 제작자에게도 해당 코드를 실제로 이해하고 유지하기가 매우 어렵습니다.

이것은 지난 30 년 동안 수학자들을 위해 이해하기 쉬운 언어를 만들어 테스트하기가 더 쉬워지고 문제에 대한 새로운 의사 코드 (Mat Lab AI Toolbox와 같은)를 더 쉽게 제공함으로써 변화해 왔습니다.

Answer 8

거기에는 충분한 방법으로는 일반 알고리즘을 때,너가 설계 및 테스트할 수 있는 바람을 죽이고 사람들이다.하지 않은 경우 읽기에 대해,그것은 당신을 찾아야 한 경우 Therac25.이 시스템은 행동이 가정을 완전히 결정,그리고 상황이 여전히 갔다 끔찍한,끔찍하게 잘못입니다.상상하면 그것을 하려고 했던 이유는"지능적으로",too.

Answer 9

AI에 대한 허용 된 정의가 없으므로 질문은 더 구체적이어야합니다.

내 대답은 출력 정보의 안전성을 향상시키기 위해 일종의 학습 인 매개 변수 추정을 사용하는 적응 형 알고리즘에 관한 것입니다. 제안 된 알고리즘의 동작은 결정 론적 일뿐 만 아니라 (모든 컴퓨터 프로그램이) 결정하기 쉬운 것처럼 보일 수 있지만 기능 안전에서는 환영하지 않습니다.

입력 데이터 및 고장 모드의 모든 조합을 다루는 테스트 보고서를 시연하도록 평가자를 위해 준비하십시오. 적응 형 알고리즘은 현재 입력 값뿐만 아니라 이전 값의 많은 또는 전부에 의존한다는 것을 의미합니다. 당신은 우주 시대에 전체 테스트 범위가 불가능하다는 것을 알고 있습니다.

점수를 매기는 한 가지 방법은 이전에 인정 된 간단한 알고리즘 (ART의 상태)이 안전하지 않다는 것을 보여줍니다. 문제 공간을 알고 있다면 쉽습니다 (그렇지 않은 경우 AI를 피하십시오).

문제에 대한 또 다른 가능성이있을 수 있습니다. 매개 변수가 정확하게 추정되는지를 나타내는 매력적인 모니터링 기능.

Answer 10

복잡한 문제 공간에 대한 "일반 알고리즘"은 방해스러운 경향이 있습니다. 반면에 일부 "지능형"알고리즘에는 간단한 구조가 있습니다. 이것은 베이지안 추론의 적용에 특히 그렇습니다. 데이터에 대한 우도 함수를 알아야합니다 (데이터가 통계적으로 독립적 인 서브 세트로 분리 된 경우 복수 적용).

우도 함수를 테스트 할 수 있습니다. 테스트가 필요한 신뢰 수준에 도달하기에 충분히 멀리 꼬리를 덮을 수없는 경우 다른 센서에서 더 많은 데이터를 추가하십시오. 알고리즘의 구조는 변경되지 않습니다.

단점은 베이지안 추론에 필요한 CPU 성능입니다.

게다가, Therac 25를 언급하는 것은 도움이되지 않습니다. 알고리즘이 전혀 없습니다 멀티 태스킹 스파게티 코드 만 참여했습니다. 저자를 인용하면서 [] 사고는 소프트웨어 코딩 오류가 관련되어있어서 상당히 독특했습니다. 대부분의 컴퓨터 관련 사고에는 코딩 오류가 아니라 생략 및 완화 된 환경 조건 및 시스템 상태와 같은 소프트웨어 요구 사항의 오류가 포함되어 있습니다."