لماذا متطلبات السلامة مثل لتثبيط استخدام AI ؟

Question

يبدو أن متطلبات السلامة لا يبدو أن مثل الأنظمة التي تستخدم منظمة العفو الدولية من أجل السلامة-الاحتياجات ذات الصلة (ولا سيما من حيث المخاطر المحتملة من تدمير/الموت هي المعنية).يمكن لأي شخص أن يقترح لماذا?اعتقدت دائما أنه وفر لك البرنامج المنطق الخاص بك بشكل صحيح ، أكثر الاستخبارات كنت وضعت في خوارزمية ، والأرجح هذه الخوارزمية هو قادر على منع حالة خطرة.هي أشياء مختلفة في الممارسة العملية ؟

Answer 1

معظم منظمة العفو الدولية الخوارزميات غامض -- عادة تعلم كما تذهب على طول.عن العناصر التي هي السلامة الحيوية أهمية ما تريده هو القطعية.هذه الخوارزميات هي الأسهل لإثبات الصحيح ، وهو أمر ضروري بالنسبة لكثير من سلامة التطبيقات الهامة.

Answer 2

أعتقد أن السبب هو ذو شقين.

أولا من الممكن أن منظمة العفو الدولية سوف تجعل التنبؤ بها القرارات.منح, أنها يمكن أن تكون مفيدة, ولكن عندما نتحدث عن السلامة-الشواغل ، لا يمكنك أن تأخذ المخاطر مثل ذلك ، وخاصة إذا كان في حياة الناس على المحك.

والثاني هو أن "المنطق" وراء القرارات لا يمكن أن يكون دائما تتبع (في بعض الأحيان هناك عنصر عشوائي المستخدمة في توليد النتائج مع منظمة العفو الدولية) و عندما يكون هناك شيء يذهب على نحو خاطئ ، وليس لديها القدرة على تحديد "لماذا" (بطريقة دقيقة جدا) تصبح المسؤولية.

في نهاية الأمر إلى المساءلة والموثوقية.

Answer 3

نظام أكثر تعقيدا هو أصعب اختبار.و أكثر أهمية النظام هو أكثر أهمية يصبح لديك 100% اختبارات شاملة.

وعليه فإن من الأهمية بمكان نظم الناس يفضلون أن يكون دون المستوى الأمثل الميزات التي يمكن اختبارها ، وتعتمد على التفاعل البشري المعقدة صنع القرار.

Answer 4

من وجهة نظر السلامة ، غالبا ما تشعر بالقلق مع ضمان القدرة على التنبؤ/الحتمية السلوك والاستجابة السريعة الوقت.في حين أنه من الممكن أن تفعل أو كليهما مع منظمة العفو الدولية على غرار تقنيات البرمجة ، نظام التحكم المنطق يصبح أكثر تعقيدا من الصعب تقديم حجج مقنعة حول كيف سيتصرف النظام (مقنعة بما فيه الكفاية لتلبية مدقق حسابات).

Answer 5

أعتقد أن وأنظمة منظمة العفو الدولية تعتبر عموما أكثر تعقيدا.تعقد عادة ما تكون شيئا سيئا ، خصوصا عندما يتعلق الأمر "السحر" الذي هو كيف أن بعض الناس ينظرون وأنظمة منظمة العفو الدولية.

هذا لا يعني أن البديل هو بالضرورة أكثر بساطة (أو أفضل).

عندما قمنا أنظمة التحكم الترميز علينا أن تظهر أثر الجداول لكل رمز طريق التقليب من المدخلات.هذا هو المطلوب لضمان أننا لم نضع المعدات في حالة خطرة (على الموظفين أو البنية التحتية) ، و "إثبات" أن برامج فعلت ما كان من المفترض أن تفعل.

سيكون ذلك بفظاعة صعب القيام به إذا كان البرنامج تم غامض و غير القطعية ، كما @tvanfosson المشار إليها.أعتقد أن عليك أن تقبل هذا الجواب.

Answer 6

مفتاح البيان "قدمت لكم البرنامج المنطق الخاص بك بشكل صحيح".حسنا ، كيف هل "تقديم" ؟ وتبين التجربة أن معظم البرامج هي الساندة الكامل من الأخطاء.

الطريقة الوحيدة لضمان أن هناك أي البق سيتم التحقق الرسمي, ولكن هذا هو عمليا غير ممكنة للجميع ولكن معظم بدائي بسيط أنظمة (أسوأ) وعادة ما يتم على المواصفات بدلا من رمز ، لذلك كنت لا تزال لا تعرف من التعليمات البرمجية بشكل صحيح تطبق المواصفات الخاصة بك بعد أن كنت قد ثبت المواصفات أن تكون خالية من العيوب.

Answer 7

أعتقد ذلك لأن منظمة العفو الدولية من الصعب جدا أن نفهم أن يصبح من المستحيل للحفاظ على.

حتى إذا كانت منظمة العفو الدولية برنامج يعتبر غامض ، أو أن "يتعلم" من اللحظة التي يتم تحريرها هو اختبار جيد أن نعرف كل الحالات(و بالفعل تعلمت من ذلك) قبل حتى الانتهاء.في معظم الحالات هذا "التعلم" تغيير بعض "عتبات" أو الأوزان في البرنامج و بعد ذلك, فمن الصعب جدا أن نفهم حقا الحفاظ على هذا الرمز ، حتى بالنسبة المبدعين.

هذا وقد تغير في آخر 30 عاما من خلال خلق اللغات أسهل لفهم الرياضيات ، مما يجعل من الأسهل بالنسبة لهم اختبار وتسليم جديدة الزائفة مدونة حول هذه المشكلة(مثل حصيرة مختبر منظمة العفو الدولية toolbox)

Answer 8

هناك ما يكفي من الطرق العادية الخوارزميات ، عندما رديئة التركيب تصميمها واختبارها ، يمكن أن تصل الرياح في قتل الناس.إذا كنت لم أقرأ عن ذلك ، يجب أن نبحث هذه القضية من Therac 25.كان هذا النظام حيث السلوك كان من المفترض أن يكون تماما القطعية ، و الأمور لا تزال ذهب فظيعة, خاطئ.تخيل لو كان يحاول أن سبب "بذكاء" أيضا.

Answer 9

كما لا يوجد تعريف مقبول من منظمة العفو الدولية ، فإن السؤال يجب أن يكون أكثر تحديدا.

جوابي هو على التكيف خوارزميات مجرد توظيف المعلمة تقدير - وهو نوع من التعلم لتحسين سلامة إخراج المعلومات.حتى هذا ليس موضع ترحيب في السلامة الوظيفية على الرغم من أنه قد يبدو أن سلوك الخوارزمية المقترحة ليس فقط القطعية (جميع برامج الكمبيوتر) ولكن أيضا من السهل تحديد.

تكون على استعداد مقيم أطلب منك أن تثبت تقارير الاختبار التي تغطي كافة تركيبات من إدخال البيانات و وسائط الفشل.خوارزمية الخاص بك يجري التكيف يعني أنه لا يعتمد فقط على الإدخال الحالي القيم ولكن على العديد من أو كافة في وقت سابق من القيم.هل تعلم أن اختبار كامل التغطية من المستحيل في عمر الكون.

طريقة واحدة ليسجل يظهر أن قبلت سابقا أبسط الخوارزميات (من أحدث) ليست آمنة.هذا يكون من السهل إذا كنت تعرف مشكلتك الفضاء (إن لم يكن ، والابتعاد عن منظمة العفو الدولية).

إمكانية أخرى قد تكون موجودة بالنسبة لمشكلتك:مقنعة وظيفة الرصد تشير إلى ما إذا كانت المعلمة يقدر بدقة.

Answer 10

"العاديين خوارزميات" عن مشكلة معقدة الفضاء تميل إلى أن تكون arkward.من ناحية أخرى, بعض "ذكي" الخوارزميات لديها بنية بسيطة.هذا ينطبق بشكل خاص على التطبيقات النظرية الافتراضية الاستدلال.عليك فقط أن تعرف احتمال وظيفة(ق) عن البيانات الخاصة بك (الجمع ينطبق إذا كانت البيانات يفصل في إحصائية مستقلة فرعية).

احتمال وظائف يمكن اختبارها.إذا كان الاختبار لا يمكن أن تغطي ذيول بعيدا بما فيه الكفاية للوصول إلى المطلوب مستوى الثقة, فقط إضافة المزيد من البيانات ، على سبيل المثال من استشعار أخرى.هيكل خوارزمية الخاص بك لن تتغير.

العيب هو/كان أداء وحدة المعالجة المركزية المطلوبة الاستدلال النظرية الافتراضية.

بجانب بالذكر Therac 25 ليس مفيدا ، منذ لا خوارزمية في كل شارك فقط تعدد المهام السباغيتي رمز.نقلا عن الكتاب ، "[] الحوادث كانت إلى حد ما فريدة من نوعها في وجود برامج الترميز الأخطاء -- الأكثر الكمبيوتر حوادث لم تشارك أخطاء الترميز بل أخطاء في البرنامج متطلبات من قبيل السهو أسيء التعامل مع الظروف البيئية ونظام الدول."