سؤال الشبكة العصبية الاصطناعية

Question

بشكل عام، ما الذي ستستفيده من توسيع شبكة عصبية اصطناعية عن طريق إضافة المزيد من العقد إلى طبقة مخفية أو المزيد من الطبقات المخفية؟

هل يسمح بمزيد من الدقة في رسم الخرائط، أم أنه يسمح بمزيد من الدقة في العلاقات التي يمكنه تحديدها، أو أي شيء آخر؟

Answer 1

هناك نتيجة معروفة جدًا في التعلم الآلي تنص على أن طبقة مخفية واحدة كافية لتقريب أي دالة سلسة ومحدودة (سميت الورقة البحثية "شبكات التغذية الأمامية متعددة الطبقات هي شبكات تقريبية عالمية" ويبلغ عمره الآن 20 عامًا تقريبًا).ومع ذلك، هناك العديد من الأشياء التي يجب ملاحظتها.

• قد تحتاج الطبقة المخفية المفردة إلى أن تكون عريضة بشكل تعسفي.
• وهذا لا يقول شيئًا عن السهولة التي يمكن بها العثور على تقريب؛بشكل عام، يصعب تدريب الشبكات الكبيرة بشكل صحيح وتقع ضحية للتركيب الزائد بشكل متكرر (الاستثناء هو ما يسمى "الشبكات العصبية التلافيفية" والتي في الواقع مخصصة فقط لمشاكل الرؤية).
• هذا أيضًا لا يقول شيئًا عن كفاءة التمثيل.تتطلب بعض الوظائف أعدادًا أسية من الوحدات المخفية إذا تم إجراؤها بطبقة واحدة ولكن يتم قياسها بشكل أفضل بكثير مع المزيد من الطبقات (لمزيد من المناقشة حول هذا، اقرأ توسيع نطاق خوارزميات التعلم نحو الذكاء الاصطناعي)

تكمن مشكلة الشبكات العصبية العميقة في صعوبة تدريبها.سينتهي بك الأمر مع تدرجات صغيرة جدًا يتم نشرها رجعيًا إلى الطبقات المخفية السابقة ولن يذهب التعلم إلى أي مكان، خاصة إذا تمت تهيئة الأوزان لتكون صغيرة (إذا قمت بتهيئتها لتكون ذات حجم أكبر، كثيرًا ما تتعثر في الحد الأدنى المحلي السيئ) .هناك بعض التقنيات "للتدريب المسبق" مثل تلك التي تمت مناقشتها في هذا المقال جوجل نقاش التكنولوجيا بقلم جيف هينتون والتي تحاول التغلب على هذا الأمر.

Answer 2

وهذا هو السؤال المثير للاهتمام للغاية ولكن ليس من السهل الإجابة. ان ذلك يعتمد على المشكلة التي نحاول حل وما الشبكة العصبية محاولة استخدام. هناك العديد من أنواع الشبكات العصبية.

وأنا عموما ليس من الواضح حتى أن أكثر من العقد تساوي أكثر دقة. تظهر الأبحاث أن تحتاج في الغالب طبقة مخفية واحدة فقط. يجب أن يكون numer من العقد وnumer الحد الأدنى من العقد التي مطلوبة لحل المشكلة. إذا لم يكن لديك ما يكفي منها - فإنك لن تصل إلى حل.

من ناحية أخرى - إذا كنت قد وصلت إلى عدد من العقد ما هو جيد لحسم الحل - يمكنك إضافة المزيد والمزيد منها، وأنك لن نرى أي تقدم آخر في تقدير نتيجة

وهذا هو السبب في أن هناك الكثير من أنواع الشبكات العصبية. أنها محاولة حل أنواع مختلفة من المشاكل. ولذلك عليك NN لحل المشاكل ثابتة، لحل المشاكل المتعلقة وقت واحد حتى. عدد العقد ليست مهمة جدا مثل تصميم لهم.

Answer 3

وعندما يكون لديك طبقة مخفية هو أنك لعلى خلق ميزة الجمع بين المدخلات. لذلك، هو المشكلة معالجتها بشكل أفضل من خلال المزيد من الميزات من المدخلات الحالية، أو من خلال ميزات أعلى من الدرجة التي تأتي من الجمع بين الميزات الموجودة؟ هذا هو المفاضلة لشبكة التغذية إلى الأمام القياسية.

ولديك الطمأنينة نظري أن أي وظيفة يمكن أن يمثله الشبكة العصبية مع اثنين من طبقات خفية وتفعيل غير الخطية.

وأيضا، النظر في استخدام موارد إضافية لتعزيز، بدلا من إضافة المزيد من العقد، إذا لم تكن متأكدا من طوبولوجيا المناسب.

Answer 4

وقواعد تقريبية جدا من الإبهام

وعموما أكثر العناصر لكل طبقة لناقلات المدخلات أكبر.

وأكثر من طبقات قد تمكنك من نموذج أكثر النظم غير الخطية.

إذا هذا النوع من الشبكة التي تستخدم لديها التأخير في نشر، أكثر من طبقات قد تسمح نماذج السلاسل الزمنية. احرص على أن يكون غضب الوقت في التأخير أو أنه متعود تعمل بشكل جيد جدا. إذا كان هذا هو gobbledegook فقط لك، وتجاهل ذلك.

وعن طبقات يتيح لك إدراج ميزات المتكررة. هذا يمكن أن يكون مفيدا جدا للمهام التمييز. يمكنك تنفيذ ANN بلدي لن تسمح بذلك.

وHTH

Answer 5

وعدد الوحدات في حسابات طبقة مخفية لإمكانات ANN لوصف وظيفة معقدة بشكل تعسفي. قد تتطلب بعض (معقدة) وظائف العديد من العقد المخفية، أو ربما أكثر من طبقة واحدة خفية.

عند وظيفة يمكن أن يقترب تقريبا من قبل عدد معين من الوحدات المخفية، فإن أي عقد اضافية توفير المزيد من الدقة ... ولكن هذا صحيح فقط إذا كانت العينات التدريب المستخدمة هي كافية لتبرير هذا بالإضافة إلى - على خلاف ما سيحدث هو "overconvergence". Overconvergence يعني أن ANN بك فقدت قدرات التعميم لأنها تمت المبالغة على عينات معينة.

في عام فإنه من الأفضل استخدام وحدات أقل خفية ممكن، إذا كانت الشبكة الناتجة يمكن أن تعطي نتائج جيدة. أنماط التدريب الإضافية المطلوبة لتبرير عقد أكثر خفية لا يمكن العثور بسهولة في معظم الحالات، ودقة ليست نقطة قوية في NNS.