الشبكة العصبية تحسين w/ الخوارزمية الجينية

Question

هو الخوارزمية الجينية الطريقة الأكثر فعالية لتحسين عدد مخفي العقد ومقدار التدريب يتم على الشبكة العصبية الاصطناعية?

أنا الترميز الشبكات العصبية باستخدام NNToolbox في Matlab.انا منفتح على أي اقتراحات أخرى من تقنيات التحسين ، ولكن أنا أكثر دراية مع الجمعية العامة.

Answer 1

في الواقع، هناك العديد من الأشياء التي يمكنك تحسين استخدام GA بشأن NN. يمكنك تحسين هيكل (عدد العقد، والطبقات، وظيفة تفعيل الخ). يمكنك أيضا تدريب باستخدام GA، وهذا يعني تحديد الأوزان.

والخوارزميات الجينية لن تكون أكثر كفاءة، ولكنها تستخدم عادة عندما يكون لديك فكرة صغيرة على ما أرقام للاستخدام.

لتدريب، يمكنك استخدام خوارزميات أخرى بما في ذلك العكسي، nelder-ميد الخ .

وقلت أردت تحسين عدد مخبأة العقد، لهذا، قد تكون الخوارزمية الجينية كافية، وإن كانت بعيدة عن "الأمثل". المساحة التي تبحث هو على الارجح صغيرة جدا لاستخدام الخوارزميات الجينية، ولكنها يمكن أن لا تزال تعمل وAFAIK، وهي تنفذ بالفعل في MATLAB، لذلك لا بيغي.

وماذا تقصد عن طريق تحسين كمية من التدريب القيام به؟ إذا كنت تقصد عدد من العهود، ثم فلا بأس، فقط تذكر أن التدريب يعتمد إلى حد ما على بدء الأوزان وأنها عادة ما تكون عشوائية، وبالتالي فإن وظيفة اللياقة البدنية المستخدمة لGA لا يكون حقا وظيفة.

Answer 2

وخير مثال على الشبكات العصبية والبرمجة الجينية هي العمارة NEAT (العصبية تطور زيادة طبولوجيات). هذا هو الخوارزمية الجينية التي يجد طوبولوجيا الأمثل. ومن المعروف أيضا أن تكون جيدة في الحفاظ على عدد العقد المخفية أسفل.

وكما قدموا لعبة استخدام هذا يسمى نيرو. فريدة من نوعها تماما ونتائج ملموسة مذهلة للغاية.

د. موقع ستانلي:

http://www.cs.ucf.edu/~kstanley/

وهنا ستجد كل شيء تقريبا ذات الصلة NEAT لأنه هو الذي اخترع له.

Answer 3

والخوارزميات الجينية يمكن تطبيقها على نحو مفيد لتحسين الشبكات العصبية، ولكن عليك أن تفكر قليلا عن ما تريد القيام به.

ومعظم خوارزميات التدريب NN "الكلاسيكية"، مثل العودة-دعوة وتحسين فقط الأوزان من الخلايا العصبية. يمكن الخوارزميات الجينية تحسين الأوزان، ولكن ذلك لن يكون عادة غير فعالة. لكن، وكما كنت تسأل، فإنها يمكن أن تحسين مخطط الشبكة وكذلك المعلمات لخوارزمية التدريب الخاص بك. سيكون لديك لتوخي الحذر وخاصة إنشاء الشبكات التي "الإفراط في تدريب" بالرغم من ذلك.

وأسلوب واحد مزيد مع الخوارزميات الجينية المعدلة يمكن أن تكون مفيدة للتغلب على مشكلة مع العودة-الانتشار. العودة الانتشار عادة ما يجد الدنيا المحلية، لكنه يجد لهم بدقة وبسرعة. الجمع بين الخوارزميات الجينية مع العودة-الانتشار، على سبيل المثال، في Lamarckian GA، يعطي مزايا كلا. يتم وصف هذا الأسلوب لفترة وجيزة خلال GAUL تعليمي

Answer 4

ومن المفيد في بعض الأحيان لاستخدام الخوارزمية الجينية لتدريب الشبكة العصبية عند دالة الهدف ليست مستمرة.

Answer 5

لست متأكدا ما إذا كان يجب عليك استخدام الخوارزمية الجينية لهذا.

أعتقد الحل الأولي السكان الخاص بك الخوارزمية الجينية تتكون من تدريب مجموعات الخاص بك الشبكة العصبية (معين أسلوب التدريب).عادة ما الحل الأولي السكان يتكون من عشوائية حلول للمشكلة.ومع ذلك, عشوائية التدريب يحدد لا حقا تدريب الشبكة العصبية.

خوارزمية تقييم الخاص بك الخوارزمية الجينية سيكون وزنه متوسط كمية التدريب اللازم, جودة الشبكة العصبية في حل مشكلة معينة ، numer العقد المخفية.

لذا ، إذا كنت تقوم بتشغيل هذا ، سوف تحصل على مجموعة التدريب التي تحقق أفضل نتيجة من حيث الشبكة العصبية الجودة (= وقت التدريب, عدد العقد المخفية, حل مشكلة قدرات الشبكة).

أو هل تفكر في نهج مختلف تماما?

Answer 6

وأنا لست متأكدا تماما ما نوع المشكلة التي نعمل معها، ولكن GA يبدو قليلا من افراط هنا. اعتمادا على مجموعة من المعلمات التي نعمل معها، قد تعمل على شامل (أو غير ذكية غير ذلك) البحث. حاول رسم أداء NN في الخاص فيما يتعلق بعدد من العقد المخفية لقيم القليلة الأولى، بدءا الصغيرة والقفز بزيادات أكبر وأكبر. في تجربتي، وكثير كالة أنباء البحرية الهضبة في الأداء المدهش في وقت مبكر. قد تكون قادرة على الحصول على صورة جيدة عما مجموعة من الأرقام عقدة خفية تروق.

ونفس الشيء ينطبق على كثير من الأحيان تكرار التدريب كالة أنباء البحرية. مزيد من التدريب يساعد على الشبكات إلى حد ما، ولكن سرعان ما توقف لديها تأثير كبير.

في معظم الحالات، هذه المعايير NN لا يؤثر على الأداء بطريقة معقدة جدا. عموما، زيادتها زيادة أداء لفترة من الوقت لكن العوائد ثم تناقص في ركلة GA ليس من الضروري حقا أن تجد قيمة جيدة في هذا النوع من منحنى بسيط؛ إذا كان عدد من العقد سرية (أو تكرار التدريب) حقا لا يسبب أداء تتقلب بطريقة معقدة، ثم الأدلة العليا مثل GA قد تكون ملائمة. ولكن إعطاء القوة الغاشمة الاقتراب من محاولة قبل اتخاذ هذا الطريق.

Answer 7

وأنا أميل إلى القول بأن الخوارزميات الجينية هي فكرة جيدة حيث يمكنك البدء مع حل الحد الأدنى وينمو عدد من الخلايا العصبية. فمن المحتمل جدا أن "وظيفة الجودة" التي تريد للعثور على النقطة المثلى على نحو سلس ولها سوى عدد قليل من المطبات.

إذا كان لديك للعثور على هذا NN الأمثل في كثير من الأحيان أود أن أوصي باستخدام خوارزميات التحسين وفي حالة نيوتن شبه كما هو موضح في وصفات العددية التي هي الأمثل لمشاكل حيث وظيفة مكلفة لتقييم.