Prerrequisitos necesarios para leer libros en redes neuronales (y comprenderlos)

Question

Llevo un tiempo intentando aprender sobre las redes neuronales, y puedo entender algunos tutoriales básicos en línea, y he podido leer partes de Computación neuronal: una introducción pero incluso allí, estoy analizando muchas de las matemáticas, y se vuelve completamente sobre mi cabeza después de primeros capítulos Incluso entonces es el menor libro '' math-y '' Puedo encontrar.

No es que tenga miedo de las matemáticas ni nada, simplemente no he aprendido lo que necesito, y no estoy seguro de lo que necesito exactamente. Actualmente estoy inscrito en mi universidad local, trabajando para ponerme al día con las clases que necesito para ingresar a la Maestría en Comp. Programa de ciencias (mi licenciatura está en Negocios / Info. Sys.) Y no he llegado muy lejos. De acuerdo con las pequeñas descripciones de los cursos de la universidad, los NN están cubiertos en un curso de Ingeniería Eléctrica sobre Reconocimiento de Patrones (me parece extraño que este curso sea EE), que tiene algunos requisitos previos de EE que no necesito ingresar en el MS Comp. . Sci. Programa.

Estoy extremadamente interesado en este tema, y ??sé que eventualmente quiero aprender mucho más al respecto, el problema es que no sé lo que necesito saber primero. Aquí hay temas que creo que podría necesitar, pero esto es solo especulación por ignorancia:

• Cálculo de variable única (he tenido Calc I y II, así que creo que estoy cubierto aquí, solo para completar)
• Cálculo de variables múltiples
• Álgebra lineal (todavía no lo he tomado formalmente, pero en realidad puedo entender muchos de los conceptos de lo que he logrado asimilar en Wikipedia y otros sitios)
• Matemáticas discretas (Otro que no he tomado formalmente, pero aprendí una parte por mi cuenta
• Teoría de grafos
• Teoría de la probabilidad
• Estadísticas Bayesianas
• Diseño de circuito
• ¿Otras matemáticas?
• Otros temas de ciencia ficción

Obviamente, también hay un componente de neurociencia aquí, pero en realidad no he tenido ningún problema para entender los libros cuando hablan de él como se aplica a NN, en gran parte porque es conceptual

En resumen, ¿alguien puede trazar un camino semi-claro que uno realmente necesita entender, leer un libro y eventualmente implementar redes neuronales?

Answer 1

Si desea una lista de cursos universitarios que necesitará para comprender el libro, aquí está:

• Cálculo (I, II y III)
• Ecuaciones diferenciales
• Álgebra lineal
• Estadísticas (o una buena cobertura de Bayes)

Sin embargo, me fue bien en mis clases de NN sin Diff. Eq. y solo tuve que buscar conceptos que aún no había estudiado.

Puede adoptar el enfoque de recuadro negro como se indicó anteriormente, pero si realmente desea comprender las matemáticas y la implementación de las redes, tendrá que estudiar. Será una curva de aprendizaje empinada para comprender completamente las redes más avanzadas sin importar lo que hagas. Puedes tomar las clases anteriores primero, o puedes comenzar a leer el libro y buscar todo lo que no entiendes en wikipedia, y luego de esos artículos, lee lo que tengas que leer para entenderlos, etc. Encontrarás que, de cualquier manera, eventualmente superarás ese vistazo inicial y las cosas serán más fáciles.

Sería bueno que nos dijeras por qué quieres aprender redes neuronales. No he encontrado un uso único para ellos en mi carrera profesional, aunque no soy desarrollador de juegos o desarrollador de telecomunicaciones.

Answer 2

No puede implementar "redes neuronales" - terminarás implementando un tipo específico de NN (por ejemplo, perceptrón). Hay muchos tipos diferentes de NN, cada uno más adecuado para algún tipo específico de tarea, y cada tipo utiliza algunos conceptos matemáticos (y no solo matemáticos) que son específicamente solo para ese tipo particular. Por ejemplo, las máquinas Boltzmann utilizan conceptos de termodinámica estadística (fundada por Boltzmann).

En cuanto a su pregunta: sin un objetivo claro, no hay un camino claro (ni siquiera "semi-claro").

Answer 3

Respaldo la idea de zvrba de que te estableces un objetivo claro. Algunas preguntas orientadoras: a. ¿Quieres estudiar NNs como modelo de redes biológicas o como herramienta computacional? segundo. ¿Estás interesado en su aspecto de aprendizaje? memoria asociativa? ¿procesamiento de la señal? do. ¿Quieres entender la teoría compleja? o solo lo suficiente para escribir software de simulación?

Además, comenzaría con algo pequeño: implemente un perceptron en su lenguaje de programación favorito. Las matemáticas no son tan malas, y probablemente te centrarán en tus próximos pasos. Use un conjunto de datos de clasificación binaria, digamos Uga's tic-tac-toe endgame .

Answer 4

Para las redes neuronales básicas de prórroga hacia atrás, las cosas más importantes son:

• Cálculo

• Álgebra lineal

• Estadísticas básicas / Probabilidad

Si solo está buscando temas más específicos (usted dijo que ya tomó Calc, así que lo dejaré fuera), aquí hay algunos temas que serán útiles para conocer, si no necesariamente aplicables directamente a la construcción de una red neuronal :

• Resolver sistemas lineales de ecuaciones (aprenderías esto en un curso de Álgebra lineal)

• Regresión de mínimos cuadrados

• Teoría de optimización

Debes darte cuenta de que hay varios otros métodos que pueden usarse para resolver ciertos problemas junto con las redes neuronales.

A menudo, el aspecto más difícil de resolver un problema es determinar el mejor método para usar.

Answer 5

aunque lo estoy respondiendo en 2018, pero creo que ayudará a muchos recién llegados que están tratando de aprender la red neuronal. Todo el material del curso en línea disponible en línea espera que el lector tenga un alto grado de conocimiento o experiencia matemática. Hay un libro llamado "HAGA SU PROPIA RED NEURAL" por Tariq Rashid. Se espera que el lector tenga conocimientos de matemáticas en la escuela secundaria. eso es todo . al final del libro serías capaz de hacer un programa que lea tu letra.