Prerequisiti necessari per leggere libri su reti neurali (e capirli)

Question

Sto provando a conoscere le reti neurali da un po 'di tempo e posso capire alcuni tutorial di base online e sono stato in grado di passare attraverso parti di Neural Computing - An Introduction ma anche lì, sto esaminando gran parte della matematica, e diventa completamente sopra la mia testa dopo il primi capitoli. Anche allora è il libro meno "matematico" Posso trovare.

Non è che io abbia paura della matematica o altro, è solo che non ho imparato di cosa ho bisogno e non sono sicuro di cosa ho bisogno esattamente. Sono attualmente iscritto alla mia università locale, sto lavorando per recuperare il ritardo sulle lezioni di cui ho bisogno per entrare in MS in Comp. Programma di scienze (il mio BA è in Business / Info. Sys.) E non sono andato molto lontano. Secondo le piccole descrizioni dei corsi dell'università, le NN sono effettivamente coperte in un corso di ingegneria elettrica sul riconoscimento dei modelli (mi sembra strano che questo corso sia EE), che ha alcuni prereq EE che non ho bisogno di entrare nel MS Comp . Sci. Programma.

Sono estremamente interessato a questo argomento e so che alla fine voglio saperne di più su di esso, il problema è che non so prima cosa devo sapere. Ecco alcuni argomenti di cui potrei aver bisogno, ma questa è solo una speculazione dall'ignoranza:

• Calcolo a singola variabile (ho avuto Calc I e II, quindi penso di essere trattato qui, elencando solo per completezza)
• Calcolo con più variabili
• Algebra lineare (non l'ho ancora preso formalmente, ma in realtà riesco a capire molti dei concetti da ciò che sono riuscito a fare grok su Wikipedia e altri siti)
• Matematica discreta (un'altra che non ho preso formalmente, ma ho imparato da sola
• Teoria dei grafici
• Teoria della probabilità
• Statistiche bayesiane
• Circuit Design
• Altri calcoli?
• Altri argomenti relativi alla scienza

Ovviamente c'è anche una componente di neuroscienza qui, ma in realtà non ho avuto problemi a capire i libri quando ne parlano come applicati a NN, in gran parte perché sono concettuali

In breve, qualcuno può tracciare un percorso semi-chiaro che bisogna veramente capire, leggere libri e infine implementare reti neurali?

Answer 1

Se desideri un elenco di corsi universitari di cui hai bisogno per capire il libro, eccolo qui:

• Calcolo (I, II e III)
• Equazioni differenziali
• Algebra lineare
• Statistiche (o una buona copertura di Bayes)

Comunque, ho fatto bene nelle mie classi NN senza Diff. Eq. e dovevo solo cercare concetti che non avevo ancora studiato.

Puoi adottare l'approccio black box come sopra, ma se vuoi veramente capire la matematica e l'implementazione delle reti, dovrai studiare. Sarà una ripida curva di apprendimento per comprendere appieno le reti più avanzate, qualunque cosa tu faccia. Puoi prendere prima le classi di cui sopra, oppure puoi iniziare a leggere il libro e cercare tutto ciò che non capisci su Wikipedia, quindi da quegli articoli leggi tutto quello che devi leggere per capirli, ecc. Scoprirai che, in entrambi i casi, alla fine supererai quella sbirciatina iniziale e le cose saranno più facili.

Sarebbe bello se ci dicessi perché vuoi imparare le reti neurali. Non ho trovato un solo uso per loro nella mia carriera professionale, anche se non sono uno sviluppatore di giochi o uno sviluppatore di telecomunicazioni.

Answer 2

Non puoi implementare " reti neurali " - finirai per implementare un tipo specifico di NN (ad esempio perceptron). Esistono molti tipi diversi di NN, ognuno più adatto a un tipo specifico di attività e ogni tipo utilizza alcuni concetti matematici (e non solo matematici) che sono specificamente solo per quel particolare tipo. Ad esempio, le macchine Boltzmann usano concetti tratti dalla termodinamica statistica (fondata da Boltzmann).

Per quanto riguarda la tua domanda: senza un obiettivo chiaro, non esiste un percorso chiaro (nemmeno "semi-chiaro").

Answer 3

Secondo l'idea di zvrba che ti sei prefissato un obiettivo chiaro. Alcune domande guida: un. Vuoi studiare le NN come modello di reti biologiche o come strumento computazionale? b. Sei interessato al loro aspetto di apprendimento? memoria associativa? elaborazione del segnale? c. Vuoi capire la teoria complessa? o quanto basta per scrivere un software di simulazione?

Inoltre, vorrei iniziare in piccolo: implementare un perceptron nel tuo linguaggio di programmazione preferito. La matematica non è poi così male e probabilmente ti focalizzerà sui tuoi prossimi passi. Utilizza un set di dati di classificazione binaria, ad esempio endicame tic-tac-toe dell'UCI .

Answer 4

Per le reti neurali di base, con retro-proroga, le cose più importanti sono:

• Calculus

• Algebra lineare

• Statistiche di base / Probabilità

Se stai solo cercando argomenti più specifici (hai detto che hai già preso Calc, quindi lo lascerò fuori), ecco alcuni argomenti che saranno utili da sapere, se non necessariamente direttamente applicabili alla costruzione di una rete neurale :

• Risoluzione dei sistemi di equazioni lineari (lo impareresti in un corso di algebra lineare)

• Regressione dei minimi quadrati

• Teoria dell'ottimizzazione

Dovresti capire che ci sono molti altri metodi che possono essere usati per risolvere alcuni problemi insieme alle reti neurali.

Spesso l'aspetto più difficile della risoluzione di un problema è determinare il metodo migliore da utilizzare.

Answer 5

anche se sto rispondendo nel 2018, ma penso che aiuterà molti nuovi arrivati ??che stanno cercando di imparare la rete neurale. Tutto il materiale del corso online disponibile online si aspetta che il lettore abbia un alto grado di conoscenza o esperienza matematica. C'è un libro intitolato " CREA LA TUA RETE NEURALE " di Tariq Rashid. Si aspetta che il lettore abbia una conoscenza matematica della scuola superiore. È tutto . entro la fine del libro saresti in grado di creare un programma che legge la tua calligrafia.