Encog Neural Net: Normalizzazione

Question 1

Ecco poche risorse, in cui è possibile ottenere informazioni più dettagliate sulla normalizzazione e la denormalizzazione utilizzando il framework ENCOG.

Questi grandi e-book scritti dallo stesso Jeff Heaton, 1. Programmazione di reti neurali con ENCOG3 in C#, 2a edizione di Heaton, Jeff (2 ottobre 2011)2. Introduzione alle reti neurali per C#, 2a edizione di Jeff Heaton (2 ottobre 2008) Questi devono avere e -book per utenti ENCog.

Puoi anche dare un'occhiata al corso di Pluralsight su "Introduzione all'apprendimento automatico con Encog"Ciò include anche pochi esempi di normalizzazione e denormalizzazione.

Ora per quanto riguarda le tue domande: "Non è chiaro qui, anche se come prendere l'analistica e convertirlo in un mldataset per usarlo effettivamente".

Bene, puoi utilizzare AnalystNormalizeCSV per normalizzare il tuo file di allenamento. E quindi è possibile utilizzare loadcsv2memory della classe di encogutilità per caricare il file di allenamento normalizzato per ottenere il set di dati ML. Ecco un codice di esempio in C#,

var trainingSet = EncogUtility.LoadCSV2Memory(Config.NormalizedTrainingFile.ToString(), network.InputCount, network.OutputCount,true, CSVFormat.English,false);

Prende il file di addestramento normalizzato come primo parametro, il conteggio dei neuroni di input di rete come secondo, il conteggio dei neuroni in uscita di rete come terzo, il quarto parametro è booleano se si dispone di intestazione nel tuo file CSV, allora puoi menzionare il formato come quinto parametro e sesto Il parametro è per significato.

Quindi, una volta che hai questo set di dati in memoria, puoi usarlo per l'allenamento. Approccio simile può essere adottato anche nella fase di convalida e valutazione incrociata.

Per quanto riguarda la denormalizzazione, puoi prima persistere al file degli analisti e successivamente è possibile utilizzare anche il file di analisti per denormalizzare le singole colonne. Per esempio :

var denormlizedOutput = analyst.Script.Normalize.NormalizedFields[index].DeNormalize(item.Input[index]);

Approccio simile può essere utilizzato anche nei campi denormalizzanti per ottenere etichette di classe. Per esempio

var predictedClass = analyst.Script.Normalize.NormalizedFields[index].Classes[predictedClassInt].Name;

Question 2

L'analista ENCOG è fantastico per la normalizzazione dei dati. Può prendere informazioni memorizzate in un file CSV e determinare automaticamente i campi normalizzati e il loro tipo di codifica (incluso 1 di codifica N equilaterali).

L'unico aspetto negativo di questo è che la logica è strettamente accoppiata con la classe ReadCSV.

Preferendo l'estensione rispetto alla modifica, ho deciso di creare metodi di estensione e classi alternative per creare un analista che avrebbe normalizzato un set di dati .NET generico.

Ho anche aggiunto una nuova classe di test che ti mostra come usarla (è molto simile all'implementazione di ENCOG standard).

using System;
using Microsoft.VisualStudio.TestTools.UnitTesting;
using System.Collections.Generic;
using Encog.ML.Data.Market;
using Encog.ML.Data.Market.Loader;
using Encog.App.Analyst;
using Encog.App.Analyst.Wizard;
using EncogExtensions.Normalization; //<- This is my extension lib
using System.Data;
using System.Linq;     
[TestMethod]
    public void Normalize_Some_In_Memory_Data()
    {
        // Download some stock data
        List<LoadedMarketData> MarketData = new List<LoadedMarketData>();
        MarketData.AddRange(DownloadStockData("MSFT",TimeSpan.FromDays(10)));
        MarketData.AddRange(DownloadStockData("AAPL", TimeSpan.FromDays(10)));
        MarketData.AddRange(DownloadStockData("YHOO", TimeSpan.FromDays(10)));

        // Convert stock data to dataset using encog-extensions
        DataSet dataSet = new DataSet().Convert(MarketData, "Market DataSet");

        // use encog-extensions to normalize the dataset 
        var analyst = new EncogAnalyst();
        var wizard = new AnalystWizard(analyst);
        wizard.Wizard(dataSet);

        // DataSet Goes In... 2D Double Array Comes Out... 
        var normalizer = new AnalystNormalizeDataSet(analyst);
        var normalizedData = normalizer.Normalize(dataSet);

        // Assert data is not null and differs from original
        Assert.IsNotNull(normalizedData);
        Assert.AreNotEqual(normalizedData[0, 0], dataSet.Tables[0].Rows[0][0]);

    }

    private static List<LoadedMarketData> DownloadStockData(string stockTickerSymbol,TimeSpan timeSpan)
    {
        IList<MarketDataType> dataNeeded = new List<MarketDataType>();
        dataNeeded.Add(MarketDataType.AdjustedClose);
        dataNeeded.Add(MarketDataType.Close);
        dataNeeded.Add(MarketDataType.Open);
        dataNeeded.Add(MarketDataType.High);
        dataNeeded.Add(MarketDataType.Low);
        dataNeeded.Add(MarketDataType.Volume);

        List<LoadedMarketData> MarketData =
            new YahooFinanceLoader().Load(
                new TickerSymbol(stockTickerSymbol),
                dataNeeded,
                DateTime.Now.Subtract(timeSpan),
                DateTime.Now).ToList();

        return MarketData;
    }