Encog Neural Net: Normalisierung

Question 1

Hier sind nur wenige Ressourcen, in denen Sie detailliertere Informationen über Normalisierung und Denormalisierung mithilfe des Encog -Frameworks erhalten können.

Diese großartigen E-Books von Jeff Heaton selbst, 1. Programmieren neuronaler Netzwerke mit CNOG3 in C#, 2. Ausgabe von Heaton, Jeff (2. Oktober 2011)2. Einführung in neuronale Netze für C#, 2. Ausgabe von Jeff Heaton (2. Oktober 2008) Dies sind E -Books für Encog -Benutzer.

Sie können sich auch den Pluralsight -Kurs ansehen "Einführung in maschinelles Lernen mit Encog"Dies umfasst auch einige Beispiele für Normalisierung und Denormalisierung.

Jetzt in Bezug auf Ihre Fragen: "Es ist hier nicht klar, wie Sie den AnalyseMalizizecsv übernehmen und sie in einen mldataset umwandeln können, um sie tatsächlich zu verwenden."

Nun, Sie können AnalyseNormalizecsv verwenden, um Ihre Trainingsdatei zu normalisieren. Und dann können Sie LoadCSV2Memory der Himmelsklasse verwenden, um die normalisierte Trainingsdatei zu laden, um den ML -Datensatz zu erhalten. Hier ist ein Beispielcode in C#.

var trainingSet = EncogUtility.LoadCSV2Memory(Config.NormalizedTrainingFile.ToString(), network.InputCount, network.OutputCount,true, CSVFormat.English,false);

Sie nimmt die normalisierte Trainingsdatei als erster Parameter, Netzwerkeingabe -Neuronenzahl als zweite, Netzwerkausgabe -Neuronenzahl als dritter. Der vierte Parameter ist booleschen, wenn Sie Header in Ihrer CSV -Datei haben Parameter ist für Bedeutung.

Sobald Sie diesen Datensatz im Speicher haben, können Sie ihn zum Training verwenden. Ein ähnlicher Ansatz kann auch im Quervalidierungs- und Bewertungsschritt verfolgt werden.

In Bezug auf die Denormalisierung können Sie zunächst die Analystendatei bestehen und später auch die Analystendatei verwenden, um einzelne Spalten zu denormalisieren. Zum Beispiel :

var denormlizedOutput = analyst.Script.Normalize.NormalizedFields[index].DeNormalize(item.Input[index]);

Ein ähnlicher Ansatz kann bei der Denormalisierung von Feldern verwendet werden, um auch Klassenetiketten zu erhalten. Zum Beispiel

var predictedClass = analyst.Script.Normalize.NormalizedFields[index].Classes[predictedClassInt].Name;

Question 2

Der Encog Analyst ist fantastisch für die Normalisierung von Daten. Es kann Informationen in einer CSV -Datei aufnehmen und automatisch die normalisierten Felder und ihre Art der Codierung (einschließlich 1 der n gleichseitigen Codierung n) bestimmen.

Der einzige Nachteil davon ist, dass die Logik eng mit der ReadCSV -Klasse verbunden ist.

Bevorzugung der Erweiterung im Gegensatz zu Modifikationen Ich habe mich entschlossen, Erweiterungsmethoden und alternative Klassen zu erstellen, um einen Analyst zu erstellen, der einen generischen .NET -Datensatz normalisieren würde.

Ich habe auch eine neue Testklasse hinzugefügt, die Ihnen zeigt, wie Sie sie verwenden (es ist sehr ähnlich wie bei der Standard -Encog -Implementierung).

using System;
using Microsoft.VisualStudio.TestTools.UnitTesting;
using System.Collections.Generic;
using Encog.ML.Data.Market;
using Encog.ML.Data.Market.Loader;
using Encog.App.Analyst;
using Encog.App.Analyst.Wizard;
using EncogExtensions.Normalization; //<- This is my extension lib
using System.Data;
using System.Linq;     
[TestMethod]
    public void Normalize_Some_In_Memory_Data()
    {
        // Download some stock data
        List<LoadedMarketData> MarketData = new List<LoadedMarketData>();
        MarketData.AddRange(DownloadStockData("MSFT",TimeSpan.FromDays(10)));
        MarketData.AddRange(DownloadStockData("AAPL", TimeSpan.FromDays(10)));
        MarketData.AddRange(DownloadStockData("YHOO", TimeSpan.FromDays(10)));

        // Convert stock data to dataset using encog-extensions
        DataSet dataSet = new DataSet().Convert(MarketData, "Market DataSet");

        // use encog-extensions to normalize the dataset 
        var analyst = new EncogAnalyst();
        var wizard = new AnalystWizard(analyst);
        wizard.Wizard(dataSet);

        // DataSet Goes In... 2D Double Array Comes Out... 
        var normalizer = new AnalystNormalizeDataSet(analyst);
        var normalizedData = normalizer.Normalize(dataSet);

        // Assert data is not null and differs from original
        Assert.IsNotNull(normalizedData);
        Assert.AreNotEqual(normalizedData[0, 0], dataSet.Tables[0].Rows[0][0]);

    }

    private static List<LoadedMarketData> DownloadStockData(string stockTickerSymbol,TimeSpan timeSpan)
    {
        IList<MarketDataType> dataNeeded = new List<MarketDataType>();
        dataNeeded.Add(MarketDataType.AdjustedClose);
        dataNeeded.Add(MarketDataType.Close);
        dataNeeded.Add(MarketDataType.Open);
        dataNeeded.Add(MarketDataType.High);
        dataNeeded.Add(MarketDataType.Low);
        dataNeeded.Add(MarketDataType.Volume);

        List<LoadedMarketData> MarketData =
            new YahooFinanceLoader().Load(
                new TickerSymbol(stockTickerSymbol),
                dataNeeded,
                DateTime.Now.Subtract(timeSpan),
                DateTime.Now).ToList();

        return MarketData;
    }