Encog neurale net: normalisering

Question 1

Hier is min bronne, waar u meer gedetailleerde inligting oor normalisering en denormalisering met behulp van ENCOG -raamwerk kan kry.

Hierdie wonderlike e-boeke geskryf deur Jeff Heaton self, 1. Programmering van neurale netwerke met encog3 in C#, 2de uitgawe deur Heaton, Jeff (2 Oktober 2011)2. Inleiding tot neurale netwerke vir C#, 2de uitgawe deur Jeff Heaton (2 Oktober 2008). Dit moet e -boeke hê vir ENCOG -gebruikers.

U kan ook kyk na pluralight -kursus oor "Inleiding tot masjienleer met encog"Dit bevat ook enkele voorbeelde van normalisering en denormalisering.

Wat u navrae betref: "Dit is hier nie duidelik nie, maar hoe u die ontledingsnormalizecsv kan neem en dit na 'n mldataset omskakel om dit eintlik te gebruik."

Wel, u kan AnalystNormalizeCSV gebruik om u opleidingslêer te normaliseer. En dan kan u LoadCSv2Memory of Encogutility Class gebruik om die genormaliseerde opleidingslêer te laai om die ML -datastel te kry. Hier is 'n voorbeeldkode in C#,

var trainingSet = EncogUtility.LoadCSV2Memory(Config.NormalizedTrainingFile.ToString(), network.InputCount, network.OutputCount,true, CSVFormat.English,false);

Dit neem die genormaliseerde opleidingslêer as eerste parameter, netwerkinvoerneurontelling as tweede, netwerkuitsetneurontelling as derde, vierde parameter is Boolean as u kop in u CSV -lêer het, dan kan u die formaat noem as die vyfde parameter, en sesde Parameter is vir betekenis.

Sodra u hierdie datastel in die geheue het, kan u dit gebruik vir opleiding. Soortgelyke benadering kan ook in kruisvalidering en evalueringstap gebruik word.

Wat denormalisering betref, kan u eers die ontlederslêer volhou, en later kan u ontledingslêer gebruik om ook individuele kolomme te denormaliseer. Byvoorbeeld :

var denormlizedOutput = analyst.Script.Normalize.NormalizedFields[index].DeNormalize(item.Input[index]);

Soortgelyke benadering kan gebruik word in denormaliserende velde om ook klasetikette te kry. Byvoorbeeld

var predictedClass = analyst.Script.Normalize.NormalizedFields[index].Classes[predictedClassInt].Name;

Question 2

Die ENCOG -ontleder is fantasties om data te normaliseer. Dit kan inligting neem wat in 'n CSV -lêer gestoor is en outomaties die genormaliseerde velde en hul tipe kodering bepaal (insluitend 1 van n gelyksydige kodering).

Die enigste nadeel hiervan is dat die logika nou gekoppel is aan die ReadCSV -klas.

Ek het besluit om die uitbreiding in teenstelling met wysiging te bevoordeel.

Ek het ook 'n nuwe toetsklas bygevoeg wat u wys hoe u dit moet gebruik (dit is baie soortgelyk aan die standaard ENCOG -implementering).

using System;
using Microsoft.VisualStudio.TestTools.UnitTesting;
using System.Collections.Generic;
using Encog.ML.Data.Market;
using Encog.ML.Data.Market.Loader;
using Encog.App.Analyst;
using Encog.App.Analyst.Wizard;
using EncogExtensions.Normalization; //<- This is my extension lib
using System.Data;
using System.Linq;     
[TestMethod]
    public void Normalize_Some_In_Memory_Data()
    {
        // Download some stock data
        List<LoadedMarketData> MarketData = new List<LoadedMarketData>();
        MarketData.AddRange(DownloadStockData("MSFT",TimeSpan.FromDays(10)));
        MarketData.AddRange(DownloadStockData("AAPL", TimeSpan.FromDays(10)));
        MarketData.AddRange(DownloadStockData("YHOO", TimeSpan.FromDays(10)));

        // Convert stock data to dataset using encog-extensions
        DataSet dataSet = new DataSet().Convert(MarketData, "Market DataSet");

        // use encog-extensions to normalize the dataset 
        var analyst = new EncogAnalyst();
        var wizard = new AnalystWizard(analyst);
        wizard.Wizard(dataSet);

        // DataSet Goes In... 2D Double Array Comes Out... 
        var normalizer = new AnalystNormalizeDataSet(analyst);
        var normalizedData = normalizer.Normalize(dataSet);

        // Assert data is not null and differs from original
        Assert.IsNotNull(normalizedData);
        Assert.AreNotEqual(normalizedData[0, 0], dataSet.Tables[0].Rows[0][0]);

    }

    private static List<LoadedMarketData> DownloadStockData(string stockTickerSymbol,TimeSpan timeSpan)
    {
        IList<MarketDataType> dataNeeded = new List<MarketDataType>();
        dataNeeded.Add(MarketDataType.AdjustedClose);
        dataNeeded.Add(MarketDataType.Close);
        dataNeeded.Add(MarketDataType.Open);
        dataNeeded.Add(MarketDataType.High);
        dataNeeded.Add(MarketDataType.Low);
        dataNeeded.Add(MarketDataType.Volume);

        List<LoadedMarketData> MarketData =
            new YahooFinanceLoader().Load(
                new TickerSymbol(stockTickerSymbol),
                dataNeeded,
                DateTime.Now.Subtract(timeSpan),
                DateTime.Now).ToList();

        return MarketData;
    }