ケラスを使用して多層パーセプトロンニューラルネットワークを構築するための特性？

Question

私は、大統領が初めてどの郡で勝ったかを正しく予測する多層パーセプトロンニューラルネットワークを構築して訓練しようとしています。データをトレーニングするための次の情報があります。

総人口の中央人年齢％BachelorsDegまたはより高い一人当たりの収入総世帯平均世帯規模％所有者占領率賃貸人賃借人占領率空いている住宅住宅中央住宅住宅人口成長

これが14列のトレーニングデータであり、15列目は出力がどうあるべきかです。

Kerasを使用して多層Perceptron Neural Networkを構築しようとしていますが、これらのプロパティにさまざまなオプションを選択するいくつかのプロパティと短所を理解するのに役立つ必要があります。

1. 活性化関数

私の最初のステップは、アクティベーション機能を考え出すことです。私は常に、シグモイド活性化機能を使用したニューラルネットワークを研究していました。シグモイドの活性化関数は最適ですか？どちらを使用するかをどうやって知っていますか？ Kerasはさらに、SoftMax、SoftPlus、Relu、Tanh、Linear、またはhard_sigmoidアクティベーション機能を使用するオプションを提供します。何でも使えても大丈夫ですが、理由と長所と短所を理解できるようになりたいだけです。

2. 確率初期化

初期化は、ケラス層の初期ランダムウェイトを設定するために使用される確率分布を定義することを知っています。ケラスが与えるオプションは、均一なlecun_uniform、正常、アイデンティティ、直交、ゼロ、glorot_normal、glorot_uniform、he_normal、およびhe_uniformです。ここでの私の選択は、最終結果やモデルにどのような影響を与えますか？最初にランダムなモデルを「トレーニング」していて、とにかくレイヤーのより最適な重み付けを考え出すため、それは問題ではないでしょうか？

Answer 1

1）アクティベーションはアーキテクチャの選択であり、これはハイパーパラメーターの選択に要約されます。任意の関数を使用するための理論的議論を作成できますが、これを決定する最良の方法は、いくつかを試して検証セットで評価することです。また、さまざまなレイヤーのアクティブ化を組み合わせて一致させることができることを覚えておくことも重要です。

2）理論的には、はい、データが非常によく動作し、ネットワークが理想的である場合、多くのランダムな初期化が同じになります。しかし、実際には、初期化は、勾配が合理的に開始され、信号を正しく逆流することができるようにしようとしています。この場合、これらの初期化のいずれかも同様に実行される可能性がありますが、最良のアプローチは、望ましくない結果が得られた場合に切り替えて、それらを試してみることです。