共役勾配降下とは何ですか？

Question

ニューラルネットワークの共役勾配降下とは何ですか？勾配降下技術とどう違うのですか？

私は出会いました 資源, 、しかし、2つの方法の違いを理解することができませんでした。手順で次のように述べています。

次の検索方向は、以前の検索方向に結合するように決定されます。

これは何を意味するのでしょうか？また、Webページに記載されている行検索とは何ですか？

図の助けを借りて説明してもらえますか？

Answer 1

この文はどういう意味ですか？

つまり、次のベクトルは、マトリックスに関して以前のすべてのベクトルに対して垂直であることを意味します。それは方法のようなものです 自然の基礎 ベクトルはそうです 垂直 マトリックスのねじれが追加されて、お互いに：

$ mathrm {x^ta y} = 0 $ $ mathrm {x^t y} = 0 $

また、Webページに記載されているライン検索とは何ですか？

ライン検索 特定の方向（つまり、線に沿って）に沿ってどれだけ遠くに沿ってどれだけ距離に沿って到達するかを推測する最適化方法です。