5分ごとにWebページをダウンロードするには？

Question

私は、Webページのリストをダウンロードしたいです。 wgetのは、これを行うことができます私は知っています。しかし、5分ごとにすべてのURLをダウンロードしたフォルダに保存することはwgetの能力を超えているようです。 誰もがいずれかのタスクを達成するJavaやPythonやPerlでのいくつかのツールを知っていますか？

事前に感謝します。

Answer 1

wgetコマンドを使用していますbashスクリプトを書いて、5分ごとに実行するために、あなたのcrontabに入れて。 （* / 5 * * * *）

あなたは、これらすべてのWebページの履歴を保持現在unixtimeで、スクリプトの先頭で変数を設定し、出力ファイル名に付加する必要がある場合。

Answer 2

あなたはwgetのと利用のcronにしたいと思いますように

のサウンド

---

しかし、あなたが使用してのpythonに設定している場合：

import time
import os

wget_command_string = "wget ..."

while true:
    os.system(wget_command_string)
    time.sleep(5*60)