如何抓住生活的文本,从URL?
-
12-09-2019 - |
题
我试图抓住所有的数据(文字)来自URL这是不断发送文本,我试图使用PHP但这将意味着具有剧本运行的整个时间,这这是不是真的为(我认为)。所以我最终使用砸向脚本。
在那一刻,我使用wget(我不能卷输出的文本的文件)
wget --tries=0 --retry-connrefused http://URL/ --output-document=./output.txt
所以wget似乎是工作相当好,除了一件事情,每次我重新开始脚本wget会清楚的output.txt 文件和开始填写一遍,这不是我想要的。 是否有一个方式告诉wget追加的txt的文件?
此外,这是最好的方式来捕捉住流的数据?我应该使用不同的语言等蟒蛇吗?
解决方案
你可以做的 wget --tries=0 --retry-connrefused $URL -O - >> output.txt
.
说明:参数 -O
是短期的 --output-document
, 和一个短跑 -
装置 标准输出.
线 command > file
意味着写"写入输出 command
要 file
",并且 command >> file
意味着"追加 输出 command
要 file
"这是你想要什么。
其他提示
卷毛不会跟着重通过默认输出什么,如果没有重定向。我始终指定的 --location
选择只是在情况。如果你想要使用 curl
, ,尝试:
curl http://example.com --location --silent >> output.txt
的 --silent
选项关闭的进展的指标。
你可以试试这个:
而真实的
做
wget-q-O- http://example.com >>的文件#-O-输到屏幕上
睡眠2#睡2秒
做
卷毛 http://URL/ >>output.txt
该>>输出重定向从curl output.txt附加的任何数据已经存在。(如果它只是>output.txt -将复盖的内容output.txt 每次你跑了的话)。