Linux上的无头，可脚本的Firefox/WebKit？ [关闭

Question

我希望自动化一些Web交互，即从安全网站上定期下载文件。这基本上涉及输入我的用户名/密码并导航到适当的URL。

我尝试在Python中进行简单的脚本，然后是更复杂的脚本，只是发现这个特定的网站是使用一些令人讨厌的JavaScript和基于Flash的机制来登录，使我的方法毫无用处。

然后，我尝试了htmlunit，但这似乎也不想起作用。我怀疑使用Flash是问题所在。

我真的不想再考虑一下，所以我倾向于脚本脚本登录并获取所需的文件。

要求是：

• 在Linux服务器上运行（即无X运行）。如果我真的需要XI可以实现这一目标，但是我不会开心。
• 可靠。我想开始这个事情，再也不会考虑。
• 可以脚本脚本。没有什么太复杂了，但是我应该能够告诉浏览器要采取的各个步骤和访问页面。

无头，无X的可拼写浏览器有任何好的工具包吗？您是否尝试过这样的事情，如果是这样，您有任何智慧的话吗？

Answer 1

我使用IE嵌入式浏览器执行了相关任务（尽管它是带有隐藏浏览器组件面板的GUI应用程序）。实际上你可以接受任何 布局引擎 并切割输出逻辑。应通过类似脚本的事件进行导航。

您可以使用 撬棍. 。它是Firefox（壁虎发动机）的无头版本。它将浏览器变成可以接受请求的RESTFUL服务器（“ Fetch URL”）。因此，它可以解析HTML，表示为DOM，等待所有执行的脚本定义延迟。

它在Linux上起作用。我想您可以使用JS和丰富的Xulrunner能力轻松地将其扩展为您的目标。

Answer 2

关于什么 phantomjs?

Answer 3

你有没有尝试过 硒？它将允许您使用Firefox的扩展名来记录使用情况，稍后可以使用多种不同的方法进行播放。

编辑：我只是意识到这是一个很晚的回应。 :)

Answer 4

看一下 Webkitdriver. 。该项目包括WebKit的无头实施。

Answer 5

我不知道如何进行闪存互动（也很感兴趣），但是对于HTML/JavaScript，您可以使用 鸡脚.

为了获得无头 +脚本浏览器在Linux上工作，您可以使用 QT WebKit库. 这是一个示例使用.

Answer 6

为此，我只是编写镀铬扩展名，这些扩展名将其发布到couchdbs（例子 及其 蒲团）。将沙发添加到清单中的权限中，以允许交叉域XHR。

（我到达了这个线程，以寻找我一直在做的事情的无头替代方案；找到这个线程后，我将在某个时候尝试撬棍。）

另外，考虑到本网站的奇异特征，我不禁要问您是否可以利用一些安全孔来绕过Flash和JavaScript。