在线工具，用于爬网站并检索每个页面的所有元信息

Question

有谁知道可以爬网的免费在线工具，并仅返回元关键字和元描述信息？

Answer 1

假设您可以访问Linux/Unix：

mkdir temp
cd temp
wget -r SITE_ADDRESS

然后，对于关键字：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g'

并进行描述：

egrep -r -h 'meta[^>]+name="description' * | sed 's/^.*content="\([^"]*\)".*$/\1/g'

如果您想要所有唯一的关键字，请尝试：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g' | sed 's/\s*,\s*/\n/g' | sort | uniq

我敢肯定，那里有一个单线或程序可以执行此确切的事情，而且答案肯定会更容易。

Answer 2

要检索所有元信息，请尝试此工具 元标签分析仪