Java HTML解析[关闭]

Question

我正在开发一个从网站上删除数据的应用程序，我想知道如何获取数据。具体来说，我需要包含在许多使用特定CSS类的div标签中的数据 - 目前（用于测试目的）我只是在检查

div class = "classname"

在每一行HTML中 - 这都有效，但我不禁感到有更好的解决方案。

有没有什么好方法可以为一个类提供一行HTML并有一些很好的方法，如：

boolean usesClass(String CSSClassname);
String getText();
String getLink();

Answer 1

几年前，我将JTidy用于同样的目的：

http://jtidy.sourceforge.net/

“JTidy是HTML Tidy的Java端口，HTML语法检查程序和漂亮的打印机。与其非Java表兄一样，JTidy可以用作清理格式错误和错误的HTML的工具。此外，JTidy为正在处理的文档提供了一个DOM接口，这有效地使您能够将JTidy用作真实HTML的DOM解析器。

JTidy是由Andy Quick撰写的，后者后来退出了维护者职位。现在，JTidy由一群志愿者维护。

有关JTidy的更多信息可以在JTidy SourceForge项目页面找到。“

Answer 2

另一个可能对HTML处理有用的库是jsoup。 Jsoup尝试清除格式错误的HTML，并允许使用jQuery（如标记选择器语法）在Java中进行html解析。

http://jsoup.org/

Answer 3

前面提到的主要问题是格式错误的HTML，因此必须使用html清理程序或HTML-XML转换器。一旦获得XML代码（XHTML），就有很多工具可以处理它。您可以使用一个简单的SAX处理程序来获取它，该处理程序仅提取您需要的数据或任何基于树的方法（DOM，JDOM等），甚至可以修改原始代码。

以下示例代码使用 HTML清除程序来获取使用某个类并打印出来的所有DIV其中的所有文字内容。

import java.io.IOException;
import java.net.URL;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

import org.htmlcleaner.HtmlCleaner;
import org.htmlcleaner.TagNode;

/**
 * @author Fernando Miguélez Palomo <fernandoDOTmiguelezATgmailDOTcom>
 */
public class TestHtmlParse
{
    static final String className = "tags";
    static final String url = "http://www.stackoverflow.com";

    TagNode rootNode;

    public TestHtmlParse(URL htmlPage) throws IOException
    {
        HtmlCleaner cleaner = new HtmlCleaner();
        rootNode = cleaner.clean(htmlPage);
    }

    List getDivsByClass(String CSSClassname)
    {
        List divList = new ArrayList();

        TagNode divElements[] = rootNode.getElementsByName("div", true);
        for (int i = 0; divElements != null && i < divElements.length; i++)
        {
            String classType = divElements[i].getAttributeByName("class");
            if (classType != null && classType.equals(CSSClassname))
            {
                divList.add(divElements[i]);
            }
        }

        return divList;
    }

    public static void main(String[] args)
    {
        try
        {
            TestHtmlParse thp = new TestHtmlParse(new URL(url));

            List divs = thp.getDivsByClass(className);
            System.out.println("*** Text of DIVs with class '"+className+"' at '"+url+"' ***");
            for (Iterator iterator = divs.iterator(); iterator.hasNext();)
            {
                TagNode divElement = (TagNode) iterator.next();
                System.out.println("Text child nodes of DIV: " + divElement.getText().toString());
            }
        }
        catch(Exception e)
        {
            e.printStackTrace();
        }
    }
}

Answer 4

您可能会对 TagSoup 感兴趣HTML解析器能够处理格式错误的HTML。 XML解析器只适用于格式良好的XHTML。

Answer 5

HTMLParser项目（ http://htmlparser.sourceforge.net/ ）可能是可能的。在处理格式错误的HTML时似乎相当不错。以下代码段应该可以满足您的需求：

Parser parser = new Parser(htmlInput);
CssSelectorNodeFilter cssFilter = 
    new CssSelectorNodeFilter("DIV.targetClassName");
NodeList nodes = parser.parse(cssFilter);

Answer 6

杰里科： http://jericho.htmlparser.net/docs/index.html

易于使用，支持不良格式的HTML，很多例子。

Answer 7

HTMLUnit可能会有所帮助。它也做了很多东西。

http://htmlunit.sourceforge.net/ 1

Answer 8

让我们不要忘记 Jerry ，它在java中的jQuery：一个快速而简洁的Java库这简化了HTML文档的解析，遍历和操作;包括使用css3选择器。

示例：

Jerry doc = jerry(html);
doc.$("div#jodd p.neat").css("color", "red").addClass("ohmy");

示例：

doc.form("#myform", new JerryFormHandler() {
    public void onForm(Jerry form, Map<String, String[]> parameters) {
        // process form and parameters
    }
});

当然，这些只是一些简单的例子来感受它的一切。

Answer 9

nu.validator 项目是一个出色的高性能HTML解析器不会切入正确的角度。

  

Validator.nu HTML Parser是Java中HTML5解析算法的一种实现。该解析器旨在作为已使用XML解析器支持XHTML 1.x内容并使用SAX，DOM或XOM与解析器进行交互的应用程序中的XML解析器的替代品。为希望执行自己的IO并使用脚本支持document.write（）的应用程序提供了低级功能。解析器核心在Google Web Toolkit上编译，可以自动转换为C ++。 （C ++转换功能目前用于移植解析器以在Gecko中使用。）

Answer 10

您还可以使用 XWiki HTML Cleaner ：

它使用 HTMLCleaner 并对其进行扩展以生成有效的XHTML 1.1内容。

Answer 11

如果您的HTML格式正确，您可以轻松使用XML解析器为您完成工作...如果您只是阅读， SAX 将是理想的。