htmlparser中自定义html标签进行解析
原文出处:http://www.mzone.cc/article/270.html htmlparser是一个基于java的用来解析html页面的开源组件,可以很方便对html页面进行标签分析、动态修改、删除特定的html标签等。但有些时候,我们可能需要自定义非HTML标签实现一些额外的功能,比如我经常使用htmlparser解析并处理页面后需要返回最终的处理结果,一般情况下我们获取html这个根标签,然后toHtml()就可以得到了。但如果页面本身就不规范,没有或包含多个html根标签呢?这样就会出现数据遗漏的情况,我这里就来讲下我的处理过程:
1、自定义一个根标签
2、将解析到的HTML内容使用根标签进行包裹
3、再使用htmlparser解析包裹的结果字符串并处理
4、获取自定义的根标签并返回标签内部的内容
5、输出最终的自定义标签的内部内容即可完整输出
首先,我们定义一个我们自己的html标签,在htmlparser中自定义标签需要继承CompositeTag类,该类非常简单,只需要覆写基类的getIds方法即可,如下:
package cc.mzone.html; import org.htmlparser.tags.CompositeTag; /** * 基于HtmlParser的全局顶层容器定义,包装所有的HTML内容。 * * @author 铁木箱子 * */ public class ContainerTag extends CompositeTag { private static final long serialVersionUID = -191586261848623602L; public static final String HTML_CONTAINER_TAG_NAME = "mzone-html-container"; @Override public String[] getIds() { return new String[] { HTML_CONTAINER_TAG_NAME }; } }
写完一个自定义html标签后,我们需要注册到htmlparser的解析其中,需要注意的是每个htmlparser解析器都需要单独注册额外的自定义html标签,我们这里先用自定义标签包裹要解析的html代码,然后再注册并解析根节点返回,代码片段如下:
package cc.mzone.html; import org.htmlparser.Node; import org.htmlparser.Parser; import org.htmlparser.PrototypicalNodeFactory; import org.htmlparser.filters.TagNameFilter; import org.htmlparser.util.NodeList; /** * 获取包装后的顶层HTML元素 * @param content * @return * @throws Exception */ public Node getRootNode(String content, String encoding) throws Exception { // 先用我们自定义的标签包裹需要解析的内容content StringBuilder buf = new StringBuilder(); buf.append("<" + ContainerTag.HTML_CONTAINER_TAG_NAME + ">"); buf.append(content); buf.append("</" + ContainerTag.HTML_CONTAINER_TAG_NAME + ">"); // 获取一个htmlparser的解析器 Parser parser = Parser.createParser(buf.toString(), encoding); // 注册一个已经注册了我们自定义标签的节点工厂给上面的解析器,这个是关键 PrototypicalNodeFactory nodeFactory = new PrototypicalNodeFactory(); nodeFactory.registerTag(new ContainerTag()); parser.setNodeFactory(nodeFactory); // 解析内容获取顶层标签,即我们刚自定义的标签 NodeList list = parser.parse(new TagNameFilter(ContainerTag.HTML_CONTAINER_TAG_NAME)); return list.elementAt(0); }
然后我们就可以对这个内容进行分析和处理,等分析处理完成后,就需要获取最终的处理html内容,使用如下代码片段来获取:
package cc.mzone.html; /** * 获取最终的过滤结果 * @param root * @return * @throws Exception */ public String getFinalResult(Node root) throws Exception { String result = root.toHtml(); int len = ContainerTag.HTML_CONTAINER_TAG_NAME.length(); return result.substring(len + 2, result.length() - len - 3); }
其中root节点就是我们在getRootNode中得到的根节点,也就是我们自定义的html标签,在这个方法中我们仅仅是去掉这个节点的名称而已,从而也就实现了我们想要的目标。使用这个自定义标签可以非常好的解决html格式不标准的问题,从而可以兼容更多的情况和场合。