网页解析经验谈

以前一直用htmlparser,但这东西N看前就不更新维护了,真是担心啊。

最近使用中发现htmlparser有时会卡死,进入无限等待中。

看来的设置一下超时。

Parser parser = new Parser(conn);
parser.setURL(page);
parser.getConnection().setConnectTimeout(Constant.CONNECTION_TIMEOUT);
parser.getConnection().setReadTimeout(Constant.READ_TIMEOUT);

 本想着应该可以了,没想到根本就没用。晕死。

后来发现要如下设置才能生效。

URL urlPage = new URL(page);
HttpURLConnection conn = (HttpURLConnection) urlPage.openConnection();
conn.setConnectTimeout(Constant.CONNECTION_TIMEOUT);
conn.setReadTimeout(Constant.READ_TIMEOUT);
Parser parser = new Parser(conn);

如果有哪位大哥知道怎么使用框架里面的api设置超时可以email我。谢谢。

还有就是新的框架jsoup才是王道。htmlparser要淘汰了,谁用谁知道。