selenium驱动firefox抓取网页数据,在firefox内存优化和速度优化方面的努力

使用默认frofile,启动firefox  内存600M,几个小时之后彪到一个G。

禁用掉图片,缓存  启动内存200M左右,但是几个小时之后内存彪到600M左右.

目前查到的优化项,正在努力中&尝试中......,

各种尝试如果都不行,目前想到的终极解决方案:爬取一定量的页面之后关闭当前线程对应的firefox窗口,开启新窗口!

profile.setPreference("permissions.default.image", 2);
//禁用浏览器缓存
profile.setPreference("network.http.use-cache", false);
profile.setPreference("browser.cache.memory.enable", false);
profile.setPreference("browser.cache.disk.enable", false);
profile.setPreference("browser.sessionhistory.max_total_viewers", 3);
profile.setPreference("network.dns.disableIPv6", true);
profile.setPreference("Content.notify.interval", 750000);
profile.setPreference("content.notify.backoffcount", 3);
                   
//有的网站支持   有的不支持
profile.setPreference("network.http.pipelining", true);
profile.setPreference("network.http.proxy.pipelining", true);
profile.setPreference("network.http.pipelining.maxrequests", 32);

相关推荐