利用selenium进行爬虫时,防止js检测驱动的方法
浏览器前端通常会做一下反爬虫的手段,如下
webdriver = window.navigator.webdriver; if(webdriver){ console.log(‘你这个傻逼你以为使用Selenium模拟浏览器就可以了?‘) } else { console.log(‘正常浏览器‘) }
如何利用爬虫针对js代码的反爬手段进行规避,以谷歌浏览器为例,进行设置,代码如下
from selenium import webdriveroption = webdriver.ChromeOptions() option.add_experimental_option(‘excludeSwitches‘, [‘enable-automation‘]) driver = webdriver.Chrome(options=option)