1、淘宝反爬
淘宝的反爬机制是非常完善的，在用selenium登陆淘宝的时候发现淘宝能检测到并弹出滑块，然后无论怎么滑动都通过不了，在经过一番搜索后发现很多网站对selenium都有检测机制，如检测是否存在特有标识 $cdc_asdjflasutopfhvcZLmcfl 、navigator.webdriver等。根据这条线索，可以在淘宝的js里找到了相关的检测代码:
在控制台下输入window.navigator.webdriver会发现和正常的浏览器打开的有所不同

2、修改selenium
如果浏览器是正常打开的话，navigator.webdriver大的值应该是undefined或者false，如果为true说明能检测到selenium
设置开发者模式
此步骤很重要，设置为开发者模式，防止被各大网站识别出来使用了Selenium
from selenium.webdriver import ChromeOptions
option = ChromeOptions()
option.add_experimental_option(‘excludeSwitches’, [‘enable-automation’])#开启实验性功能
browser=webdriver.Chrome(options=option)

修改get方法

script = ‘’’
Object.defineProperty(navigator, ‘webdriver’, {
get: () => undefined
})
‘’’
browser.execute_cdp_cmd(“Page.addScriptToEvaluateOnNewDocument”, {“source”: script})
修改浏览器的webdriver
原因发现以后怎么去解决这个问题就比较头疼了，针对这个问题的两个解决方案，编辑chromedriver发现cdc_asdjflasutopfhvcZLmcfl是chromedriver里面的一个变量名，我们只需要将这个变量名改成其他的就好了，变量名修改教程在《Can a website detect when you are using selenium with chromedriver?》
Mac版本的可以通过如下方法将 cdc_ 替换为 dog_
perl -pi -e ‘s/cdc_/dog_/g’ /path/to/chromedriver
//替换完成后查找下，如果查找不到说明替换成功了
perl -ne ‘while(/cdc_/g){print “$&\n”;}’ /path/to/chromedriver
Windows或者Linux版本可以利用Vim将 cdc_ 替换为 dog_
vim /path/to/chromedriver
Mac和win已经修改好的最新版Chromedriver????chromedriver.zip
3、mitmproxy过滤
其次针对navigator.webdriver 通过mitmproxy做中间人代理将对应的屏蔽代码注入到原网站中从而达到规避检测目的
首先是配置mitmproxy
注入屏蔽代码
TARGET_URL = ‘https://g.alicdn.com/secdev/sufei_data/3.6.8/index.js’
INJECT_TEXT = ‘Object.defineProperties(navigator,{webdriver:{get:() => false}});’
def response(flow):
if flow.request.url.startswith(TARGET_URL):
flow.response.text = INJECT_TEXT + flow.response.text
print(‘注入成功’)
if ‘um.js’ in flow.request.url or ‘115.js’ in flow.request.url:
# 屏蔽selenium检测
flow.response.text = flow.response.text + INJECT_TEXT
在运行前启动代理
mitmdump -s httpProxy.py -p 9000
4、代码例子

-- coding:UTF-8 --

import time
import re
from datetime import date, timedelta
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver import ActionChains
from selenium.webdriver.chrome.options import Options
TB_LOGIN_URL = ‘https://login.taobao.com/member/login.jhtml’
CHROME_DRIVER = ‘/usr/local/bin/chromedriver’ # Windows和Mac的配置路径不一样
class SessionException(Exception):
“”"
会话异常类
“”"
def init(self, message):
super().init(self)
self.message = message
def str(self):
return self.message
class Crawler:
def init(self):
self.browser = None
def start(self, username, password):
print(“初始化浏览器”)
self.__init_browser()
print(“切换至密码输入框”)
self.__switch_to_password_mode()
time.sleep(0.5)
print(“输入用户名”)
self.__write_username(username)
time.sleep(2.5)
print(“输入密码”)
self.__write_password(password)
time.sleep(3.5)
print(“程序模拟解锁”)
if self.__lock_exist():
self.__unlock()
print(“开始发起登录请求”)
self.__submit()
time.sleep(4.5)
# 登录成功，直接请求页面
print(“登录成功，跳转至目标页面”)
self.__navigate_to_target_page()
time.sleep(6.5)
print(“解析页面文本”)
crawler_list = self.__parse_page_content();
# 连接数据库并保存数据
print(“保存数据到mysql数据库”)
self.__save_list_to_db(crawler_list)
def __switch_to_password_mode(self):
“”"
切换到密码模式
:return:
“”"
if self.browser.find_element_by_id(‘J_QRCodeLogin’).is_displayed():
self.browser.find_element_by_id(‘J_Quick2Static’).click()
def __write_username(self, username):
“”"
输入账号
:param username:
:return:
“”"
username_input_element = self.browser.find_element_by_id(‘TPL_username_1’)
username_input_element.clear()
username_input_element.send_keys(username)
def __write_password(self, password):
“”"
输入密码
:param password:
:return:
“”"
password_input_element = self.browser.find_element_by_id(“TPL_password_1”)
password_input_element.clear()
password_input_element.send_keys(password)
def __lock_exist(self):
“”"
判断是否存在滑动验证
:return:
“”"
return self.__is_element_exist(’#nc_1_wrapper’) and self.browser.find_element_by_id(
‘nc_1_wrapper’).is_displayed()
def __unlock(self):
“”"
执行滑动解锁
:return:
“”"
bar_element = self.browser.find_element_by_id(‘nc_1_n1z’)
ActionChains(self.browser).drag_and_drop_by_offset(bar_element, 800, 0).perform()
time.sleep(1.5)
self.browser.get_screenshot_as_file(‘error.png’)
if self.__is_element_exist(’.errloading > span’):
error_message_element = self.browser.find_element_by_css_selector(’.errloading > span’)
error_message = error_message_element.text
self.browser.execute_script(‘noCaptcha.reset(1)’)
raise SessionException(‘滑动验证失败, message = ’ + error_message)
def __submit(self):
“”"
提交登录
:return:
“”"
self.browser.find_element_by_id(‘J_SubmitStatic’).click()
time.sleep(0.5)
if self.__is_element_exist("#J_Message"):
error_message_element = self.browser.find_element_by_css_selector(’#J_Message > p’)
error_message = error_message_element.text
raise SessionException(‘登录出错, message = ’ + error_message)
#跳转至目标页面
def __navigate_to_target_page(self):
pass
# 解析网页数据
def __parse_page_content(self):
pass
#保存数据
def __save_list_to_db(self, crawler_list):
pass
def __init_browser(self):
“”"
初始化selenium浏览器
:return:
“”"
options = Options()
# options.add_argument("–headless")
prefs = {“profile.managed_default_content_settings.images”: 1}
options.add_experimental_option(“prefs”, prefs)
options.add_argument(’–proxy-server=http://127.0.0.1:9000’)
options.add_argument(‘disable-infobars’)
options.add_argument(’–no-sandbox’)
self.browser = webdriver.Chrome(executable_path=CHROME_DRIVER, options=options)
self.browser.implicitly_wait(3)
self.browser.maximize_window()
self.browser.get(TB_LOGIN_URL)
#执行命令行
Crawler().start(‘username’), ‘password’))
这里给出一个比较简易的登录方式，即选择微博登录绕开可能存在滑动验证码的情况
try:
chrome_options = webdriver.ChromeOptions()
#chrome_options.add_argument(’–headless’)
# 下一行代码是为了以开发者模式打开chrome
chrome_options.add_experimental_option(‘excludeSwitches’,[‘enable-automation’])
browser = webdriver.Chrome(options=chrome_options)
browser.get(“https://s.taobao.com/search?q=iPad”)
button = browser.find_element_by_class_name(‘login-switch’)
button.click()
button = browser.find_element_by_class_name(‘weibo-login’)
button.click()
user_name = browser.find_element_by_name(‘username’)
user_name.clear()
user_name.send_keys(‘’) #输入微博名 需要事先绑定淘宝
time.sleep(1)
user_keys = browser.find_element_by_name(‘password’)
user_keys.clear()
user_keys.send_keys('’) #输入微博密码
time.sleep(1)
button = browser.find_element_by_class_name(‘W_btn_g’)
button.click()
time.sleep(1)
cookies = browser.get_cookies()
ses=requests.Session() # 维持登录状态
c = requests.cookies.RequestsCookieJar()
for item in cookies:
c.set(item[“name”],item[“value”])
ses.cookies.update©
ses=requests.Session()
time.sleep(1)
print(‘登录成功’)
except:
print(“登录失败”)