本文共 427 字，大约阅读时间需要 1 分钟。
使用selenium和PhantomJS来模拟浏览器点击下一页，获取页面数据进行抓取分析
用python写爬虫的时候，主要用的是selenium的Webdriver来获取页面数据使用webdriver需要安装对应浏览器的driver，并加入到环境变量中from selenium import webdriver driver = webdriver.PhantomJS() 使用PhantomJS浏览器创建浏览器对象driver.get("") 使用get方法加载页面driver.find_element_by_class_name("shark-pager-next").click() class="shark-pager-next"是下一页按钮，click() 是模拟点击利用BeatuifulSoup 对页面信息进行提取模拟点击时需要安装转载于:https://blog.51cto.com/weadyweady/2307341