Python爬虫之利用Selenium+Requests爬取拉勾网

一、前言

本篇文章将详细介绍如何使用Python编写Selenium+Requests实现的爬虫程序来爬取拉钩网的招聘信息。

二、技术选型

1. Selenium：对于使用AJAX或JavaScript进行渲染和交互的网站页面，Selenium可以完美模拟浏览器行为，进入页面、下拉和点击等操作都可以实现，效果非常好；
2. Requests：作为Python常用的网络请求库，支持HTTP和HTTPS请求方式，并且灵活易用。

三、爬虫流程

1. 利用Selenium模拟人工操作从而加载所有页面，需要设置好初始URL并打开浏览器；
2. 分析页面结构，提取目标数据所在标签和属性，使用Selenium或Requests搭建定向爬虫进行内容抓取；
3. 将得到的数据进行清洗和分析，将有用信息保存到文件或数据库中。

四、具体实现

1. 利用Selenium实现自动化操作

from selenium import webdriver

url = 'https://www.lagou.com/jobs/list_{}?city=%E6%B7%B1%E5%9C%B3'
browser = webdriver.Chrome()
browser.get(url.format('python'))

1. 获取职位列表信息

job_list = browser.find_elements_by_css_selector('#s_position_list .item_con_list li')
for job in job_list:
    print(job.text)

1. 获取职位详情信息

job_detail_url = job.find_element_by_css_selector('.position_link').get_attribute('href')
browser.get(job_detail_url)

job_title = browser.find_element_by_css_selector('.job-name .name').text
job_salary = browser.find_element_by_css_selector('.job_request .salary').text
job_pub_time = browser.find_element_by_css_selector('.job-name .publish_time').text

print(job_title, job_salary, job_pub_time)

五、注意事项

1. 爬虫爬取网站时，务必遵守网站的爬虫规则，不要频繁请求以免网站被封禁；
2. 在使用Selenium的时候，可以尝试开启headless模式，运行速度更快且不会弹出浏览器页面。

六、总结

本文通过一个实际例子向大家详细介绍了利用Selenium和Requests实现爬取拉钩网的程序，内容涵盖了爬虫流程、注意事项等方面，希望能给初学者提供一些参考。