总结python爬虫抓站的实用技巧

1. 落实反爬虫手段

在爬虫抓站过程中，常常遭遇各种反爬虫手段。为了避免被封禁或限制访问，我们需要针对性地落实反爬虫手段。一些最常见和有效的方式包括：

• 添加User-Agent信息
• 使用代理IP
• 增加访问时间间隔
• 模拟浏览器请求

示例1：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
}

proxies = {
    'http': 'http://127.0.0.1:8080',
    'https': 'https://127.0.0.1:8080',
}

url = 'https://www.example.com'
try:
    response = requests.get(url, headers=headers, proxies=proxies)
    if response.status_code == 200:
        print(response.text)
except requests.exceptions.RequestExceptions as e:
    print(e)

示例2：

import time
from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('User-Agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')
driver = webdriver.Chrome(chrome_options=options)

url = 'https://www.example.com'
try:
    driver.get(url)
    time.sleep(1)  # 延时1秒等待页面加载完
    page_source = driver.page_source
    print(page_source)
finally:
    driver.quit()

2. 使用正则表达式筛选目标内容

爬虫抓站不仅需要获取页面内容，还需要筛选目标内容。在筛选时，我们可以使用多种方式，如Beautiful Soup等库，但由于这些库需要下载和安装，有时会因版本问题等原因导致使用麻烦。因此，使用正则表达式进行筛选是一种简单有效的方法。

示例1：

import re

html = '<div class="info"><h3 class="title">Python入门教程</h3><p>Python是一种面向对象的编程语言。</p></div>'

pattern = '<div.*?title">(.*?)</h3>.*?<p>(.*?)</p>'

result = re.findall(pattern, html, re.S)

if result:
    for r in result:
        print(r[0], r[1])

示例2：

import re
import requests

url = 'https://www.example.com'

try:
    response = requests.get(url)
    if response.status_code == 200:
        html = response.text
        pattern = '<a.*?href="(.*?)" target="_blank">(.*?)</a>'
        result = re.findall(pattern, html)
        if result:
            for r in result:
                print(r[0], r[1])
except requests.exceptions.RequestExceptions as e:
    print(e)

总结

除了以上两点，爬虫抓站需要考虑的还有很多，如数据清洗、存储、异常处理等等。但是这两点的掌握十分重要，可以有效提高抓取成功率和数据准确性。同时，对于不同的网站，需要根据实际情况灵活运用技巧，才能抓取到想要的数据。