Python爬虫要用到的库总结

在使用Python进行爬虫时，通常需要用到一些常见的库来实现网页的解析、网络请求等操作。下面列出了一些常见的Python库：

网络请求

• requests

requests是Python开发中的一个HTTP库，包括get请求。可以方便地向网页发送请求，获取响应内容。

使用示例：

import requests

response = requests.get('https://www.baidu.com')
print(response.status_code)
print(response.text)

解析HTML

• Beautiful Soup

BeautifulSoup是一个HTML和XML的解析器库，可以用于解析网页中内容的提取。

使用示例：

import requests
from bs4 import BeautifulSoup

response = requests.get('https://www.baidu.com')
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.title.string)

动态渲染

• Selenium

Selenium是Python中的一个Web驱动程序库，可以模拟浏览器行为。

使用示例：

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.baidu.com')
element = driver.find_element_by_id('kw')
element.send_keys('Python')
element.submit()
print(driver.title)
driver.quit()

数据存储

• PyMySQL

PyMySQL是Python中的MySQL数据库操作库，可以实现对MySQL数据库的读写操作。

使用示例：

import pymysql

conn = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    database='test',
    charset='utf8'
)

cursor = conn.cursor()
sql = '''CREATE TABLE user(
    id INT PRIMARY KEY AUTO_INCREMENT,
    name VARCHAR(20) NOT NULL,
    age INT,
    sex VARCHAR(10)
)'''
cursor.execute(sql)

sql = '''INSERT INTO user(name,age,sex)
    VALUES('Tom',18,'Male')'''
cursor.execute(sql)
conn.commit()

sql = 'SELECT * FROM user'
cursor.execute(sql)
result = cursor.fetchall()
print(result)

conn.close()

总结

本文介绍了Python爬虫中常见的库，包括网络请求、HTML解析、动态渲染和数据存储。了解这些库可以让爬虫开发更加高效。