python动态网站爬虫实战(requests+xpath+demjson+redis)

首先，我们来讲解一下如何用Python爬取动态网站。通常情况下，我们可以使用requests库来获取HTML代码，然后再使用xpath等工具来解析HTML代码。但是，对于某些动态网站来说，它们的数据是通过AJAX异步加载的，并且需要进行一些JavaScript的解析。这种情况下，我们就需要使用到模拟浏览器的技术。

在Python中，模拟浏览器的库比较多，比较流行的有selenium和pyppeteer等。这里我们以selenium为例，在安装好selenium后，我们还需要下载浏览器的驱动，比如chrome或firefox的驱动。

from selenium import webdriver

#指定浏览器driver的路径
browser = webdriver.Chrome('/Users/xxx/chromedriver')

#访问一个动态网站
browser.get('https://example.com')

#获取渲染后的HTML代码
html = browser.page_source

#解析HTML代码
#...

通过以上代码，我们可以得到渲染后的HTML代码，并可以进行解析等操作，从而实现对动态网站的爬取。

接下来，我们来看一下如何使用Python实现一个简单的网站爬虫。假设我们要爬取一个新闻网站，那么我们需要首先获取该网站的文章列表页，然后逐一爬取每篇文章的详细内容。我们可以使用requests库来获取HTML代码，然后使用xpath来解析HTML代码，再将解析后的数据保存到文件或数据库中。

import requests
from lxml import etree

#获取文章列表页HTML代码
response = requests.get('https://example.com/articles')
html = response.content.decode()

#解析HTML代码，获取文章链接列表
selector = etree.HTML(html)
links = selector.xpath('//a[@class="link-article"]/@href')

#遍历文章链接列表，逐一爬取文章内容并保存
for link in links:
    url = 'https://example.com' + link
    response = requests.get(url)
    html = response.content.decode()
    selector = etree.HTML(html)
    title = selector.xpath('//h1[@class="title"]/text()')[0]
    content = selector.xpath('//div[@class="content"]/text()')[0]
    #保存数据到文件或数据库

以上是一个简单的网站爬虫的实现方式。需要注意的是，当我们对一个网站进行爬取时，一定要尊重网站的规则，不要过于频繁的请求同一个页面或使用爬虫去爬取网站的大量数据，这可能会对网站造成很大的压力。同时，爬虫也会消耗网站的带宽和资源，所以我们需要注意控制爬虫的请求频率和数据量，以免影响网站的正常运行。

至于“python动态网站爬虫实战(requests+xpath+demjson+redis)”中涉及到的技术，比如demjson和redis等，这些技术都可以用来处理数据或缓存数据，具体的实现方式和使用场景可以根据具体的需求进行选择和调整。