python使用tornado实现简单爬虫

下面是关于“python使用tornado实现简单爬虫”的完整攻略：

1. 背景

在数据处理的过程中，我们需要获取互联网上的数据，这就需要用到爬虫技术。Tornado是一种Python框架，可以用来实现高效的异步网络应用程序和协程程序，它不仅可以用来搭建Web服务，还可以用来实现简单的爬虫。

2. 环境准备

在使用Tornado实现爬虫之前，需要先安装Tornado。可以使用pip安装，命令如下：

pip install tornado

3. 实现过程

3.1 基本爬虫

下面是一个基本的爬虫示例代码：

import tornado.ioloop
import tornado.httpclient

def handle_response(response):
    if response.error:
        print("Error:", response.error)
    else:
        print(response.body)

http_client = tornado.httpclient.AsyncHTTPClient()
http_client.fetch("http://www.baidu.com", handle_response)
tornado.ioloop.IOLoop.current().start()

这个爬虫通过Tornado的AsyncHTTPClient模块异步获取百度首页的内容，并使用回调函数handle_response对获取到的响应进行处理。在这个示例中，我们只是简单地将响应内容输出到终端上。

3.2 获取页面链接

下面示例代码是一个更加复杂的爬虫，它可以获取一个页面中的所有链接：

import tornado.ioloop
import tornado.httpclient
from bs4 import BeautifulSoup

class AllLinksParser(tornado.httpclient.HTTPResponseDelegate):

    def __init__(self, callback):
        self.callback = callback
        self.links = []

    def headers_received(self, headers):
        pass

    def data_received(self, chunk):
        pass

    def finish(self):
        soup = BeautifulSoup(self.links)
        links = []
        for link in soup.find_all('a'):
            href = link.get('href')
            if href:
                links.append(href)
        self.callback(links)

    def handle_response(self, response):
        self.links.append(response.body)
        if response.code == 200:
            response.deliver()
        else:
            tornado.ioloop.IOLoop.current().stop()

def get_all_links(url, callback):
    http_client = tornado.httpclient.AsyncHTTPClient()
    parser = AllLinksParser(callback)
    http_client.fetch(url, processor=parser)

if __name__ == '__main__':

    def parse_links(links):
        print(links)

    get_all_links('http://www.baidu.com', parse_links)
    tornado.ioloop.IOLoop.current().start()

这个爬虫同样使用了Tornado的AsyncHTTPClient模块异步获取页面的内容，不过它将内容传给了一个自定义的AllLinksParser对象处理。在AllLinksParser中，我们使用了BeautifulSoup来解析页面内容，获取其中的所有链接，并将结果回传给爬虫的回调函数。

4. 总结

通过Tornado实现爬虫，可以实现高效的异步获取数据，并且可以很方便地处理HTML和JSON数据。上述示例代码只是爬虫实现的一些基本示例，实际应用中还需要根据具体的情况进行功能扩展和优化。