爬虫

通过学习python，写两个简单的爬虫，没用线程，本地抓取速度还不错，有些瑕疵就是抓的图片有些显示不出来，代码做个笔记记录下： # -*- coding:utf-8 -*- import re import urllib.request import os url = “http://www.58pic.com/yuanchuang/0/day-” def …

本来晚上是准备写贴吧爬虫的，但是在分析页面时就遇到了大麻烦！选取了某个帖子，在爬取的时候，发现正则匹配不全..很尴尬！！先来看看吧， 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 __author__ = ‘ziv·chan’ 4 5 6 import requests 7 import re 8 9 …

今天，学习了爬虫的基础知识，尝试着写了本人的第一个小爬虫——爬取糗百上的热门段子。一开始自己做的是爬取1-35页，每页20条段子的作者、点赞数和内容，代码很简陋，贴在下面： 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 __author__ = ‘ziv·chan’ 4 5 import request…

redis分布式部署     1.scrapy框架是否可以自己实现分布式？ 　　　　- 不可以。原因有二。 　　　　　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 　　　　　　其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出…

scrapy startproject Redbacktestcd Redbacktest 创建jobbole爬虫 scrapy genspider jobbole2 blog.jobbole.com 从pycharm中导入后创建main文件 from scrapy.cmdline import execute import sys sys.path.app…

  #coding:utf-8 import re,urllib def gethtml(url): page = urllib.urlopen(url) html=page.read() return html def getlink(html): link = re.findall(r'<td align=”left” style=”padding…

demo截图： 本demo爬瓜子二手车北京区的数据 (注:需要略懂 node.js / mongodb 不懂也没关系 因为我也不懂啊~~~) 之所以选择爬瓜子二手车网站有两点： 一、网站无需登录，少做模拟登录； 二、数据链接没有加密，直接可以用； 网上很多node.js爬虫的栗子 但大多是一个页面的栗子，很少跟数据库结合的 所以我这个栗子是糖炒的 我的基本思…

直接使用pip3 install scrapy会报很多错误，所以试试以下步骤。 （1） https://www.lfd.uci.edu/~gohlke/pythonlibs/ 在这个python第三方库里下载三个包：分别是lxml，twisted，scrapy。【按照自己的电脑和Python版本下载相应的包】 （2） cd 到放这三个包的文件夹下，依次pip…

一直在学习python，语法什么学习了很久，今天记录一下python实战，使用pyhton爬虫爬取猫眼网站最热电影top100，下面是代码与我编写遇到的坑，有注释很清晰 代码可能有一些缩进问题，复制到编辑器自行调整       #首先分析网站结构，请求链接，分析数据所在的标签     #首先打开网站，可以看的他的链接 ‘https://maoyan.com/…

设置下载中间件（Downloader Middlewares）  下载中间件是处于引擎(crawler.engine)和下载器(crawler.engine.download())之间的一层组件，可以有多个下载中间件被加载运行。 当引擎传递请求给下载器的过程中，下载中间件可以对请求进行处理 （例如增加http header信息，增加proxy信息等）； 在下…