爬虫

1.涉及网络这块，必不可少的模块就是urllib2了。顾名思义这个模块主要负责打开URL和HTTP协议之类的，还有一个模块叫urllib，但它们不是升级版的关系   2.urllib2请求返回网页 （1）urllib2最贱的应用就是urllib2.urlopen函数了： urllib2.urlopen(url[,data[,timeout[,cafile[,…

1.urllib2修改header： （1）在使用网络爬虫时，有一些站点不喜欢被程序访问（非人为访问），会检查连接者的“身份证”；默认情况下，urllib2把自己的版本号Python-urllib2/x.y作为自己的“身份证号码”来通过检查，这个身份证号码可能会让站点有点迷惑，或者干脆不工作 （2）这时可以让python程序冒充浏览器访问网站，网站是通过浏览…

1.Logging模块，顾名思义就是针对日志的，到目前为止，所有的程序标准输出（输出到屏幕）都是使用print函数，Logging模块可以代替print函数的功能，并将标准输出输入到日志文件中保存起来，而且利用logging模块可以部分替代debug的功能，给程序排错   2.logging模块有6个级别：（也可以自定义级别），这些级别的用处是，先将自己的日…

1、scrapy日志介绍   Scrapy的日志系统是实现了对python内置的日志的封装    scrapy也使用python日志级别分类 logging.CRITICAL logging.ERROE logging.WARINING logging.INFO logging.DEBUG   2、如何在python中使用日志呢？ import loggin…

1、如何将一个scrapy爬虫项目修改成为一个简单的分布式爬虫项目 官方文档：https://scrapy-redis.readthedocs.io/en/stable/ 只用修改scrapy项目的两个文件就可以了 一个是爬虫组件文件# -*- coding: utf-8 -*- scrapy from scrapy_redis.spiders import…

1、什么是scrapyd 　　Scrapyd是一个服务，用来运行scrapy爬虫的。 　　它允许你部署你的scrapy项目以及通过HTTP JSON的方式控制你的爬虫。 　　官方文档：http://scrapyd.readthedocs.org/ 2、安装scrapyd和scrapyd-client 　　pip install scrapyd(服务器） 　　…

Object.extend=function(props){ //继承父类 var prototype=Object.create(this.prototype) //初始化函数ctor var _Class=function(){ if (this.ctor) this.ctor.apply(this, arguments); } //当前类属性和方法 f…

一个工程生产一个spider，也可以多个spider，比如一个爬文本，一个爬图片等 cd tutorial #自己创建的工程目录 scrapy genspider test1 test1.com scrapy genspider test2 test2.com 用scrapy list查看三个（早期1个+最近2个）  进入spiders目录，看到生成两个爬虫…

很多网站都使用javascript…网页内容由js动态生成,一些js事件触发的页面内容变化,链接打开.甚至有些网站在没有js的情况下根本不工作,取而代之返回你一条类似”请打开浏览器js”之类的内容. 对javascript的支持有四种解决方案:1,写代码模拟相关js逻辑.2,调用一个有界面的浏览器,类似各种广泛用于测试的,selenium这类.3,使用一…

前言 Python3 Post 传参主要用到的是urllib.request.urlopen(url,data)参数当中data。data参数主要是设置post的传参。 修改时间：20191218 天象独行 　　　　首先，在计划使用Post传参爬虫的时，我们需要确定几点： 　　1；需要访问的URL。 　　2；请求对象（使用urllib.request.Req…