爬虫

阅读目录 一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 一 爬虫是什么 #1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？ 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起…

  目标：爬取慕课网里面一个教程的视频信息，并将其存入mysql数据库。以http://www.imooc.com/learn/857为例。   一、工具   1.安装nodejs：（操作系统环境：WiN 7 64位） 　　 在Windows环境下安装相对简单（ps:其他版本我也不太清楚，可以问度娘） 　　http://nodejs.org/download…

这关我慢慢悠悠的做了两天才搞出来，思路太重要了；下面是我最终的代码，写的很烂很low，凑合看吧。这过程中走了不少弯路，思路有问题，给自己出了不少难题，最后发现是自己想复杂了。 用到的技术： 字符串、列表、集合、字典等基础操作 requests模块的get、post、session等用法 多线程、以及获取多线程返回值   import re,requests,…

一、选取节点 常用的路劲表达式：   表达式 描述 实例   nodename 选取nodename节点的所有子节点 xpath(‘//div’) 选取了div节点的所有子节点 / 从根节点选取 xpath(‘/div’) 从根节点上选取div节点 // 选取所有的当前节点，不考虑他们的位置 xpath(‘//div’) 选取所有的div节点 . 选取当前节…

– 基于如下5点展开requests模块的学习 什么是requests模块 requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 为什么要使用requests模块 因为在使用urllib模块的时候，会有诸多不便之处，总结如下： 手动处理url编码 手动处理…

一.什么是图片懒加载? 案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etree if __name__ == “__main__”: url = ‘http://sc.c…

一.什么是scrapy? scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍,所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,持久化等)的具有很强通用性的项目模板,对于框架学习,重点是要学习其框架的特性,各个功能的用法即可. 二.安装 　　Linux： pip3 install scrapy 　　Wi…

QueryList是一个基于phpQuery的PHP通用列表采集类,得益于phpQuery，让使用QueryList几乎没有任何学习成本，只要会CSS3选择器就可以轻松使用QueryList了，它让PHP做采集像jQuery选择元素一样简单。 官方地址：https://querylist.cc/ ezSQL PHP 是用php开发的一套轻量级的数据库类，这个…

基本的读取 import urllib2http=urllib2.urlopen(“http://xxxxx”).read().decode(‘utf-8’)使用代理import urllib2proxy=urllib2.ProxyHandler({‘http’:’http://xxxxxx:xxxx’})opener=urllib2.build_opene…

说到协程，协程不是进程或线程，其执行过程更类似于子例程，或者说不带返回值的函数调用。 协程在执行过程中遇到阻塞时转而执行别的子程序，阻塞结束后再返回来接着执行。 在gevent里面，上下文切换是通过yielding来完成的   代码中用到requests,xpath 如果有不懂xpath的小伙伴 –> 传送门 requests不理解的小伙伴 –&g…