爬虫
-
(参考)爬虫8-re库的match对象，贪婪匹配，最小匹配
import re match=re.search(r'[1-9]\d{5}’,’BIT100081′) if match: print(match.group(0)) #输出 100081 type(match)#输出 _sre.SRE_Match import re m=re.search(r'[1-9]\d{5}’,’BIT100081 VHT16…
-
【Java】Jsoup爬虫,一个简单获取京东商品信息的小Demo
Jsoup爬虫入门实战 数据问题？数据库获取，消息队列中获取中，都可以成为数据源，爬虫！ 爬取数据：（获取请求返回的页面信息，筛选出我们想要的数据就可以了！） 我们经常需要分析HTML网页，以从中提取感兴趣的信息。 开始，一个简单获取京东商品的小Demo。 eg:比如我搜索java关键字 https://search.jd.com/Search?keywor…
-
python爬虫篇之 性能相关
一.背景 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用率仍然会很高，之所以爬虫程序的串行低效，是因为爬虫程序是明显的IO密集型程序。 二.同步，异步，回调机…
-
python gevent 爬虫
”’ 协程 并发 爬网页 使用urllib 和 gevent 的时候，一般要添加一个人补丁monkey ”’ from urllib import request from gevent import monkey import gevent #把当前程序的所有 io 操作的做了标记 monkey.patch_all() def f(url): prin…
-
python爬虫：http请求头部（header）详解
本文根据RFC2616(HTTP/1.1规范),参考 http://www.w3.org/Protocols/rfc2068/rfc2068 http://www.w3.org/Protocols/rfc2616/rfc2616 http://www.ietf.org/rfc/rfc3229.txt 通常HTTP消息包括客户机向服务器的请求消息和服务器向客户…
-
Python 爬虫 (三) – Socket 网络编程
原文出处： Andrew_liu python的网络变成比c语言简单许多, 封装许多底层的实现细节, 方便程序员使用的同时, 也使程序员比较难了解一些底层的东西, 我觉得学网络编程还是用c语言更好一点. 写这篇博文, 也希望回顾并整理一下以前学过的c语言和linux下一些东西, 会将一些Linux网络编程的函数和Python网络变成函数做一个简单的对照…
-
python | 爬虫笔记 – 学习路线
总体学习路径： 1、学习 Python 包并实现基本的爬虫过程 2、了解非结构化数据的存储 3、学习scrapy，搭建工程化爬虫 4、学习数据库知识，应对大规模数据存储与提取 5、掌握各种技巧，应对特殊网站的反爬措施 6、分布式爬虫，实现大规模并发采集，提升效率 · 目标驱动 · 在一开始的时候，尽量不要系统地去啃一些东西，找一个实际的项目（开始可以从豆…
-
python | 爬虫笔记（四）- 解析库使用
本节内容为解析库的使用，内容涵盖：XPath、BeautifulSoup和PyQuery基础内容。 · 正则表达来提取比较繁琐。 · 对于网页的节点来说，它可以定义 id、class 或其他的属性，而且节点之间还具有层次关系，在网页中可以通过 XPath 或 CSS 选择器来定位一个或多个节点，进而提取相关内容或属性。 · 解析库包括：LXML、Beaut…
-
python | 爬虫笔记（三）- 基本库使用
本节内容为基础库的使用，内容涵盖：Urllib库基本使用，Requests库基本使用以及正则表达式基础。 3.1 Urllib 内置http请求库 request请求模块，error异常处理模块，parse工具模块，robotparser 识别网站robots.txt，识别哪些可以爬 3.1.1 发送请求 1- urlopen urllib.request …
-
python | 爬虫笔记（二）- 爬虫基础
2.1 HTTP原理 1、URI、URL 统一资源标识符，统一资源定位符 协议+路径+资源名称 URL 是 URI 的子集，URI 还包括一个子类叫做 URN，它的全称为 Universal Resource Name，即统一资源名称。 URN 只命名资源而不指定如何定位资源，如 urn:isbn:0451450523，它指定了一本书的 ISBN，可以唯一标…
