爬虫

  1. 项目背景 在python 即时网络爬虫项目启动说明中我们讨论一个数字：程序员浪费在调测内容提取规则上的时间，从而我们发起了这个项目，把程序员从繁琐的调测规则中解放出来，投入到更高端的数据处理工作中。   2. 解决方案 为了解决这个问题，我们把影响通用性和工作效率的提取器隔离出来，描述了如下的数据处理流程图： 图中“可插拔提取器”必须很强的模块化，…

      作为酷爱编程的老程序员，实在按耐不下这个冲动，Python真的是太火了，不断撩拨我的心。       我是对Python存有戒备之心的，想当年我基于Drupal做的系统，使用php语言，当语言升级了，推翻了老版本很多东西，不得不花费很多时间和精力去移植和升级，至今还有一些隐藏在某处的代码埋着雷。我估计Python也避免不了这个问题（其实这种声音已…

    XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 1. XPath 概览     XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外…

正则表达式是用来处理字符串的强大工具，他并不是某种编程云。 正则表达式拥有独立的承受力引擎，不管什么编程语言，正则表达式的语法都是一样的。   正则表达式的匹配过程 1.一次拿出表达式和文本中的字符比较。 2.如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。 3.如果表达式中有两次或便捷，这个过程会稍微有一些不同。   下面举例一些符号…

一.HTTP协议 　　1.官方概念： 　　　　HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方的概念解释，要想彻底理解，请客观目移下侧….…

今日概要 爬虫简介 爬虫分类 robots协议 反爬机制 反反爬机制 今日详情 什么是爬虫    爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。哪些语言可以实现爬虫   1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面做的不好。    2…

1.urllib2简介 urllib2的是爬取URL（统一资源定位器）的Python模块。它提供了一个非常简单的接口，使用urlopen函数。它能够使用多种不同的协议来爬取URL。它还提供了一个稍微复杂的接口，用于处理常见的情况 – 如基本身份验证，cookies，代理等。 2.抓取URLs 使用urlib2的简单方式可以像下面一样： import urll…

以下内容转自CNBLOG：http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html 1. 正则表达式基础 1.1. 简单介绍 正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于…

在进行爬虫实践时，我已经爬取到了我需要的信息，那么最后一个问题就是如何把我所爬到的数据存储到Excel中去，这是我没有学习过的知识。 如何解决这个问题，我选择先百度查找如何解决这个问题。 百度查到的方法千万种，我先选择看得懂的文章下手，不断尝试，最后解决了问题 那么到底如何解决这个问题呢？ 解决这个问题要用到三个模块分别是xlwt、xlrd和xlutils …

案例来源于北京大学出版社的《python 爬虫与反爬虫开发》 1.对于ssl验证问题的解决 采取firefox打开eos whales，点击小锁标志，查看证书，下载pem证书，然后利用openssl命令将pem证书转变为cer证书，并安装到本机中，之后使用AIOwebsocket的方法，就不会报出ssl验证失败的问题。 因为在Aiowebsocket的查询证…