爬虫

简单的HTTP POST 大家通过HTTP向服务器发送POST请求提交数据，都是通过form表单提交的，代码如下： <form method=”post”action=”http://w.sohu.com” >          <inputtype=”text” name=”txt1″>          <inputtype…

在Python中，我们通常使用urllib2中提供的工具来完成HTTP请求，例如向服务器POST数据。通常情况下，所有的数据都会进行URL编码并将Content-Type设置为application/x-www-form-urlencoded。不过在一些特殊的情况下（例如服务器限制而不允许使用这种类型的数据提交）或者上传文件的时候，则需要用到multipar…

新浪新闻内容采用的是ajax动态显示内容，通过抓包，发现如下规律： 每次请求下一页，js那一栏都会出现新的url： “http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1” “||=gatxw||=zs-pl||=mtjj&level…

1 # -*- coding:utf-8 -*- 2 #python 2.7 3 #XiaoDeng 4 #http://tieba.baidu.com/p/2460150866 5 #标签操作 6 7 8 from bs4 import BeautifulSoup 9 import urllib.request 10 import re 11 12 13 …

  1. 项目背景 在python 即时网络爬虫项目启动说明中我们讨论一个数字：程序员浪费在调测内容提取规则上的时间，从而我们发起了这个项目，把程序员从繁琐的调测规则中解放出来，投入到更高端的数据处理工作中。   2. 解决方案 为了解决这个问题，我们把影响通用性和工作效率的提取器隔离出来，描述了如下的数据处理流程图： 图中“可插拔提取器”必须很强的模块化，…

      作为酷爱编程的老程序员，实在按耐不下这个冲动，Python真的是太火了，不断撩拨我的心。       我是对Python存有戒备之心的，想当年我基于Drupal做的系统，使用php语言，当语言升级了，推翻了老版本很多东西，不得不花费很多时间和精力去移植和升级，至今还有一些隐藏在某处的代码埋着雷。我估计Python也避免不了这个问题（其实这种声音已…

    XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 1. XPath 概览     XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外…

正则表达式是用来处理字符串的强大工具，他并不是某种编程云。 正则表达式拥有独立的承受力引擎，不管什么编程语言，正则表达式的语法都是一样的。   正则表达式的匹配过程 1.一次拿出表达式和文本中的字符比较。 2.如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。 3.如果表达式中有两次或便捷，这个过程会稍微有一些不同。   下面举例一些符号…

一.HTTP协议 　　1.官方概念： 　　　　HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方的概念解释，要想彻底理解，请客观目移下侧….…

今日概要 爬虫简介 爬虫分类 robots协议 反爬机制 反反爬机制 今日详情 什么是爬虫    爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。哪些语言可以实现爬虫   1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面做的不好。    2…