爬虫

有个问题了：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 　　方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 　　方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 CrawlSpider 一.简介 　　CrawlSpider其实是Spider的一…

Python爬虫之selenium库使用详解  本章内容如下：　　　　什么是Selenium　　　　selenium基本使用　　　　声明浏览器对象　　　　访问页面　　　　查找元素　　　　多个元素查找　　　　元素交互操作　　　　交互动作　　　　执行JavaScript　　　　获取元素属性　　　　获取文本值　　　　Frame　　　　等待　　　　浏览器的前进和后退…

本文根据RFC2616(HTTP/1.1规范),参考 http://www.w3.org/Protocols/rfc2068/rfc2068 http://www.w3.org/Protocols/rfc2616/rfc2616 http://www.ietf.org/rfc/rfc3229.txt 通常HTTP消息包括客户机向服务器的请求消息和服务器向客户…

在开始后面的内容之前，先来解释一下urllib2中的两个个方法：info and geturl  urlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl() 1.geturl()： 这个返回获取的真实的URL，这个很有用，因为urlopen(或者opener对象使用的)或许会有重定向。获取的UR…

  1 from urlparse import urlparse 2 3 parsed = urlparse(‘url地址’) 4 5 print ‘scheme :’+ parsed.scheme #网络协议 6 7 print ‘netloc :’+ parsed.netloc #服务器位置（也可呢能有用户信息） 8 9 print ‘path :’+…

          BeautifulSoup除了可以查找和定位网页内容，还可以修改网页。修改意味着可以增加或删除标签，改变标签名字，变更标签属性，改变文本内容等等。 每一个标签在BeautifulSoup里面都被当作一个标签对象，这个对象可以执行以下任务： 修改标签名 修改标签属性 增加新标签 删除存在的标签 修改标签的文本内容 修改标签的名字 只需要修改…

简单的HTTP POST 大家通过HTTP向服务器发送POST请求提交数据，都是通过form表单提交的，代码如下： <form method=”post”action=”http://w.sohu.com” >          <inputtype=”text” name=”txt1″>          <inputtype…

在Python中，我们通常使用urllib2中提供的工具来完成HTTP请求，例如向服务器POST数据。通常情况下，所有的数据都会进行URL编码并将Content-Type设置为application/x-www-form-urlencoded。不过在一些特殊的情况下（例如服务器限制而不允许使用这种类型的数据提交）或者上传文件的时候，则需要用到multipar…

新浪新闻内容采用的是ajax动态显示内容，通过抓包，发现如下规律： 每次请求下一页，js那一栏都会出现新的url： “http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1” “||=gatxw||=zs-pl||=mtjj&level…

1 # -*- coding:utf-8 -*- 2 #python 2.7 3 #XiaoDeng 4 #http://tieba.baidu.com/p/2460150866 5 #标签操作 6 7 8 from bs4 import BeautifulSoup 9 import urllib.request 10 import re 11 12 13 …