爬虫
-
【scrapy网络爬虫】之五 CrawlSpider操作 【python网络爬虫】之requests相关模块
有个问题了:如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话,有几种实现方法? 方法一:基于Scrapy框架中的Spider的递归爬取进行实现(Request模块递归回调parse方法)。 方法二:基于CrawlSpider的自动爬取进行实现(更加简洁和高效)。 CrawlSpider 一.简介 CrawlSpider其实是Spider的一…
-
Python爬虫之selenium库使用详解
Python爬虫之selenium库使用详解 本章内容如下: 什么是Selenium selenium基本使用 声明浏览器对象 访问页面 查找元素 多个元素查找 元素交互操作 交互动作 执行JavaScript 获取元素属性 获取文本值 Frame 等待 浏览器的前进和后退…
-
python爬虫:http请求头部(header)详解
本文根据RFC2616(HTTP/1.1规范),参考 http://www.w3.org/Protocols/rfc2068/rfc2068 http://www.w3.org/Protocols/rfc2616/rfc2616 http://www.ietf.org/rfc/rfc3229.txt 通常HTTP消息包括客户机向服务器的请求消息和服务器向客户…
-
python爬虫:Python2.7 Opener和Handler的使用和实例
在开始后面的内容之前,先来解释一下urllib2中的两个个方法:info and geturl urlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl() 1.geturl(): 这个返回获取的真实的URL,这个很有用,因为urlopen(或者opener对象使用的)或许会有重定向。获取的UR…
-
python爬虫:urlparse模块拆分url
1 from urlparse import urlparse 2 3 parsed = urlparse(‘url地址’) 4 5 print ‘scheme :’+ parsed.scheme #网络协议 6 7 print ‘netloc :’+ parsed.netloc #服务器位置(也可呢能有用户信息) 8 9 print ‘path :’+…
-
python爬虫:使用BeautifulSoup修改网页内容
BeautifulSoup除了可以查找和定位网页内容,还可以修改网页。修改意味着可以增加或删除标签,改变标签名字,变更标签属性,改变文本内容等等。 每一个标签在BeautifulSoup里面都被当作一个标签对象,这个对象可以执行以下任务: 修改标签名 修改标签属性 增加新标签 删除存在的标签 修改标签的文本内容 修改标签的名字 只需要修改…
-
python爬虫:Multipart/form-data POST文件上传详解
简单的HTTP POST 大家通过HTTP向服务器发送POST请求提交数据,都是通过form表单提交的,代码如下: <form method=”post”action=”http://w.sohu.com” > <inputtype=”text” name=”txt1″> <inputtype…
-
python爬虫:multipart/form-data格式的POST实体封装与提交
在Python中,我们通常使用urllib2中提供的工具来完成HTTP请求,例如向服务器POST数据。通常情况下,所有的数据都会进行URL编码并将Content-Type设置为application/x-www-form-urlencoded。不过在一些特殊的情况下(例如服务器限制而不允许使用这种类型的数据提交)或者上传文件的时候,则需要用到multipar…
-
python爬虫:抓取新浪新闻内容(从当前时间到之前某个时间段),并用jieba分词,用于训练自己的分词模型
新浪新闻内容采用的是ajax动态显示内容,通过抓包,发现如下规律: 每次请求下一页,js那一栏都会出现新的url: “http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1” “||=gatxw||=zs-pl||=mtjj&level…
-
python爬虫:用BeautifulSoup抓取div标签
1 # -*- coding:utf-8 -*- 2 #python 2.7 3 #XiaoDeng 4 #http://tieba.baidu.com/p/2460150866 5 #标签操作 6 7 8 from bs4 import BeautifulSoup 9 import urllib.request 10 import re 11 12 13 …