爬虫

在爬虫中经常会用到 urllib.request.urlopen(url）来打开网页的操作 比如获取页面状态返回值 问题是urlopen 在GET请求时 发送的User-Agent 上会发送Python urllib的版本，看下面抓包   GET /xxx.do?p=xxxxxxxx HTTP/1.1 Accept-Encoding: identity Ho…

在使用python抓取网页图片的时候，偶尔会遇到403错误。这可能是因为服务器禁止了爬虫。这种情况下如果想继续爬取图片的时候，就需要在请求中加入header信息，伪装成浏览器。 如果你使用的是python3.4版本，那么如果你想在网上找到在请求中加入header的方法，估计要费些周折。经过一番实验，确定下面的代码是可以的。 ”’ Created on 20…

from selenium import webdriverimport timeimport refrom bs4 import BeautifulSoup #************************************************************************#定义login函数def login(usernam…

# requests模块来请求页面# lxml模块的html构建selector选择器(格式化响应response)# from lxml import html# import requests # response = requests.get(url).content # selector = html.formatstring(response) #…

网络搜索引擎的构架 一个专业的网络搜索引擎至少包含3部分即抓取、处理和搜索。下面是它们的一般功能： 抓取：抓取（蜘蛛、爬虫、crawler、spider等）程序负责爬行特定网络（也可能是整个网络），把网络上的页面和其它需要的文件下载到本地来。目前的难点是web2.0的普及导致的js分析和身份认证等问题。 处理：处理（分类、信息抽取、数据挖掘、classify…

  scrapy可以在spiders目录下建立多个爬虫文件，常用的启动方式：   方法一  在包含 scrapy.cfg 的目录下， 启动命令为： scrapy crawl yourspidername 　　 方法二  调用cmdline模块来启动scrapy 在与settings.py文件同级的目录下新建执行文件， 如 run.py  。 以下有两种写法：…

暑假放假在家没什么事情做，所以在学习了爬虫，在这个博客园里整理记录一些学习的笔记。 构建表单数据（以http://www.iqianyue.com/mypost 这个简单的网页为例） 查看源代码，发现name属性值为“name”，密码对应的输入框中，name属性值为“pass”。因此构建表单的数据中要包含两个字段，字段名为“name”，“pass”，字段值设…

我的git地址唯空自取 源码请上git上下载，包含所需jar包   接上文 浏览一部分图片之后发现了个问题，图片还是太小普遍不超过300k，而且很多图片上面都有另外一个网站的水印 果断点进去看看，果然不一样。图片全是高清的 然后知道了原来那个应用里面的图片全是从这个网站里面爬的，而且还都是压缩过的文件，太无耻了。。。 找到高清图该下手了 于是仿照之前那个模式…

接上文 找到接口之后连续查看了几个图片，结果发现图片都很小，于是用手机下载了一个用wireshark查看了一下url 之前接口的是 imges_min下载的时候变成了images soga，知道之后立马试了一下 果然有效，   但是总不能一个一个的查看下载吧 于是连夜写了个java爬虫 下面是代码 package com.feng.main; import …