爬虫
-
Python爬虫bs4解析实战
from bs4 import BeautifulSoup html = “”” <table class=”tablelist” cellpadding=”0″ cellspacing=”0″> <tr class=”h”> <td class=”l” width=”374″>职位名称</td> <td…
-
Python爬虫re解析实战
“””古诗文爬取””” import requests import re def parse_page(url): rep = requests.get( url=url, headers={“user-agent”: “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like …
-
Python下selenium的实战和普通爬虫的对比
“””普通爬取数据爬虫，只要有反爬，cookie就不是很稳定。并不利于数据爬取””” import requests import re from lxml import etree headers = { “User-Agent”: “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML…
-
20171012 动态爬虫爬取预约挂号有号信息
— 目标：针对医院有些医生有预约号不确定时间点有号，晚了就挂不到了，能有个监测爬去，有号就提醒的机制。 可能会用到：scrapy + PhantomJS + Selenium 环境： windows10 + vs 2015 + python 2.7 安装 : scrapy 创建项目： 命令提示符 界面 使用语句 scrapy startproject s_…
-
python爬虫（六） Cookie
什么是Cookie 在网站中，http的请求通常是无状态的（第一个和服务器连接并且登录之后，此时服务器知道是哪个用户，但是当第二次请求服务器时，服务器依然不知道当前请求的是哪个用户），cookie就是为了解决这个问题，第一次登录服务器后，服务器会返回与刚刚用户相关的数据（也就是cookie）给浏览器，浏览器将cookie保存在本地，当这个用户第二次请求服务器…
-
python爬虫（八） requests库之 get请求
requests库比urllib库更加方便，包含了很多功能。 1、在使用之前需要先安装pip，在pycharm中打开： 写入pip install requests命令，即可下载 在github中有关于requests库的介绍，网址：https://github.com/requests/requests 2、Get请求 response=re…
-
python爬虫（七） mozillacookiejar
MozillaCookiejar 保存百度得Cookiejar信息： from urllib import request from urllib import parse from http.cookiejar import MozillaCookieJar # 保存在本地 cookiejar=MozillaCookieJar(‘cookie.txt’) …
-
python爬虫学习心得：中国大学排名(附代码)
今天下午花时间学习了python爬虫的中国大学排名实例，颇有心得，于是在博客园与各位分享 import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url,timeout = 30) r.raise_for_stat…
-
3 爬虫cookie的处理办法
cookie的应用和处理 – cookie:服务器端记录客户端的相关状态 – 处理cookie的方式： – 手动处理：不建议 页面找隐藏的标签,获取value – 自动处理：会话对象Session，该对象可以像requests模块一样进行网络请求的发送（get，post）。session进行的请求发送可以自动携带和处理cookiecookie/session…
-
python程序爬虫总是崩溃
写的一个爬虫程序，主要用到以下库。但是伴随着代码增多，功能增多。经常性的程序崩溃现象，逐渐显现。 pyqt5_5.8.2，requests.get，selenium+chorme，threading.Thread，queue.Queue 多次完善代码与程序，甚至已经尝试了各种python版本，与pyqt5版本。甚至pyqt5-tools的版本也换了，都无法…
