爬虫
-
关于 使用python向qq好友发送消息(对爬虫的作用—-当程序执行完毕或者报错无限给自己qq发送消息，直到关闭)
以前看到网上一些小程序，在处理完事物后会自动发送qq消息，但是一直搞不懂是说明原理。也在网上找过一些python登陆qq发送消息的文字，但是都太复杂了。今天偶然看到一篇文章，是用python调用win32的接口发送qq消息的，觉得不错，就先记录下来，日后肯定会用得上这些小工具。 发送qq消息要求已经登陆qq，而且qq的窗口是独立的，现在新版的qq一般都是将所…
-
爬虫要具备的准则：
不能犯法： 一定要遵循Robots协议： Robots协议（爬虫协议）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。该协议是国际互联网界通行的道德规范，虽然没有写入法律，但是每一个爬虫都应该遵守这项协议。下面以淘宝网的…
-
爬虫中遇到的问题汇总
——————3.10———————- 关于爬取时，网页编码不是utf-8，而导致 lxml 输出中文时乱码的解决办法 用requests.get拿到response，response.content是bytes的内容，所以可以直接传给 lxml， body = etree.HTML(response.co…
-
Python:requests库、BeautifulSoup4库的基本使用（实现简单的网络爬虫）
一、requests库的基本使用 requests是python语言编写的简单易用的HTTP库，使用起来比urllib更加简洁方便。 requests是第三方库，使用前需要通过pip安装。 pip install requests 1.基本用法： import requests #以百度首页为例 response = requests.get(‘ht…
-
Python爬虫使用MD5加密的坑
由于公司的业务需要，需要爬取很多的国外网站图片，然后兄弟我一路正则杀过去，总共匹配到658张链接，心里美滋滋开始写下载的代码。然后就有了这次坑的记录。 首先这是我查到的链接数量 然后爬虫跑完后，美滋滋准备去看图片的时候，发现了 然后兄弟瞬间傻眼，卧槽？难道有反扒？继续测试,加了状态看看 兄弟开了100进程，瞬间跑完 一看控制台，全程没有输出那个else里的打…
-
Python爬虫-爬取扇贝单词(Xpath)
爬取扇贝单词 ====================== ================================================================================== <tr> <td> </td> <td> </td> <…
-
python爬虫必学标准模块——urllib和urllib3详解
urllib是Python中请求url连接的官方标准库，在Python2中主要为urllib和urllib2，在Python3中整合成了urllib。urllib中一共有四个模块，分别如下： request：主要负责构造和发起网络请求,定义了适用于在各种复杂情况下打开 URL (主要为 HTTP) 的函数和类 error：处理异常 parse：解析各种数据…
-
网络爬虫之爬取百度新闻链接
1.安装beauitfulsoup4 cmd-> pip install beautifulsoup4python提供了一个支持处理网络链接的内置模块urllib,beatuifulsoup是用来解析html 验证安装是否成功 2. pycharm配置 3.代码如下 import urllib.request…
-
Python爬虫之queue线程安全实战
import requests import os import re from lxml import etree from urllib import request def get_detail(url): headers = { “User-Agent”: “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKi…
-
Python爬虫lxml解析实战
XPath常用规则 / 从当前节点选取直接子节点 // 从当前节点选取子孙节点 . 选取当前节点 .. 选取当前节点的父节点 @ 选取属性 * 通配符，选择所有元素节点与元素名 @* 选取所有属性 [@attrib] 选取具有给定属性的所有元素 [@attrib=’value’] 选取给定属性具有给定值的所有元素 [tag] 选取所有具有指定元素的直接子节点…
