爬虫
-
python爬虫之BeautifulSoup
# -*- coding: UTF-8 -*- import re from bs4 import BeautifulSoup import requests import codecs import sys reload(sys) sys.setdefaultencoding(‘utf8’) def mei_url(): url = ‘http://mdl…
-
pyqt5 + pyinstaller 制作爬虫小程序
环境:mac python3.7 pyqt5 pyinstaller ps: 主要是熟悉pyqt5, 加入了单选框 输入框 文本框 文件夹选择框及日历下拉框 效果图: pyqt5 主程序文件 # -*- coding: utf-8 -*- # @Author: Mehaei # @Date: 2019-07-10 13:02:56 # @Last …
-
NodeJs编写小爬虫
一，爬虫及Robots协议 爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 robots.txt是一个文本文件，robots是一个协议，而不是一个命令。robots.txt是爬虫要查看的第一个文件。robots.txt文件告诉爬虫在服务器上什么文件是可以被查看的，搜索机器人就会按照该文件中的…
-
php爬虫爬取数据并存储至数据库
准备：php环境，phpspider请自行下载下载地址：https://github.com/owner888/phpspider文档：https://doc.phpspider.org/configs-members.html在phpspider，demo文件里面新建一个php文件，my_spider.php，代码复制进去，在命令函下执行php my_sp…
-
Python爬虫 爬虫必备—BeautifulSoup
1. python3中只要记住：urllib , requests 两个库 GET一个URL >>> import urllib.request >>> with urllib.request.urlopen(‘http://www.python.org/’) as f: … print(f.read(300))…
-
记录一次爬虫报错：Message: Failed to decode response from marionette
由于标题中的错误引发： Message: Tried to run command without establishing a connection 解释： 先说一下我的爬虫架构，用的是firefox+selenium，上面的那个错误是因为浏览器退出之后，爬虫还要浏览器去执行一些命令，所以才报上面的错误，那第二个问题来了： 浏览器为什么会自动crash（崩…
-
爬虫项目总结
1.项目架构 2.详细技术点 1.解析，（依赖注入） 2，使用queue队列实现循环抓取 3.实现优先级队列并提取接口 4.使用log4j实现配置检查及日志打印 5.实现多线程爬虫并提取接口 6.实现url调度器 7.使用queue队列实现url随机榨取 8.使用redis队列实现url 随机抓取 10.使用httpclient 实现模拟登录 11.使用cu…
-
Scrapy之start_urls、爬虫中间件之深度，优先级以及源码流程
start_urls内部原理 步骤 1 scrapy引擎来爬虫中取起始的url: 2 1.调用start_requests并获取返回值 3 2.v = iter(返回值) 4 3. 5 req1 = 执行v.__next__() 6 req2 = 执行v.__next__() 7 req3 = 执行v.__next__() 8 4.全部放到调度器中 编写…
-
Scrapy之下载中间件与爬虫中间件
执行流程 1.引擎找到要执行的爬虫，并执行爬虫的start_requests方法，并得到一个迭代器 2.迭代器循环时候会获取到Request对象，而request对象中封装了要访问的url和回调函数 3.将所有的request对象(任务)放到调度器中，用于以后被下载器下载 4.下载器去调度器中获取要下载任务（就是Request对象），下载完…
-
爬虫-ip代理
代理(proxy) 代理服务器:实现请求转发,从而可以实现更换请求的ip地址 代理的匿名度: 透明:服务器知道你使用了代理并且知道你的真实ip 匿名:服务器知道你使用了代理,但是不知道你的真实ip 高度匿名(高匿):服务器不知道你使用了代理,更不知道你的真实ip 代理的类型: http:该类型的代理只可以转发http协议的请求 https:只可以转发http…
