爬虫
-
python 爬虫数据存入csv格式方法
python 爬虫数据存入csv格式方法 命令存储方式：scrapy crawl ju -o ju.csv 第一种方法：with open(“F:/book_top250.csv”,”w”) as f: f.write(“{},{},{},{},{}\n”.format(book_name ,rating, rating_num,comment, boo…
-
Python爬虫学习==>第五章：爬虫常用库的安装
爬虫有请求库（request、selenium）、解析库、存储库（MongoDB、Redis）、工具库，此节学习安装常用库的安装 正式步骤 Step1：urllib和re库 这两个库在安装Python中，会默认安装，下面代码示例调用： >>> import urllib >>> import urll…
-
Python 爬虫七 Scrapy
Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可…
-
Python 爬虫五 进阶案例-web微信登陆与消息发送
首先回顾下网页微信登陆的一般流程 1、打开浏览器输入网址 2、使用手机微信扫码登陆 3、进入用户界面 1、打开浏览器输入网址 首先打开浏览器输入web微信网址，并进行监控： https://wx.qq.com/ 可以发现网页中包含了一个新的url，而这个url就是二维码的来源。 https://login.weixin.qq.com/…
-
Python 爬虫二 requests模块
requests模块 Requests模块 get方法请求 整体演示一下： import requests response = requests.get(“https://www.baidu.com”) print(type(response)) print(response.status_code) print(type(response.text)…
-
Python 爬虫三 beautifulsoup模块
beautifulsoup模块 BeautifulSoup模块 BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后遍可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。 安装： pip install beautifulsoup4 在python自动化模块对bs…
-
jieba库的基本介绍及爬虫基本操作
jieba库基本介绍 jieba库的安装 pip install jieba (cmd命令行) jieba分词的三种模式 精确模式、全模式、搜索引擎模式 精确模式：把文本精确的切分开，不存在冗余单词 全模式：把文本中所有可能的词语都扫描出来，有冗余 搜索引擎模式：在精确模式基础上，对长词再次切分 爬虫（爬取哔哩哔哩视频弹幕） 导…
-
nodejs爬虫笔记(二)—代理设置
node爬虫代理设置 最近想爬取YouTube上面的视频信息，利用nodejs爬虫笔记(一)的方法,代码和错误如下 var request = require(‘request’); var cheerio = require(‘cheerio’);**** var url = ‘https://www.youtube.com ‘; function cra…
-
python 黑板课爬虫闯关-第二关
#!/usr/bin/python # -*- coding:utf-8 -*- # Author: LiTianle # Time:2019/9/24 15:36 ”’ <h3>你需要在网址后输入数字53639</h3> <h3>下一个你需要输入的数字是10963. </h3> ”’ import r…
-
爬虫-识别图形验证码-tesserocr
引入： 在学习爬虫的过程中，需要解决识别图形验证码的这一难题，网上推荐的方法都是通过tesserocr模块来实现，下面就是安装步骤以及过程中遇到的问题，记录一下。 介绍： tesserocr 是 Python 的一个 OCR 识别库 ，但其实是对 tesseract 做的一 层 Python API 封装，所以它的核心是 tesseract。 因此，在安…
