爬虫
-
Python爬虫实例
环境介绍 python3.9mysql5.7目标网址：https://www.gushiwen.cn/另外，需要什么类，自己pip安装目录结构： gushiwen.py文件代码： import os from fake_useragent import UserAgent import requests from requests import Respon…
-
【Python爬虫错误】’scrapyd-deploy’ 不是内部或外部命令，也不是可运行的程序或批处理文件
【问题描述】在编写好 python 爬虫程序，准备部署到云服务器上时，遇到一个问题。scrapyd-deploy 1.0 -p caigou 执行上述部署的命令时，提示：’scrapyd-deploy’ 不是内部或外部命令，也不是可运行的程序或批处理文件。 【解决办法】 找到 Python 的安装路径，进入 Scripts 文件夹。 创建两个文件，scrap…
-
【原创】python爬虫获取网站数据并存入本地数据库
#coding=utf-8 import urllib import re import MySQLdb dbnumber = MySQLdb.connect(‘localhost’, ‘root’, ‘*******’, ‘dbname’) #连接本地数据库 cursor = dbnumber.cursor() def getHtml(url): page…
-
Python 002- 爬虫爬取淘宝上耳机的信息
参照：https://mp.weixin.qq.com/s/gwzym3Za-qQAiEnVP2eYjQ 一般看源码就可以解决问题啦 1 #-*- coding:utf-8 -*- 2 import re 3 import time 4 import requests 5 import pandas as pd 6 from retrying impor…
-
Scrapy学习-15-降低被识别为爬虫的方法
3种常见的方法 1. 在settings中配置禁用cookies 1 COOKIES_ENABLED = False 2. scrapy限速处理，scrapy为我们提供了扩展模块，它能动态的限制下载速度 # http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/autothrottle.html # 在se…
-
爬虫高性能相关
阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程…
-
爬虫基本原理
阅读目录 一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 一 爬虫是什么 #1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？ 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起…
-
nodejs爬虫笔记(一)—request与cheerio等模块的应用
目标：爬取慕课网里面一个教程的视频信息，并将其存入mysql数据库。以http://www.imooc.com/learn/857为例。 一、工具 1.安装nodejs：（操作系统环境：WiN 7 64位） 在Windows环境下安装相对简单（ps:其他版本我也不太清楚，可以问度娘） http://nodejs.org/download…
-
python 黑板课爬虫闯关-第四关
这关我慢慢悠悠的做了两天才搞出来，思路太重要了；下面是我最终的代码，写的很烂很low，凑合看吧。这过程中走了不少弯路，思路有问题，给自己出了不少难题，最后发现是自己想复杂了。 用到的技术： 字符串、列表、集合、字典等基础操作 requests模块的get、post、session等用法 多线程、以及获取多线程返回值 import re,requests,…
-
爬虫-Xpath语法笔记-转载
一、选取节点 常用的路劲表达式： 表达式 描述 实例 nodename 选取nodename节点的所有子节点 xpath(‘//div’) 选取了div节点的所有子节点 / 从根节点选取 xpath(‘/div’) 从根节点上选取div节点 // 选取所有的当前节点，不考虑他们的位置 xpath(‘//div’) 选取所有的div节点 . 选取当前节…
