爬虫
-
搜索引擎爬虫记录器
今天在ChinaUnix在看到一段记录爬虫程序的代码： function saveRobot($dir) { $addtime = date(‘Y-m-d H:i:s’,time()); $GetLocationURL= “http://”.$_SERVER[“HTTP_HOST”].$_SERVER[‘REQUEST_URI’] ; $agent1 = $…
-
scrapydweb的初步使用（管理分布式爬虫）
https://github.com/my8100/files/blob/master/scrapydweb/README_CN.md 一.安装配置 1、请先确保所有主机都已经安装和启动 Scrapyd，如果需要远程访问 Scrapyd，则需将 Scrapyd 配置文件中的 bind_address 修改为 bind_address = 0.0.0.…
-
基于scrapy-redis的分布式爬虫
scrapy能否实现分布式爬虫? 不可以. 因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道） 二.实现分布式爬虫的方式 基于…
-
Ruby爬虫header发送cookie，nokogiri解析html数据
之前用php写过一个爬虫，同样是获取局域网的网站数据，这次我使用相同的网络环境，更低的电脑配置，使用ruby来再次爬虫，惊人的发现ruby使用自带的类库net/http爬取速度要远远超过php的curl_*函数。在循环爬取网页时，ruby的cpu占用率上达到了40-70%，而php仅仅使用了可怜的5-10%，目前还不知这其中的奥秘，理论上都是使用的单线程，差…
-
慧聪网爬虫
import requests from bs4 import BeautifulSoup import pandas as pd import gevent from gevent import monkey;monkey.patch_all() import time import re import random UA_list = [ ‘Mozill…
-
百度地图商家爬虫
import requests,json from bs4 import BeautifulSoup import pandas aa=[”’http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=direct&pcevaname=p…
-
爬虫 ajax网页（Cobra）
http://lobobrowser.org/cobra.jsp有js逻辑的页面，对网络爬虫的信息抓取工作造成了很大障碍。DOM树，只有执行了js的逻辑才可以完整的呈现。而有的时候，有要对js修改后的 dom树进行解析。在搜寻了大量资料后，发现了一个开源的项目cobra。cobra支持JavaScript引擎，其内置的JavaScript引擎是 mozill…
-
C# 爬虫批量下载文件
public static void DownFile(string url, string path, string fileName) { HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); request.UserAgent = “Mozilla/5.0 (Windows; …
-
爬虫 – 169tp图片
一、目标 爬取网址 https://www.169tp.com/gaogensiwa/ 前20页的美女图片 二、准备 通过pip安装第三方库 request、PyQuery、fake_useragent pip install request pip install PyQuery pip install fake_useragen…
-
(参考)爬虫5-爬取中国大学排名情况
最好大学网 2018大学排名 功能描述： 输入：大学排名url链接 输出：大学排名信息的屏幕输出（排名，大学名称，总分） 技术路线：requests库和bs4库 定向爬虫：仅对输入的URL进行爬取，不扩展爬取 步骤： 1、输入url网址，查看源代码，发现信息都在HTML文件中 2、打开http://www.zuihaodaxue.cn/robots.tx…
