爬虫

1 import xlsxwriter 2 3 #创建文件，并创建一个表格 4 workbook=xlsxwriter.Workbook(‘demo.xlsx’) 5 worksheet=workbook.add_worksheet() 6 7 #在指定的位置写入数据 8 worksheet.write(“A1″,”陈果子”) 9 worksheet.wri…

第一点是 js 进行了加密, 通常是需要进行一些参数传递,比如有道翻译,那种加密很简单,只需要在进行推演就可以知道加密的数值是什么样子的, 百度翻译sign的数值进行了js函数加密,如果是不懂js,那么很难进行反加密 解决方法有 通过selenium 其他途径,app,web      第二种则是动态字体文件库 现在已知是猫眼和汽车之家帖子都进行了动态字体库…

MongoDB安装配置： 　　在安装配置MongoDB的过程中遇到了很多问题，现在重新梳理一遍安装流程、遇到的问题及其解决方法 　　系统版本：Windows 10 　　MongoDB版本：4.2.1 　　1.下载地址：https://www.mongodb.com/download-center/community 　　2.安装流程： 　　   　　在遇到这…

一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium import webdriver browser=webd…

需求： 爬取虎嗅网站的所有新闻，并保存到数据库中。 http://www.huxiu.com 技术： 1、爬虫 获取服务器的资源（urllib） 解析html网页（BeautifulSoup） 2、数据库技术 数据库 MySQLdb 业务逻辑的分析： （1）、虎嗅网站的新闻，包括首页和分页信息（下一页） （2）、需要从首页的资源和分页的资源中获取每个新闻的u…

　　　　上一篇已经将数据抓到手了，那么来分析一下吧。这里是用python简单处理数据，之后用EXCEL 作图，没错，，，还是EXCEL。其实分析这些数据有更好的工具，比如R。。。不过目前不会啊，就先EXCEL凑活着用吧。 　　　　这里一共分析了三个方面：TOP10 word；时间与发帖量的关系，日期与发帖量的关系。 　　　　PROJECT1：TOP10 WO…

1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # asyncio爬虫、去重、入库 4 5 import asyncio 6 import re 7 8 import aiohttp 9 import aiomysql 10 from pyquery import PyQuery 11 from aioh…

Pexel上有大量精美的图片，没事总想看看有什么好看的自己保存到电脑里可能会很有用 但是一个一个保存当然太麻烦了 所以不如我们写个爬虫吧(๑•̀ㅂ•́)و✧ 一开始学习爬虫的时候希望爬取pexel上的壁纸，然而自己当时不会 上周好不容易搞出来了，周末现在认真地总结一下上周所学的内容 也希望自己写的东西可以帮到爬虫入门滴朋友！   Before 同样的，我们在…

  网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 Requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另…

selenium 是一个Web自动化测试的软件包，可以用于自动测试Web应用，也可以用于当作简单的爬虫制作工具， 这是一个简单的demo，用于爬取Google APP Store中的一个类别:   # -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.co…