urllib 库

urllib.request库

re库

以上三个基本上python3内置

 

剩下的用第三方pip安装

1、pip install requsets

 >>>import requests
 >>>requests.get('http://www.baidu.com')

返回响应status

 

2、pip install selenium（驱动浏览器、自动化测试）

大多数网页存在js渲染，普通requests无法读，可以通过驱动浏览器渲染读取

>>>import selenium
>>>from selenium import webdriver
>>>driver=webdriver.Chrome()

报错，缺少浏览器驱动

3、安装浏览器驱动（chromedriver）

//（版本对应表）

将解压的exe文件移动到pip执行目录中（大概率是script文件夹）

命令行执行chromedriver，成功，继续2的代码

>>>import selenium
>>>from selenium import webdriver
>>>driver=webdriver.Chrome()

成功调用chrome

>>>driver.get('http://www.baidu.com')
>>>driver.page_source//打印渲染过的源代码

4、phantomjs安装

3步骤的渲染每次都需要掉用浏览器驱动，比较多余，可以用phantomjs来省略

下载解压得到exe，添加到环境变量中



>>>from selenium import webdriver
>>>driver=webdriver.PhontomJS()
>>>driver.get('http://www.daidu.com')
driver.page_source//直接得到渲染过的源代码




5、pip install lxml


此处介绍另一种直接安装‘轮子’的方法，下载对应whl文件


命令行执行 pip install ***（***为轮子的路径）即可


 


6、beautifulsoup安装(需要先安装5)


pip install beautifulsoup4




>>> from bs4 import BeautifulSoup
>>> soup=BeautifulSoup('<html></html>','lxml')
>>> print(soup)
<html></html>




7、pyquery库的安装 


pip install pyquery




>>> from pyquery import PyQuery as pq
>>> doc=pq('<html><h1>你好</h1></html>')
>>> result=doc('html').text()//此处调用的jquery的语法
>>> result
'你好'




8、mongdb


安装好后在bin文件夹下面（不是里面）新增‘logs’文件夹，内新增文件mongo.log。。。


 


9、redis数据库




>>> import redis
>>> r= redis.Redis('localhost',6379)
>>> r.set('name','bob')
True
>>> r.get('name')
b'bob'
>>>




10、flask（web库,设置代理）


pip install flask


 


11、django


 


12、jupyter（可以在线执行python代码的工具）


pip install jupyter




>>>import jupyter
>>>jupyter notebbok//跳转浏览器