前言
废话不多说，直接干，再来猿人学19题
分析
看了下，没有加密参数：
然后拿着接口直接请求：
有结果的，不会吧，这么简单？没有加密参数？这次这么草率？
用代码访问，唉，卧槽，就是他妈的不行，果然有猫腻
换requests:
确实不行，
用postman看看，可以的
这他妈就很秀啊，上一次这种感觉还是http2.0的时候，但是上面我已经用了httpx了啊，也不行，说明就不是http2.0了。
这种无力感，接着又想到上次验证请求头，把请求头写死看看：
果然也不是，那肯定，相同的反爬策略应该不会再考一次，
好骚啊，就是无法正常返回结果，那他肯定验证了某个东西，怎么办，再看下，用curl呢:
也不行，我直接在浏览器的编辑脚本界面snippets里执行，发现可以有结果
那就只有抓包看看了，当我打开charles抓包时，有这个提示：
然后看抓包软件拿到的东西，这个问题，在抓包软件里终于复现了
那就看下到底它检测了什么东西，能够识别抓包工具和爬虫脚本了
后续我接着研究，发现这个网站好像针对性的对mac端做了检测，因为我windows端开抓包工具是可以抓到的：
charles:
fiddler:
然后，我来了个神操作，这他妈出来了，好骚啊
同时，上面的操作，我是开着fiddler可以的，把fiddler一关再请求，又不行了：
继续开上fiddler，然后把请求头放开：
那说明验证的并不是请求头了，那此时你会不会想，一直开着fiddler然后请求，得出结果并提交就完了，但是这样一点都不符合我们程序员的套路，那以后遇到这种网站，而项目要部署在服务器上的，你不可能一边开着个抓包工具，一边请求吧，况且服务器用的都是linux，没记错，fiddler没有linux版啊
所以，还得是从原理上入手
那么思考下，开了fiddler跟没开fidder有什么区别，最容易想到的代理证书的区别。fiddler伪造证书，有关中间人攻击的理论就不说了，详细的可以百度
那还有个区别，利用中间人攻击原理，让服务端以为fiddler是客户端，而不再是爬虫脚本
到底是哪个原因？
还是先上个wireshark抓包吧：
需要用最新版的wireshark才能看到ja3指纹，因为ja3指纹是基于tls1.3的，旧版的wireshark只能看到tls1.2及以下的
最新版下载地址：https://www.wireshark.org/download.html
这是浏览器请求一个接口的数据
这是爬虫程序请求一次接口的数据：
卧槽，一眼就能看出来，这也太大区别了吧，所以，接下来就是分析区别了
先看浏览器的：
选中那个【client Hello】包，展开最后这个
展开
滑到最后，这他妈不就是ja3指纹算法吗
卧槽了
有关ja3指纹的，可以看这篇文章：为什么随机 IP、随机 UA 也逃不掉被反爬虫的命运
这好骚啊，也就是说，他用了ja3指纹，识别到了你用的python的请求库去请求，所以直接给你返回【page not found】。
那么怎么办？ja3指纹也伪造吗？按照理论，是不是把浏览器的指纹也伪造就可以了？那么现在的关键点来了，怎么找到浏览器的指纹呢？
再看，最后有个字段，b9开头的，不知道是不是，
复制-值
b9a4540c16ca6a3812040d3227049f61
现在再看下python脚本的指纹：
找到hello包：
看到这个，记一下，
总结了下不同机制出现的ja3指纹
所以，从这个就可以很明显的发现不同了，长度啊，明显很长的都是不通过的，为什么那么长，说明底层的加密算法用的不一样啊，这就是原因了
那现在这个关键的问题，怎么做到跟浏览器一样啊，以前我们写爬虫，伪造跟浏览器一样，改了请求头就行了，可现在这个指纹，怎么改啊
先看一篇文章，一个黑客大佬写的，里面介绍了4种方法：点我
1.访问ip指定host绕过waf
上文提到过，套了阿里云waf的服务器cname解析到了yundunwaf3.com的域名，这种情况可以直接ping 域名获取真实ip，然后请求地址设置为真实ip 在 HTTP Header的Host字段中指定域名即可绕过waf的防护
当然这种方式如果目标服务器开启了强制域名访问会失效
2.代理中转请求
在本地启动代理服务器，如Burp Suite，发起http请求时指定代理服务器为burp的地址，让burp来进行TLS握手，算是一种曲线救国的方法
3.更换request工具库
Requests其实是对urllib3的一个封装，那python有没有不用urllib的http request库呢？
翻了翻aiohttp的源码发现貌似并没有用urllib3，抓包发现tls指纹和requests也有着明显的差异
实际测试aiohttp确实没有被拦截
4.魔改requests
从根本上解决问题，debug跟踪到了几处可能可以修改TLS握手特征的代码
/usr/local/lib/python3.9/site-packages/urllib3/util/ssl_.py
4个方法里，第一个，不行，我直接把域名替换成了host，仍然如此，说明不是cdn式的防护，第二个，开代理，这个我在windows+fiddler可以，mac下不行，这里也就解释上面为啥开fiddler可行，第三个，我换了httpx和aiohttp，都不行。
那就只剩第四个方法了，而，前面介绍ja3指纹的博主，也说了怎么魔改ja3指纹的：点我
先把代码拷贝下来看，执行看看能不能用：
发现不行，因为其实目标不一样，上面的原贴的代码是为了欺骗对方，我不是同一个电脑发出的请求，而是多个，所以用了random.shuffle来乱序算法，达到每次出来都不是同一个ja3指纹，而这里我们要的是欺骗服务器，我们用的是浏览器访问，而不是爬虫程序访问
看ja3指纹的对比就知道，差太多了
所以并不是说青南大佬（上面介绍ja3的国内大佬，公众号未闻code那个）的代码不行，只是不符合这里的场景
说白了就是指纹长度过长了，而且用random.shuffle，改变了一些算法顺序，那这第4个方法也不行吗?
那就无解了啊，查阅了大量资料，好多文章都是直接复制粘贴青南大佬的那篇，剩下的都是些介绍ja3原理的，找到个py库：pyja3，点我 我还以为有人写了个破解库呢，给我整的老激动了，结果仔细一看就是说可以从pcap文件里提取出ja3指纹字符串出来，此时此刻对于这里遇到的问题来说，没有用
相关破解和绕过的，只找到这一篇：点我，里面的代码跟青南大佬的代码几乎没区别，唯一的就是没有对加密算法进行random.shuffle。
得，继续看源码吧，看能不能找到点灵感，看下最原始的ssl的加密算法部分，以下这个是源码
我突然想到，那行，既然就是长度不一样，长度不一样的原因就是用的算法不一样了，那我肯定没法再加算法，我删点试试呢？
我把圈出来的删了
同时把__init__部分删了，因为模板场景不同
执行，还是不行：
当我开始一个个测试，一会儿删前面，一会儿删后面的，一会儿随机删一个或者两个
反正最后的结果都是不行，此时，根据我的经验，我突然想起，以前搞过的那些js加密过后很长的加密字段，都是用了很多次加密算法得算法得出来的，所以我大胆猜测，还是加密算法用的太多了，我直接删好几个加密算法看看：
我直接把下面选中都删了：
如下，一执行，发现，可行了
再看指纹：
虽然搞出来了，有点激动，但是别急哈，从长远角度考虑，先看ja3指纹，确实变短了好多，不过已经比浏览器还短了，那假如某个网站要验证长度不能比浏览器的海长呢？ 所以一定删到尽量跟浏览器一致
最后结果我的测试，把选中的都删了：
这样就可以了：
CIPHERS = (
'ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:RSA+3DES:!aNULL:'
'!eNULL:!MD5'
)
再看ja3指纹，最后的长度已经跟浏览器很接近了
感觉还是有点长，再删一个：
看指纹，此时感觉又比浏览器还短了，那不行，就还是上面那个了
python调试
代码：
import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.ssl_ import create_urllib3_context
CIPHERS = (
'ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:RSA+3DES:!aNULL:'
'!eNULL:!MD5'
)
headers = {
'accept': 'application/json, text/javascript, */*; q=0.01',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'cache-control': 'no-cache',
'pragma': 'no-cache',
'user-agent': 'yuanrenxue.project',
'x-requested-with': 'XMLHttpRequest',
'cookie': 'sessionid=换成你的id'
}
class DESAdapter(HTTPAdapter):
def init_poolmanager(self, *args, **kwargs):
context = create_urllib3_context(ciphers=CIPHERS)
kwargs['ssl_context'] = context
return super(DESAdapter, self).init_poolmanager(*args, **kwargs)
def proxy_manager_for(self, *args, **kwargs):
context = create_urllib3_context(ciphers=CIPHERS)
kwargs['ssl_context'] = context
return super(DESAdapter, self).proxy_manager_for(*args, **kwargs)
def get_page(s, page):
r = s.get(f'https://match.yuanrenxue.com/api/match/19?page={page}', headers=headers)
res = r.json()
data = res.get('data')
s = [int(d.get('value')) for d in data]
print(123123,s)
return s
def get_data(s):
end = 0
for i in range(1, 6):
temp = get_page(s, i)
print()
end += sum(temp)
print('end', end)
return end
s = requests.Session()
s.mount('https://match.yuanrenxue.com', DESAdapter())
get_data(s)
运行：
提交
2021-12-13更新
根据微信好友RY的提供，有个简单版本，虽然实际是同一个原理，但是写法更简单：
import requests
import urllib3
urllib3.util.ssl_.DEFAULT_CIPHERS += 'HIGH:!DH:!aNULL'
headers = {
'accept': 'application/json, text/javascript, */*; q=0.01',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'cache-control': 'no-cache',
'pragma': 'no-cache',
'user-agent': 'yuanrenxue.project',
'x-requested-with': 'XMLHttpRequest',
'cookie': 'sessionid=换成你的id'
}
def get_page(page=1):
r = requests.get(f'https://match.yuanrenxue.com/api/match/19?page={page}', headers=headers)
res = r.json()
data = res.get('data')
s = [int(d.get('value')) for d in data]
print(123123,s)
return s
def get_data():
end = 0
for i in range(1, 6):
temp = get_page(i)
print()
end += sum(temp)
print('end', end)
return end
# get_data()
get_page()
执行结果：
也是可以的，然后抓了下指纹，对比：
实际的效果还是把指纹变短了，然后就过了
然后我又调了下，下面也可以的，可以说是最简的写法了：
其中上面的指纹是：
771,4866-4867-4865-49196-49200-49195-49199-52393-52392-49327-49325-49326-49324-49188-49192-49187-49191-49162-49172-49161-49171-157-156-49313-49309-49312-49308-61-60-53-47-255,0-11-10-35-22-23-49-13-43-45-51-21,29-23-30-25-24,0-1-2
结语
其实也没啥技术含量，就是刚出来没多久的ja3指纹验证，其他都没啥
那么，就真的这样吗？有了这个开头，相信以后很多网站都会用到这个
然后你再看上面的ja3指纹的截图，还有个很明显的特征，看最后一个数值，浏览器的是【0】，而这里是【0-1-2】，假如模板服务器验证了最后一个数字一定是【0】呢？怎么搞？我试了下，好像还没找到能直接为0的
我试了如下的，最后的数字都没法是【0】
- ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:RSA+3DES:!aNULL:!eNULL:!MD5
- ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:RSA+3DES:!aNULL:!eNULL
- ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:RSA+3DES:!aNULL
- ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:RSA+3DES:!NULL
- ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:RSA+3DES:NULL
- ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:RSA+3DES:0
你可以自己试试了。更多的ja3，自行研究了。
本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：python爬虫 – js逆向之猿人学第十九题突破ja3指纹验证 - Python技术站
微信扫一扫 
支付宝扫一扫 