前言

本篇博文的主题就是处理字体反爬的,其实这种网上已经很多了,那为什么我还要写呢?因为无聊啊,最近是真没啥事,并且我看了下,还是有点难度的,然后这个字体反爬系列会出两到三篇博文,针对市面上主流的字体反爬,一一讲清楚

 

不多bb,先看目标站

 

aHR0cDo{防查找,删除我,包括花括号}vL3d3dy5kaWFucGluZy5jb20vbW{防查找,删除我,包括花括号}VtYmVyLzc5Mzk5NTky{防查找,删除我,包括花括号}L3Jldmlld3M=

 

 

分析

 

打开网站,如下:

 

发现,地址在源码里不显示

python爬虫 - js逆向之woff字体反爬破解

 

 

 

再看下面的文字,网页源码里面也没有正常显示

python爬虫 - js逆向之woff字体反爬破解

 

 

 

 

这种就很秀了啊,对于没搞过字体反爬的朋友来说,估计就迷糊了,不用怕,跟着我的思路来

先看地址栏,点下那个标签,看右边的css样式(对这个不理解的,看看html前端基础吧,最多一周就懂了),或者看看我的之前的博文,https://www.cnblogs.com/Eeyhan/category/1339041.html

 

python爬虫 - js逆向之woff字体反爬破解

 

 

 

在看下面的内容:

python爬虫 - js逆向之woff字体反爬破解

 

 

 

这种啥意思呢,首先哈,看到这种源码里面看不到的,那一定是在css样式里,用的@font-face自定义的字体,所以,上面圈出来的两个css就很重要了,点进去看看,点这个

python爬虫 - js逆向之woff字体反爬破解

 

 

 

进去之后,格式化一下,然后就看到如下:

python爬虫 - js逆向之woff字体反爬破解

 

 

 

 

 

 

果然有个@font-face,就看这个后面的url引入了啥样式的字体文件,往后面拉下滚动条,果然看到一个woff的字体文件

补充一下,字体文件格式有哪几种呢?常见的有woff,svg,ttf,其他的就不细说了,好的,先把这个字体下载下来,复制链接浏览器打开直接下载,不用补齐http协议直接下载:

python爬虫 - js逆向之woff字体反爬破解

 

 

 

 

 

这个字体先放着,目前这个是地址相关的,再看内容的字体文件,同样的方式点击那个css,进入里面把链接复制出来下载:

python爬虫 - js逆向之woff字体反爬破解

 

 

 

 

 

因为我之前分析的时候已经下载过了,所以,文件名会有个(1)。

 

好的,这两个字体文件,梳理一下,f76的是地址的,924的是内容的,这种文件怎么打开呢?用这个地址:点我 ,(百度的在线字体编辑器网址已经打不开了,另外找的一个)在线打开:

python爬虫 - js逆向之woff字体反爬破解

 

 

 

当然你也可以用fontcreator软件打开:

 

 

python爬虫 - js逆向之woff字体反爬破解

 

 

果然哈,这里面就是定义好的字体了,而可以看到,这种有编码,有实际字体的,只要找到映射关系,就可以把我们要的内容给映射出来了,那么,我们怎么去找映射关系呢?

 

先看看规律哈,提前说下,这里直接是中文字,而不是网上有些老哥针对字体反爬讲解的数字,然后找到映射关系之后减2哈,所以还是要自己去找那套映射逻辑

 

怎么找?直接用一个字来看吧,就找这个【广】字

 

python爬虫 - js逆向之woff字体反爬破解

 

 

先看网页源码里这个广是啥编码,好的,&#xe2c9,先放一放

python爬虫 - js逆向之woff字体反爬破解

 

 

看这边woff字体里这个广是啥

在线网站看到的,还好,第一页就有,是unie2c9

python爬虫 - js逆向之woff字体反爬破解

 

 unie2c9跟&#xe2c9,好像有点像,先不急,看下,fontCreator软件里是啥:

python爬虫 - js逆向之woff字体反爬破解

 

 

 看着有点不一样哈,这不重要,接下来,我们用python的库看看,python里有一个大佬写好的字体映射文件库,fontTools(自己用pip安装,不多介绍了)

python爬虫 - js逆向之woff字体反爬破解

 

 

打印结果如下,然后它生成了一个font的xml文件,打开看看:

python爬虫 - js逆向之woff字体反爬破解

 

 

里面有两个关键的节点就是GlyphOrder和cmap,而这两个,刚才的代码里已经打印出来了,结果:

python爬虫 - js逆向之woff字体反爬破解

 

 

那行,我们找下这个【广】在哪,搜从在线字体文件编辑网里拿到的unie2c9,发现有两个:

python爬虫 - js逆向之woff字体反爬破解

 

 python爬虫 - js逆向之woff字体反爬破解

 

 

哪个才是呢?再搜下,字体文件拿到的glyph86,发现没有

python爬虫 - js逆向之woff字体反爬破解

 

 

 

但是,目前感觉有点联系,&#xe2c9  ---  unie2c9 --- 86

这种是啥呀,就不多说了,unie2c9前面的uni就是unicode编码的意思,姑且认定为【&#xe2c9  =  unie2c9】,那86啥,怎么映射出【广】字的,大胆猜测,这个86就是索引位置,在那个woff文件里数一下,看是不是第86个,先看这个,一行是10个,然后第一行是没有任何编码的,所以第一行只有9个,

python爬虫 - js逆向之woff字体反爬破解

 

 往下数,数到第8行倒数第四个,也就是87,但是第一行只有9个,那就是86了

python爬虫 - js逆向之woff字体反爬破解

 

 

 

哈哈哈,刚好对上,那现在就说得通了,那我们先拿到源码,然后去找映射关系,找到索引位置,再从索引位置里找到真实的文字内容就行了。

 

但有个很繁琐的,这些实际的文字内容,我们要一个一个的手写映射关系(哭了),没法啊,找好之后,写成一个json,然后load吧

python爬虫 - js逆向之woff字体反爬破解

 

 

调试

先把刚才打开网页源码,直接copy到本地保存成html文件测试吧,免得一改什么就请求下,因为这个站的风控还挺强的

 

废话不多说,直接处理保存在本地的html,然后我只打印了地址信息

 

python爬虫 - js逆向之woff字体反爬破解

 

 

感觉跟在源码里看到的&#开头的有点不一样,好像给处理成了【\u】,先看看能不能处理吧:

 

复制一个['\ue2c9', '\uef20', '\ue801', '5', '\ued77', '\ue150', '42'],拿来处理下,

 

python爬虫 - js逆向之woff字体反爬破解

 

 

卧槽,这咋回事,打断点一看,这个参数并不是我们预期的,

python爬虫 - js逆向之woff字体反爬破解

 

 

那多半就是那个被转义成【\u】的问题了,那我们直接在读取内容的时候,直接就替换一下:

 

python爬虫 - js逆向之woff字体反爬破解

 

 

执行下:

 python爬虫 - js逆向之woff字体反爬破解

 

 

 然后同样的,拿第一个来处理:

python爬虫 - js逆向之woff字体反爬破解

 

 

完美,跟原网站的数据对上

 python爬虫 - js逆向之woff字体反爬破解

 

 接着再处理内容的,这个内容原理一样,只是把woff文件替换下即可

 

打印下内容的:

 

python爬虫 - js逆向之woff字体反爬破解

 

 

选第一个,然后执行:

python爬虫 - js逆向之woff字体反爬破解

 

 

对比原网站:

python爬虫 - js逆向之woff字体反爬破解

 

 

然后,有朋友要问了,那后面的emoji怎么没有搞出来,看看源码哈:

python爬虫 - js逆向之woff字体反爬破解

 

 

这个emoji,是个图片资源,你要处理肯定是可以的,拼接一下就可以了

 

python实现

提一句,那两个字体文件经过我的发现,是会不定期变的,所以你需要去请求源码,用正则匹配指定位置,然后请求css文件,再去把woff文件url匹配出来,单独请求,下载下来,接着完成后续的工作即可

 

 最后用python完整实现,完整的代码就不贴出来了,后续的都是一些常规且简单的操作了,再一个就是,我根本就没写完整的代码(哈哈哈哈哈),只贴出部分:

from fontTools.ttLib import TTFont
import re
import requests
from lxml import etree
import json


def parser_woff_font(font='4375cf76.woff', something=None):
    font = TTFont(font)
    glyph = font.getReverseGlyphMap()
    f = open('font_template.json', encoding='utf-8')
    font_template = json.load(f)
    f.close()
    new_str = ''
    for item in something:
        if not item:
            continue
        if item.endswith(';'):
            item = item.replace(';', '')
        if item in glyph:
            index = glyph.get(item)
            if index:
                real = font_template.get(str(index))
                if real:
                    new_str += real
        else:
            new_str += item
    print(12312312, new_str)
    return new_str


def get_real_data():
    f = open('content.html', encoding='utf-8')
    source_data = f.read()
    source_data = source_data.replace('&#x', 'uni')
    f.close()
    html = etree.HTML(source_data)
    data = html.xpath('//div[@class="txt J_rptlist"]')
    for item in data:
        temp_dict = dict()
        shop_name = item.xpath('./div[1]/h6//text()')
        shop_addr = item.xpath('.//div[@class="mode-tc addres"]/p//text()')
        shop_score = item.xpath('.//div[@class="mode-tc comm-rst"]/span/@class')
        shop_comment = item.xpath('.//div[@class="mode-tc comm-entry"]//text()')
        comment_photo_url = item.xpath('.//div[@class="mode-tc comm-photo"]/a/@href')
        comment_photo_url = ''.join(comment_photo_url) if comment_photo_url else ''
        create_time = item.xpath('.//div[@class="mode-tc info"]/span[1]/text()')
        create_time = ''.join(create_time) if create_time else ''
        if create_time:
            create_time = create_time.replace('发表于', '')
        temp_dict['shop_name'] = shop_name
        temp_dict['shop_addr'] = shop_addr
        temp_dict['shop_score'] = shop_score
        temp_dict['shop_comment'] = shop_comment
        temp_dict['comment_photo_url'] = comment_photo_url
        temp_dict['create_time'] = create_time
        print(123123, temp_dict['shop_comment'])


# get_real_data()




s = ['unif1af;', 'unif147;', 'uniecc0;', 'unie635;', 'unif083;', 'unie3c5;', 'unif802;', ' ', 'unie931;', 'uniea55;', 'unif534;', 'unied79;', 'unie1bd;', ' ', 'unie1e4;', 'unie7b0;', 'unie65d;', 'unif534;', 'unie3c5;', 'unie66f;', 'unif52d;', ' ', 'unif765;', 'unif49d;', 'unieb19;', 'unie2de;', 'unie66f;', '', 'unie8ee;', 'unie3a4;', 'unif759;', ' ', 'unif195;', 'unif195;', 'unif195;', 'unif195;']

parser_woff_font('2f66e924.woff', s)

 

那个映射的font_template.json文件,点我

说明一下,这个json映射关系是只针对这一个站,并不通用网上所有的字体反爬哈,而且,这个站的映射,说不定以后还会改变,所以,你懂我意思吧