python分析apache访问日志脚本分享

下面是“Python分析Apache访问日志脚本分享”的完整攻略，内容包括：准备工作、脚本编写、示例说明等。

准备工作

在编写Python访问日志分析脚本之前，需要完成以下一些准备工作：

安装Python3
安装用于解析访问日志的Python模块（如pyapachelog）

脚本编写

第一步：导入模块和定义变量

首先，需要在Python脚本中导入pyapachelog模块，并定义用于存储请求IP和请求URL信息的字典变量。代码示例如下：

import apachelog
IPs = {}
URLs = {}

第二步：解析日志文件

接下来，需要打开Apache访问日志文件，并遍历其中的每一行，对每一行进行解析和处理。具体实现方式可以使用pyapachelog模块中的方法，示例代码如下：

p = apachelog.parser(apachelog.formats['extended'])
with open('access.log') as f:
    for line in f:
        try:
            data = p.parse(line)
        except:
            continue

在以上示例代码中，parser方法用于解析每一行访问日志的数据，formats['extended']表示使用Apache访问日志的标准格式进行解析，with open('access.log') as f: 用于打开Apache访问日志文件，for循环依次处理文件中的每一行。

第三步：分析数据

接下来，需要对每一条访问数据进行分析，并将统计结果存储到之前定义的字典变量中。可以使用正则表达式等方法获取请求的IP和访问的URL信息，示例代码如下：

# 获取IP地址和URL
ip = data['%h']
url = data['%r'].split(' ')[1]

# 统计IP地址和URL的访问次数
if ip in IPs:
    IPs[ip] += 1
else:
    IPs[ip] = 1

if url in URLs:
    URLs[url] += 1
else:
    URLs[url] = 1

在以上示例代码中，首先使用data['%h']获取到当前访问请求的IP地址信息，使用data['%r'].split(' ')[1]获取到当前访问请求的URL地址信息（其中%r表示请求行，split(' ')表示使用空格进行分割，[1]表示获取URL信息的第二个分段）。然后使用if/else语句分别对IP地址和URL进行访问次数的统计，将结果存储到IPs和URLs字典变量中。

第四步：输出结果

最后，可以使用print语句将统计结果输出到控制台或者写入到文件中，示例代码如下：

# 输出IP地址访问次数统计结果
print('IP地址访问次数统计：')
for ip, count in IPs.items():
    print('{}: {}'.format(ip, count))

# 输出URL访问次数统计结果
print('URL访问次数统计：')
for url, count in URLs.items():
    print('{}: {}'.format(url, count))

在以上示例代码中，使用for循环遍历IPs和URLs字典变量，并使用print语句将访问次数统计结果输出到控制台。

示例说明

示例一

假设Apache访问日志文件access.log中包含以下两条数据：

127.0.0.1 - - [21/Oct/2021:00:00:00 +0800] "GET /index.html HTTP/1.1" 200 129 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
127.0.0.2 - - [21/Oct/2021:00:00:05 +0800] "GET /about.html HTTP/1.1" 200 217 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"

根据以上示例数据，使用Python分析Apache访问日志文件的脚本将会输出以下访问次数统计结果：

IP地址访问次数统计：
127.0.0.1: 1
127.0.0.2: 1
URL访问次数统计：
/index.html: 1
/about.html: 1

以上统计结果表示，访问IP地址为127.0.0.1和127.0.0.2的各自访问了一次网站，分别请求了/index.html和/about.html两个页面。

示例二