python分析nignx访问日志脚本分享

接下来我将详细讲解一下“Python分析Nginx访问日志脚本分享”的完整攻略。

1. 环境准备

首先，我们需要安装Python 3.x，并且安装以下常用库：

• requests
• matplotlib
• seaborn
• pandas

安装方法如下：

pip install requests matplotlib seaborn pandas

2. 下载Nginx访问日志文件

我们需要下载Nginx访问日志文件，可以从服务器上下载，也可以从Nginx的访问日志文件中获取。获取到访问日志文件之后，可以使用以下Python代码进行读取：

with open('/path/to/access.log', 'r') as f:
    logs = f.readlines()  # 读取所有行并存储为列表

3. 分析访问日志

接下来，我们需要分析访问日志，获取相关指标和数据。针对Nginx的访问日志，我们可以获取以下数据：

1. 访问量统计
2. 访问来源统计（IP地址和地理位置）
3. 访问时间统计

3.1 访问量统计

访问量统计可以用以下代码实现：

from collections import Counter
from urllib.parse import urlparse

def parse_log(logs):
    urls = []
    for log in logs:
        try:
            url = urlparse(log.split()[6]).path
            urls.append(url)
        except:
            pass
    return urls

def count_url(urls, top_n):
    count = Counter(urls)
    count_json = {url: num for url, num in count.most_common(top_n)}
    return count_json

urls = parse_log(logs)
top_urls = count_url(urls, 10)
print(top_urls)

这段代码会针对Nginx的访问日志文件进行解析，得到所有请求的URL，并统计出现的次数。最后输出出现次数最多的前10个URL。

3.2 访问来源统计（IP地址和地理位置）

访问来源统计需要借助第三方库，比如geoip2和requests。使用以下代码获取IP地址和地理位置：

import requests
from geoip2 import database

def get_ip(log):
    return log.split()[0]

def extract_country(ip):
    try:
        r = requests.get(f"http://api.ipstack.com/{ip}?access_key=YOUR_API_KEY")
        return r.json().get("country_name")
    except:
        return "Unknown"

def count_country(logs):
    ips = [get_ip(log) for log in logs]
    reader = database.Reader("/path/to/GeoLite2-Country.mmdb")
    countries = [extract_country(ip) for ip in ips]
    count = Counter(countries)
    count_json = {country: num for country, num in count.most_common()}
    return count_json

countries = count_country(logs)
print(countries)

这段代码会从Nginx的访问日志文件中提取所有的IP地址，并使用IP地址获取到该IP对于的地理位置。最后统计所有地理位置的出现次数，并输出出现次数最多的地理位置。

3.3 访问时间统计

访问时间统计可以用以下代码实现：

import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd

def get_request_time(log):
    return float(log.split()[-1])

request_times = [get_request_time(log) for log in logs]

sns.set(style="darkgrid")
plt.hist(
    x=request_times,
    bins=50,
    color='#7F8C8D',
    alpha=0.7
)
plt.xlabel('Request time (ms)')
plt.ylabel('Frequency')
plt.title('Request time distribution')
plt.show()

这段代码会从Nginx的访问日志文件中提取所有请求的时间，并使用matplotlib和seaborn库生成直方图。

4. 总结

以上就是针对Nginx访问日志的分析脚本。我们可以从访问量统计、访问来源统计和访问时间统计三个方面来分析访问日志的数据。通过对数据的分析，我们可以更好地了解我们的网站和用户，从而提高网站的效率和用户体验。