Python 分析Nginx访问日志并保存到MySQL数据库实例

以下是详细的Python分析Nginx访问日志并保存到MySQL数据库实例的攻略：

1. 了解Nginx访问日志格式

在保存Nginx访问日志之前，我们需要了解Nginx日志格式的设置。默认情况下，Nginx日志格式的设置会输出一行类似以下的记录：

10.0.10.153 - - [17/Jan/2022:14:57:24 +0800] "GET /index.html HTTP/1.1" 200 663 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"

如果要保存更详细的信息，比如用户的访问时间、请求的URL等，我们可以在Nginx的配置文件中进行设置。下面是一些常见的Nginx日志格式设置：

• $remote_addr：客户端IP地址。
• $remote_user：客户端用户名。
• $time_local：本地时间，格式是"DD/MM/YYYY:HH:MM:SS +时区"。
• $request：请求的URI和协议。
• $status：HTTP状态码。
• $body_bytes_sent：返回的消息体大小，不包括HTTP头部。
• $http_referer：来源页面的URL。
• $http_user_agent：浏览器客户端的信息。

配置文件的示例如下：

http {
  log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for"';

  access_log  /var/log/nginx/access.log  main;
}

2. 使用Python解析Nginx日志文件

Python是一种流行的编程语言，也是一个强大的工具，可以用来解析Nginx日志文件。具体可以通过正则表达式对记录进行解析。

下面是一个示例，显示了如何使用Python从Nginx日志文件中提取关键信息：

import re

def nginx_parse_log(log_line):
    pattern = r'^(\S+) - (\S+) \[(.*?)\] "(.*?)" (\d+) (\d+) "(.*?)" "(.*?)"$'
    match = re.match(pattern, log_line)
    if not match:
        return None
    fields = match.groups()
    return {
        "remote_addr": fields[0],
        "remote_user": fields[1],
        "time": fields[2],
        "request": fields[3],
        "status": fields[4],
        "size": fields[5],
        "referer": fields[6],
        "user_agent": fields[7],
    }

# 示例：解析单行日志
log_line = '10.0.10.153 - - [17/Jan/2022:14:57:24 +0800] "GET /index.html HTTP/1.1" 200 663 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"'
parsed = nginx_parse_log(log_line)
print(parsed)

输出结果如下：

{
    "remote_addr": "10.0.10.153",
    "remote_user": "-",
    "time": "17/Jan/2022:14:57:24 +0800",
    "request": "GET /index.html HTTP/1.1",
    "status": "200",
    "size": "663",
    "referer": "-",
    "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}

3. 将解析的信息保存到MySQL数据库实例

Python可以使用MySQL官方提供的Python客户端库——“mysql-connector-python”——连接MySQL服务并将数据写入数据库。

下面是示例代码，说明了如何将解析的Nginx日志数据存储到MySQL数据库中：

import mysql.connector

# 创建数据库连接
conn = mysql.connector.connect(
    user="root",
    password="password",
    host="127.0.0.1",
    port=3306,
    database="access_log",
    charset="utf8",
)

# 创建MySQL表
cursor = conn.cursor()
cursor.execute("""
CREATE TABLE IF NOT EXISTS nginx_log (
    log_id INT(11) NOT NULL AUTO_INCREMENT,
    remote_addr VARCHAR(15),
    remote_user VARCHAR(20),
    time DATETIME,
    request TEXT,
    status SMALLINT(3),
    size INT(11),
    referer TEXT,
    user_agent TEXT,
    PRIMARY KEY (log_id)
)
""")

# 准备查询模板
query_template = (
    "INSERT INTO nginx_log "
    "(remote_addr, remote_user, time, request, status, size, referer, user_agent) "
    "VALUES "
    "(%(remote_addr)s, %(remote_user)s, %(time)s, %(request)s, %(status)s, %(size)s, %(referer)s, %(user_agent)s)"
)

# 处理日志文件
with open("/var/log/nginx/access.log") as f:
    for line in f:
        record = nginx_parse_log(line)
        if record:
            try:
                cursor.execute(query_template, record)
                conn.commit()
            except Exception as e:
                print("Failed to write record:", e)

# 关闭连接
cursor.close()
conn.close()

该代码将Nginx日志文件中的记录解析为Python的字典形式，然后将其写入MySQL数据库中。在Nginx日志文件中，记录的每行都代表一个字典形式的记录。程序会尝试将每条记录插入到名为“nginx_log”的MySQL表中。注意，在实现代码时，需要指定正确的数据库名称、用户名和密码信息。

4. 其它说明

上述示例仅为参考，实际情况下需要根据具体需求进行调整。例如，可能需要对解析的数据进行更复杂的处理，或者存储到不同的MySQL表中。此外，还需要注意到数据的处理效率，比如使用批量插入来提高写入和读取的效率。