python实现定时提取实时日志程序

下面就来详细讲解“python实现定时提取实时日志程序”的完整攻略。

1. 确定日志文件路径及格式

首先需要确定要提取日志的文件路径及格式，例如 /var/log/nginx/access.log。还需要了解日志文件的格式，例如 nginx 的 access.log 格式为：

$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"

2. 编写 Python 代码

2.1. 获取最新日志文件名

使用 os.listdir 函数获取日志文件所在目录下的所有文件名，然后按修改时间倒序排序，以获取最新的日志文件名。示例代码如下：

import os

log_dir = '/var/log/nginx'
log_prefix = 'access'
log_suffix = '.log'

log_files = [f for f in os.listdir(log_dir) if f.startswith(log_prefix) and f.endswith(log_suffix)]
log_files.sort(key=lambda f: os.stat(os.path.join(log_dir, f)).st_mtime, reverse=True)

if log_files:
    latest_log_file = os.path.join(log_dir, log_files[0])
    print('Latest log file:', latest_log_file)
else:
    print('No log files found')

2.2. 定时提取日志

使用 Python 的 schedule 库进行定时任务的调度。示例代码如下：

import time
import schedule

def extract_log():
    # 提取日志的代码写在这里
    print('Extracting log at', time.strftime('%Y-%m-%d %H:%M:%S'))

schedule.every(10).seconds.do(extract_log)

while True:
    schedule.run_pending()
    time.sleep(1)

在这个示例代码中，定时任务的时间间隔是 10 秒。使用 time 模块获取当前时间，并输出提取日志的时间。在 extract_log 函数中编写提取日志的代码。

3. 完整示例代码

import os
import time
import schedule

log_dir = '/var/log/nginx'
log_prefix = 'access'
log_suffix = '.log'

def get_latest_log_file():
    log_files = [f for f in os.listdir(log_dir) if f.startswith(log_prefix) and f.endswith(log_suffix)]
    log_files.sort(key=lambda f: os.stat(os.path.join(log_dir, f)).st_mtime, reverse=True)

    if log_files:
        latest_log_file = os.path.join(log_dir, log_files[0])
        return latest_log_file
    else:
        return None

def extract_log():
    latest_log_file = get_latest_log_file()

    if latest_log_file:
        with open(latest_log_file) as f:
            for line in f:
                # 在这里提取日志信息
                print(line.strip())

    print('Extracting log at', time.strftime('%Y-%m-%d %H:%M:%S'))

schedule.every(10).seconds.do(extract_log)

while True:
    schedule.run_pending()
    time.sleep(1)

这个示例代码可以定时从指定目录下提取最新的 nginx access 日志，并输出日志的每一行内容。由于代码比较简单，还可以根据需要进行修改和扩展。