python多进程下实现日志记录按时间分割

实现Python多进程下的日志记录按时间分割，我们可以采用以下步骤：

步骤一：安装日志记录工具

首先，我们需要安装Python标准库中的logging模块，通过该模块可以很方便地进行日志记录和管理。

import logging

步骤二：设置日志记录器

我们可以创建一个日志记录器logger，并配置其相关的属性，如日志记录级别和日志输出格式。

logger = logging.getLogger(__name__)

logger.setLevel(logging.DEBUG)

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

步骤三：设置日志处理器

日志处理器handler用于管理和输出日志记录，我们可以为每个进程设置一个处理器，并设置处理器的相关属性，如日志输出路径。

filename = 'example.log'
file_handler = logging.FileHandler(filename)
file_handler.setFormatter(formatter)

logger.addHandler(file_handler)

步骤四：启动多进程日志记录

对于多进程的情况，我们需要在每个进程的开始处创建一个新的日志处理器，并把它们添加到当前进程的日志记录器中。这一步需要我们修改handler和filename。

import os
import multiprocessing

def worker():
    process_name = multiprocessing.current_process().name
    logger = logging.getLogger(process_name)

    filename = process_name + '.log'
    file_handler = logging.FileHandler(filename)
    file_handler.setFormatter(formatter)

    logger.addHandler(file_handler)

    logger.debug('test')

我们可以创建多个进程，每个进程都执行worker()函数，并进行日志记录。

if __name__ == '__main__':
    for i in range(5):
        process = multiprocessing.Process(target=worker)
        process.start()

这样，就可以在指定路径下生成按时间分割的日志文件，并分别记录每个进程的日志记录。

示范：

以下示范将会给出两个例子，第一个是简单的按时间分割日志文件，第二个可以针对不同的网站记录日志文件

例子1：按时间分割日志文件

import logging.handlers
import multiprocessing
import time

def worker():
    logger = multiprocessing.get_logger()
    logger.setLevel(logging.DEBUG)

    prefix = multiprocessing.current_process().name
    handler = logging.handlers.TimedRotatingFileHandler(filename=f"./{prefix}.log", when='S')
    handler.setFormatter(logging.Formatter('%(asctime)s : %(levelname)s : %(message)s'))
    logger.addHandler(handler)

    for i in range(20):
        logger.debug(f"{prefix} - {i}")
        time.sleep(0.5)

if __name__ == "__main__":
    multiprocessing.log_to_stderr()
    for i in range(4):
        multiprocessing.Process(target=worker).start()      

例子2：针对不同的网站记录日志文件

import logging
import os
from flask import Flask, jsonify, request

app = Flask(__name__)

@app.route('/api')
def my_microservice():
    app.logger.info('Request received')
    return jsonify({'Hello': 'World'})

if __name__ == '__main__':
    log_path = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'logs')
    if not os.path.isdir(log_path):
        os.mkdir(log_path)


    loggers = {}
    for site in ('site1', 'site2', 'site3'):
        logger_path = os.path.join(log_path, site + '.log')
        logger = logging.getLogger(site)
        logger.setLevel(logging.DEBUG)

        handler = logging.handlers.TimedRotatingFileHandler(
                    filename=logger_path, when='midnight', backupCount=5)
        formatter = logging.Formatter('%(asctime)s %(levelname)-8s %(message)s')
        handler.setFormatter(formatter)
        logger.addHandler(handler)
        loggers[site] = logger

    app.config['loggers'] = loggers

    app.run(debug=True)

在这个例子中，我们针对不同的网站分别记录日志，将日志文件分别存放在logs/site1.log, logs/site2.log 和 logs/site3.log中。这样，对于针对不同网站的请求，我们可以分别记录日志文件。

需要注意的是，由于日志记录可能会影响性能，我们可以根据具体情况进行分析和测试，确定日志记录的级别和日志输出方式。