Python 解析日志文件之收集行数据

在Python中解析日志文件可以使用标准库中的logging模块，但是如果需要收集行数据，则需要自己实现代码来解析日志文件。下面是收集行数据的Python解析日志文件的完整攻略。

步骤一：打开日志文件并读取文件内容

首先，需要使用Python内置的open()函数打开需要解析的日志文件，并将文件内容读取到内存中。

with open('example.log') as f:
    content = f.readlines()

步骤二：逐行解析日志信息

接下来，需要逐行解析日志文件中的内容，并将需要收集的行数据保存到变量中。下面是一个示例，该示例提取了日志文件中以“Error”开头的行。

error_lines = []
for line in content:
    if line.startswith('Error'):
        error_lines.append(line.strip())

另一个示例是提取日志文件中的时间信息，并将数据保存到字典中。下面是一段示例代码。

time_dict = {}
for line in content:
    if ' - ' in line:
        time = line.split(' - ')[0]
        message = line.split(' - ')[1].strip()
        if time not in time_dict:
            time_dict[time] = []
        time_dict[time].append(message)

步骤三：保存收集到的行数据

最后，需要将收集到的行数据保存到文件或者数据库中。下面是一个示例代码，该代码将收集到的错误日志写入到一个新的文件中。

with open('error.log', 'w') as f:
    for line in error_lines:
        f.write(line + '\n')

另一个示例是将收集到的日志时间信息保存到SQLite数据库中。

import sqlite3

conn = sqlite3.connect('log.db')
c = conn.cursor()

c.execute('CREATE TABLE log (time text, message text)')
for key, values in time_dict.items():
    for value in values:
        c.execute('INSERT INTO log VALUES (?, ?)', (key, value))      

conn.commit()
conn.close()

完整代码示例可以参考下面的代码：

import sqlite3

def main():
    with open('example.log') as f:
        content = f.readlines()

    error_lines = []
    time_dict = {}
    for line in content:
        if line.startswith('Error'):
            error_lines.append(line.strip())
        elif ' - ' in line:
            time = line.split(' - ')[0]
            message = line.split(' - ')[1].strip()
            if time not in time_dict:
                time_dict[time] = []
            time_dict[time].append(message)

    with open('error.log', 'w') as f:
        for line in error_lines:
            f.write(line + '\n')

    conn = sqlite3.connect('log.db')
    c = conn.cursor()

    c.execute('CREATE TABLE log (time text, message text)')
    for key, values in time_dict.items():
        for value in values:
            c.execute('INSERT INTO log VALUES (?, ?)', (key, value))      

    conn.commit()
    conn.close()

if __name__ == '__main__':
    main()

使用该代码即可解析日志文件并收集需要的行数据。需要注意的是，代码中提取行数据的方法可以根据实际需要自己编写。