相关链接

第三篇：日志记录方法与多模块日志

在大型项目中，代码通常被划分为多个模块或包。为了有效地跟踪和调试程序的运行，我们需要在各个模块中统一使用日志系统。本文将介绍如何在多模块项目中使用Python的logging模块，涵盖基本的日志记录方法、异常信息的记录以及在多个模块中共享日志配置的方法。

基本日志记录方法

logging 模块提供了多种方法来记录不同级别的日志消息，这些方法对应着不同的严重程度级别：

  • debug：调试信息，用于诊断问题，级别最低。
  • info：常规信息，确认程序按预期运行。
  • warning：警告信息，表明潜在的问题。
  • error：错误信息，程序已出现问题。
  • critical：严重错误，程序可能无法继续运行。

代码示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import logging

# 创建日志记录器
logger = logging.getLogger('basic_logger')
logger.setLevel(logging.DEBUG)

# 创建控制台处理器
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.DEBUG)

# 创建格式化器并添加到处理器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_handler.setFormatter(formatter)

# 将处理器添加到日志记录器
logger.addHandler(console_handler)

# 记录不同级别的日志
logger.debug('This is a DEBUG message')
logger.info('This is an INFO message')
logger.warning('This is a WARNING message')
logger.error('This is an ERROR message')
logger.critical('This is a CRITICAL message')

控制台输出：

1
2
3
4
5
2024-09-17 20:46:41,803 - basic_logger - DEBUG - This is a DEBUG message
2024-09-17 20:46:41,803 - basic_logger - INFO - This is an INFO message
2024-09-17 20:46:41,803 - basic_logger - WARNING - This is a WARNING message
2024-09-17 20:46:41,803 - basic_logger - ERROR - This is an ERROR message
2024-09-17 20:46:41,803 - basic_logger - CRITICAL - This is a CRITICAL message

logging 模块还提供了 exception 方法，用于记录异常信息。exception 方法会自动记录异常堆栈信息，非常适合在 try-except 语句中使用。

log_exception.py:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import logging
import os

# 获取脚本所在目录
script_dir = os.path.dirname(os.path.abspath(__file__))

# 定义日志文件的路径
log_file_path = os.path.join(script_dir, 'log/exception.log')

# 创建日志记录器
logger = logging.getLogger('exception_logger')
logger.setLevel(logging.DEBUG)

# 创建控制台处理器和文件处理器
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.DEBUG)

file_handler = logging.FileHandler(log_file_path)
file_handler.setLevel(logging.DEBUG)

# 创建格式化器并添加到处理器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_handler.setFormatter(formatter)
file_handler.setFormatter(formatter)

# 将处理器添加到日志记录器
logger.addHandler(console_handler)
logger.addHandler(file_handler)

# 模拟异常并记录
try:
    result = 10 / 0
except ZeroDivisionError:
    logger.exception('An exception occurred')

log文件输出：

1
2
3
4
5
2024-09-17 20:53:46,430 - exception_logger - ERROR - An exception occurred
Traceback (most recent call last):
  File "/home/issey/workplace/Docker_workplace/Logger_Study/Course03/log_exception.py", line 32, in <module>
    result = 10 / 0
ZeroDivisionError: division by zero

在多个模块中使用日志

在实际项目中，代码通常被组织在不同的模块或包中。为了在整个项目中统一日志管理，我们可以创建一个基础的日志配置，并在各个模块中使用该配置。

项目结构

1
2
3
4
Course03/
├── main.py
├── module_a.py
└── module_b.py

main.py:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import logging
from module_a import function_a
from module_b import function_b

# 配置基础日志
logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
                    handlers=[logging.StreamHandler(),
                              logging.FileHandler('log/project.log')])

# 创建主日志记录器
logger = logging.getLogger('main')

# 记录主文件日志
logger.info('This is an INFO message from main')

# 调用模块函数
function_a()
function_b()

module_a.py:

1
2
3
4
5
6
7
8
9
10
11
12
13
import logging

# 创建模块 A 的日志记录器
logger = logging.getLogger('module_a')

def function_a():
    logger.debug('This is a DEBUG message from module A')
    logger.info('This is an INFO message from module A')
    logger.warning('This is a WARNING message from module A')
    try:
        result = 10 / 0
    except ZeroDivisionError:
        logger.exception('Exception occurred in module A')

module_b.py:

1
2
3
4
5
6
7
8
9
10
11
12
13
import logging

# 创建模块 B 的日志记录器
logger = logging.getLogger('module_b')

def function_b():
    logger.debug('This is a DEBUG message from module B')
    logger.info('This is an INFO message from module B')
    logger.warning('This is a WARNING message from module B')
    try:
        result = [1, 2, 3][5]
    except IndexError:
        logger.exception('Exception occurred in module B')

当运行 main.py 时，日志将统一输出到控制台和 project.log 文件中，日志内容包括来自主模块和子模块的日志消息。

log日志输出：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
2024-09-17 21:12:26,607 - main - INFO - This is an INFO message from main
2024-09-17 21:12:26,608 - module_a - DEBUG - This is a DEBUG message from module A
2024-09-17 21:12:26,608 - module_a - INFO - This is an INFO message from module A
2024-09-17 21:12:26,608 - module_a - WARNING - This is a WARNING message from module A
2024-09-17 21:12:26,608 - module_a - ERROR - Exception occurred in module A
Traceback (most recent call last):
  File "/home/issey/workplace/Docker_workplace/Logger_Study/Course03/module_a.py", line 11, in function_a
    result = 10 / 0
ZeroDivisionError: division by zero
2024-09-17 21:12:26,608 - module_b - DEBUG - This is a DEBUG message from module B
2024-09-17 21:12:26,608 - module_b - INFO - This is an INFO message from module B
2024-09-17 21:12:26,609 - module_b - WARNING - This is a WARNING message from module B
2024-09-17 21:12:26,609 - module_b - ERROR - Exception occurred in module B
Traceback (most recent call last):
  File "/home/issey/workplace/Docker_workplace/Logger_Study/Course03/module_b.py", line 11, in function_b
    result = [1, 2, 3][5]
IndexError: list index out of range

文章总结

在本篇文章中，我们探讨了Python logging 模块的日志记录方法以及如何实现统一的日志管理，通过设置全局的日志配置，保证所有模块的日志记录能够统一输出到同一位置，方便项目的集中管理和调试。这些内容为大型项目的日志系统提供了全面的解决方案。