经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 程序设计 » Python » 查看文章
如何在Python项目中引入日志
来源：jb51　　时间：2021/5/31 18:23:30　　对本文有异议

Logging模块的使用

简单使用

Logging 模块提供了一系列便利的函数

它们分别是 debug(), info(), warning(), error(), critical()

  1. import logging
  2.  
  3. logging.debug('debug log test')
  4. logging.info('info log test')
  5. logging.warning('warning log test')
  6. logging.error('error log test')
  7. logging.critical('critical log test')

输出结果：

  1. WARNING:root:warning log test
  2. ERROR:root:error log test
  3. CRITICAL:root:critical log test

为什么只输出了 warning， error 和 critical 的结果，因为 logging 模块默认使用 warning 日志级别，就是只有 warning 及以上日志等级才会显示。

日志等级从高到低，如下所示

级别 数值 何时使用
CRITICAL 50 严重的错误，表明程序已不能继续执行
ERROR 40 由于严重的问题，程序的某些功能已经不能正常执行
WARNING 30 表明有已经或即将发生的意外，程序仍按预期进行
INFO 20 确认程序按预期运行
DEBUG 10 细节信息，仅当诊断问题时适用。
NOTSET 0 无任何等级限制

我们只要把 logging 的默认日志等级改下就好了

  1. import logging
  2.  
  3. # 配置日志等级
  4. logging.basicConfig(level=logging.DEBUG)
  5.  
  6. logging.debug('debug log test')
  7. logging.info('info log test')
  8. logging.warning('warning log test')
  9. logging.error('error log test')

输出结果如下：

  1. DEBUG:root:debug log test
  2. INFO:root:info log test
  3. WARNING:root:warning log test
  4. ERROR:root:error log test

指定日志输出样式

当然我们还可以指定日志输出格式

  1. import logging
  2.  
  3.  
  4. # 日志输出样式
  5. log_format = '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
  6. logging.basicConfig(format=log_format, level=logging.DEBUG)
  7.  
  8. logging.debug('debug log test')
  9. logging.info('info log test')
  10. logging.warning('warning log test')
  11. logging.error('error log test')
  12. logging.critical('critical log test')

输出结果如下：

  1. DEBUG 2021-05-27 00:04:26,327 main.py 65 debug log test
  2. INFO 2021-05-27 00:04:26,327 main.py 66 info log test
  3. WARNING 2021-05-27 00:04:26,327 main.py 67 warning log test
  4. ERROR 2021-05-27 00:04:26,327 main.py 68 error log test
  5. CRITICAL 2021-05-27 00:04:26,327 main.py 69 critical log test

其中日志信息格式化输出配置样式说明

  • %(levelname)s ，日志等级
  • %(asctime)s ，时间
  • %(filename)s ，文件名
  • %(lineno)d ，行号
  • %(message)s，日志信息

这些配置都是固定，不可随便写，还有好多日志格式化样式，这里只介绍了一些常用的格式配置，大家可以去官网查看更多的格式化配置信息。docs.python.org/zh-cn/3.7/l…

日志记录到文件中

在 logging.basicConfig 中设置 filename 属性即可把日志信息写入文件中

  1. import logging
  2.  
  3.  
  4. # 日志输出样式
  5. log_format = '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
  6. logging.basicConfig(
  7.     filename='test.log',
  8.     format=log_format,
  9.     level=logging.DEBUG
  10. )
  11.  
  12. logging.debug('debug log test')
  13. logging.info('info log test')
  14. logging.warning('warning log test')
  15. logging.error('error log test')
  16. logging.critical('critical log test')

运行程序后 test.log 如下内容

自定义日志配置

通常我们在项目中都是自定义一些通用日志配置，然后供项目全局使用。写好这些配置下次要在别的项目使用之间复制粘贴过来修改修改一下即可。来康康是如何配置的。

准备日志配置信息

配置日志详细信息，需要导入 logging.config 来进行加载日志配置信息

首先准备日志配置信息字典

  1. log_dict = {
  2.     'version': 1,
  3.     'disable_existing_loggers': False,  # 是否禁用已经存在的日志器
  4.  
  5.     # 日志信息格式化输出配置
  6.     'formatters': {
  7.  
  8.         # 简单的日志输出
  9.         'simple': {
  10.             'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
  11.         },
  12.  
  13.         # 详细的日志输出
  14.         'verbose': {
  15.             'format': '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
  16.         },
  17.     },
  18.  
  19.     # 日志信息处理器配置
  20.     'handlers': {
  21.         
  22.         # 向终端中输出日志
  23.         'console': {
  24.             'level': 'DEBUG',                   # 处理的日志等级，DEBUG及以上
  25.             'class': 'logging.StreamHandler',   # 日志处理器
  26.             'formatter': 'simple'               # 日志格式化配置
  27.         },
  28.  
  29.         # 向文件中输出日志
  30.         'file': {
  31.             'level': 'INFO',                                    # 处理的日志等级，DEBUG及以上
  32.             'class': 'logging.handlers.RotatingFileHandler',    # 使用文件日志处理器
  33.             'formatter': 'verbose',                             # 日志格式化配置
  34.             'filename': './logs/test.log',                      # 日志文件存储位置
  35.             'maxBytes': 1024 * 1024,        # 每个日志文件最大 10MB, 单位: byte
  36.             'backupCount': 20,              # 如果文件满了, 自动扩充, 最多保留 20 个日志文件
  37.             'encoding': 'utf8',
  38.         },
  39.     },
  40.  
  41.     # 默认根日志器
  42.     'root': {
  43.         'level': 'DEBUG',           # 允许接受的日志等级
  44.         'handlers': ['console']     # 选择日志处理器
  45.     },
  46.  
  47.     # 自定义的日志器
  48.     'loggers': {
  49.         'server': {
  50.             'level': 'DEBUG',
  51.             'handlers': ['file'],
  52.             'propagate': True       # 设为 False则禁止将日志消息传递给父级记录器的处理程序中
  53.         }
  54.     }
  55. }

准备日志配置信息

配置日志详细信息，需要导入 logging.config 来进行加载日志配置信息

首先准备日志配置信息字典

  1. log_dict = {
  2.     'version': 1,
  3.     'disable_existing_loggers': False,  # 是否禁用已经存在的日志器
  4.  
  5.     # 日志信息格式化输出配置
  6.     'formatters': {
  7.  
  8.         # 简单的日志输出
  9.         'simple': {
  10.             'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
  11.         },
  12.  
  13.         # 详细的日志输出
  14.         'verbose': {
  15.             'format': '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
  16.         },
  17.     },
  18.  
  19.     # 日志信息处理器配置
  20.     'handlers': {
  21.         
  22.         # 向终端中输出日志
  23.         'console': {
  24.             'level': 'DEBUG',                   # 处理的日志等级，DEBUG及以上
  25.             'class': 'logging.StreamHandler',   # 日志处理器
  26.             'formatter': 'simple'               # 日志格式化配置
  27.         },
  28.  
  29.         # 向文件中输出日志
  30.         'file': {
  31.             'level': 'INFO',                                    # 处理的日志等级，DEBUG及以上
  32.             'class': 'logging.handlers.RotatingFileHandler',    # 使用文件日志处理器
  33.             'formatter': 'verbose',                             # 日志格式化配置
  34.             'filename': './logs/test.log',                      # 日志文件存储位置
  35.             'maxBytes': 1024 * 1024,        # 每个日志文件最大 10MB, 单位: byte
  36.             'backupCount': 20,              # 如果文件满了, 自动扩充, 最多保留 20 个日志文件
  37.             'encoding': 'utf8',
  38.         },
  39.     },
  40.  
  41.     # 默认根日志器
  42.     'root': {
  43.         'level': 'DEBUG',           # 允许接受的日志等级
  44.         'handlers': ['console']     # 选择日志处理器
  45.     },
  46.  
  47.     # 自定义的日志器
  48.     'loggers': {
  49.         'server': {
  50.             'level': 'DEBUG',
  51.             'handlers': ['file'],
  52.             'propagate': True       # 设为 False则禁止将日志消息传递给父级记录器的处理程序中
  53.         }
  54.     }
  55. }

其中大字典的 key 都是固定，例如 version,formatters, handlers, root, loggers等都是固定的配置项。而有一些子选项是可以自己自定义如

  • formatters 下的 simple 和 verbose，是可以改成自己想要的名字。
  • handlers 下的 console 和 file 也是可以修改的。
  • loggers 下的 server 都是一样可以修改的

具体配置的说明，在这字典中都有一一注释我就不全介绍了，我就介绍一下 handlers 日志处理器的配置

在 logging 模块中有许多 日志处理器类，我们只需要在 pycharm 中输入 logging.Handler 就能弹出最基本的几个日志处理类。

而上文所用到的 StreamHandler 则是流处理器，日志将随着系统标准输入、输出流展示，而我们的 PyCharm终端、控制台等 显示的信息就属于系统标准输出流。

而 RotatingFileHandler 日志处理器则是 FileHandler 的子类。其主要作用就是把日志写入文件中，当文件内容达到最大限制时可以自动扩充日志文件，以达到日志文件的轮换。

加载日志配置信息

然后使用 logging.config.dictConfig() 方法加载日志配置，该方法接受一个 字典 参数。

  1. #!/usr/bin/python3
  2. # -*- coding: utf-8 -*-
  3. # @Author: Hui
  4. # @Desc: { 日志模块logging的使用 }
  5. # @Date: 2021/05/26 23:14
  6. import logging
  7. import logging.config
  8.  
  9. log_dict = {
  10.     'version': 1,
  11.     'disable_existing_loggers': False,  # 是否禁用已经存在的日志器
  12.  
  13.     ...与上文一致故省略
  14.  
  15.     # 默认根日志器
  16.     'root': {
  17.         'level': 'DEBUG',  # 接受的日志等级
  18.         'handlers': ['console']
  19.     },
  20.     
  21.     # 自定义的日志器
  22.     'loggers': {
  23.         'server': {
  24.             'level': 'DEBUG',
  25.             'handlers': ['file'],
  26.             'propagate': True       # 设为 False则禁止将日志消息传递给父级记录器的处理程序中
  27.         }
  28.     }
  29. }
  30.  
  31.  
  32. def setup_logging():
  33.     """
  34.     配置日志信息
  35.     :return:
  36.     """
  37.     logging.config.dictConfig(config=log_dict)
  38.     logger = logging.getLogger()
  39. 	# logger = logging.getLogger('root')
  40.     
  41.     logger.debug('debug log test')
  42.     logger.info('info log test')
  43.     logger.warning('warning log test')
  44.     logger.error('error log test')
  45.  
  46.  
  47. def main():
  48.     setup_logging()
  49.  
  50.  
  51. if __name__ == '__main__':
  52.     main()
  53.  

使用 logging.getLogger() 即可获取相应配置日志器，其接受一个日志器的名字，不传则默认使用 root 根日志器，同 logging.getLogger('root') 效果一致。

如果之间运行程序会出现如下错误

  1. ValueError: Unable to configure handler 'file'

那是因为你在日志配置中设置了一个文件处理器 file ，其日志文件将存储在 filename 配置项中，在这里是

  1. ./logs/test.log		# 代表存储在当前路径下的 logs目录下的 test.log 文件

Logging 模块不会自动帮我们创建目录，因此只需在当前目录中创建一个 logs 目录即可。

最后程序运行结果如下

  1. DEBUG main 74 debug log test
  2. INFO main 75 info log test
  3. WARNING main 76 warning log test
  4. ERROR main 77 error log test

不用跟 root 根日志器，使用 server 日志器，代码如下

  1. import logging
  2. import logging.config
  3.  
  4. log_dict = {...同上文省略...}
  5.  
  6. def setup_logging():
  7.     """
  8.     配置日志信息
  9.     :return:
  10.     """
  11.     logging.config.dictConfig(config=log_dict)
  12.     # logger = logging.getLogger()
  13.  
  14.     logger = logging.getLogger('server')
  15.     logger.debug('debug log test')
  16.     logger.info('info log test')
  17.     logger.warning('warning log test')
  18.     logger.error('error log test')
  19.     
  20.     
  21. def main():
  22.     setup_logging()
  23.  
  24.  
  25. if __name__ == '__main__':
  26.     main()

运行结果如下：

控制台

  1. DEBUG main 75 debug log test
  2. INFO main 76 info log test
  3. WARNING main 77 warning log test
  4. ERROR main 78 error log test

日志文件 logs/test.log

由于 server 日志器设置了 'propagate': True，会 将日志消息传递给父级记录器的处理程序中，因此不仅控制台会显示日志信息，文件也会记录，但文件记录的等级被设置成 INFO 了，因此 DEBUG 调试日志信息，将不会出现在文件中。

使用日志配置文件

这里我将采用 yaml 格式的日志配置文件。具体配置内容和上文大致一样，多了一个 error_file_handler 错误日志处理器，目的就是把 错误日志单独放在一个文件中，方便以后排查错误。

创建日志配置文件

创建 logging.yaml 文件，内容如下所示

  1. version: 1
  2. disable_existing_loggers: true
  3.  
  4. # 日志信息格式化输出配置
  5. formatters:
  6.     simple:
  7.         format: '%(levelname)s %(filename)s %(lineno)d %(message)s'
  8.     verbose:
  9.         format: '%(levelname)s %(asctime)s -Loc %(filename)s -Row %(lineno)d -%(name)s %(message)s'
  10.  
  11. # 日志信息处理器配置
  12. handlers:
  13.     console:
  14.         class: logging.StreamHandler
  15.         level: DEBUG
  16.         formatter: simple
  17.         stream: ext://sys.stdout
  18.  
  19.     # 错误日志单独处理
  20.     error_file_handler:
  21.         class: logging.handlers.RotatingFileHandler
  22.         level: ERROR
  23.         formatter: verbose
  24.         filename: ./logs/errors.log   # 错误日志文件存储位置
  25.         maxBytes: 10485760            # 每个日志文件最大 10MB
  26.         backupCount: 20               # 如果文件满了, 自动扩充, 最多保留 20 个日志文件
  27.         encoding: utf8
  28.  
  29.     server_file_handler:
  30.       class: logging.handlers.RotatingFileHandler
  31.       level: INFO                     # 只在文件中记录INFO级别及以上的log
  32.       formatter: verbose
  33.       filename: ./logs/server.log    # 项目日志文件, 记录所有日志信息
  34.       maxBytes: 10485760             # 10MB
  35.       backupCount: 30
  36.       encoding: utf8
  37.  
  38. # 根日志器
  39. root:
  40.     level: DEBUG
  41.     handlers: [console]
  42.  
  43. # 日志器
  44. loggers:
  45.     server:
  46.         level: DEBUG      # 允许打印 DEBUG 及以上log
  47.         handlers: [server_file_handler, error_file_handler]
  48.         propagate: True   # 设为 False则禁止将日志消息传递给父级记录器的处理程序中

加载日志配置函数

  1. # log_test.py 文件
  2.  
  3. import os
  4. import yaml
  5. import logging
  6. import coloredlogs
  7. import logging.config
  8.  
  9.  
  10. # 项目根路径
  11. BASE_DIR = os.path.dirname(os.path.abspath(__file__))
  12.  
  13. # 日志配置文件
  14. LOG_CONF_FILE = os.path.join(BASE_DIR, 'logging.yaml')
  15.  
  16.  
  17. def setup_logging(default_path=LOG_CONF_FILE, default_level=logging.DEBUG, env_key='LOG_CFG'):
  18.     """
  19.     配置项目日志信息
  20.     :param default_path: 日志文件默认路径
  21.     :param default_level: 日志默认等级
  22.     :param env_key: 系统环境变量名
  23.     :return:
  24.     """
  25.     path = default_path
  26.  
  27.     value = os.getenv(env_key, None)  # 获取对应的环境变量值
  28.     if value is not None:
  29.         path = value
  30.  
  31.     if os.path.exists(path):
  32.         with open(path, mode='r', encoding='utf-8') as f:
  33.             try:
  34.                 logging_yaml = yaml.safe_load(f.read())
  35.                 logging.config.dictConfig(logging_yaml)
  36.                 coloredlogs.install(level='DEBUG')
  37.             except Exception as e:
  38.                 print(e)
  39.                 print('无法加载日志配置文件, 请检查日志目录是否创建, 使用默认的日志配置')
  40.                 logging.basicConfig(level=default_level)
  41.                 coloredlogs.install(level=default_level)
  42.     else:
  43.         logging.basicConfig(level=default_level)
  44.         coloredlogs.install(level=default_level)
  45.         print('日志配置文件不存在, 使用默认的日志配置')

这里使用到第三方库如下

  • PyYaml 是用于读取 yaml 格式的日志配置文件
  • Coloredlogs 用于让日志在控制台中有颜色显示。

然后我们在项目中只要执行完 setup_logging() 日志配置函数

其他模块直接使用 logging.getLogger('server') 就可获取我们配置好的日志器。

  1. # log_demo.py 文件
  2.  
  3. import logging
  4.  
  5. logger = logging.getLogger('server')  # 维护一个全局日志对象
  6.  
  7. logger.debug('debug log test')
  8.  
  9.  
  10. def log_test1():
  11.     logger.info('info log test')
  12.  
  13.  
  14. def log_test2():
  15.     try:
  16.         a = 1 / 0
  17.     except Exception as e:
  18.         logger.error(e)
  19.  
  20.  
  21. class LogDemo(object):
  22.  
  23.     @staticmethod
  24.     def log_test():
  25.         logger.warning('warning log test')
  26.  
  27.  
  1. # log_test.py
  2.  
  3. def main():
  4.     setup_logging()
  5.  
  6.     logger = logging.getLogger('server')
  7.     logger.debug('debug log test')
  8.     logger.info('info log test')
  9.     logger.warning('warning log test')
  10.     logger.error('error log test')
  11.  
  12.     # 日志在其他模块中使用演示
  13.     import log_demo
  14.     log_demo.log_test1()
  15.     log_demo.log_test2()
  16.     log_demo.LogDemo.log_test()
  17.     
  18.     
  19. if __name__ == '__main__':
  20.     main()

日志效果展示

运行 log_test.py 结果如下

控制台信息

全部日志配置文件信息

错误日志文件信息

源代码

源代码已上传到 GitHub LogSetupDemo，欢迎大家来访。

以上就是如何在Python项目中引入日志的详细内容，更多关于python 项目引入日志的资料请关注w3xue其它相关文章！

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Python热门文章

  • Python | 新冠肺炎疫情数据的爬取与可视化分析
  • Python爬小草1024图片，盖达尔的诱惑（urllib.request）
  • pytorch如何获得模型的计算量和参数量
  • 计算曲线与坐标轴的面积
  • 基于Python实现语音合成小工具
  • PyQt5笔记之弹出窗口大全
  • python反编译学习之字节码详解
  • Python爬虫基础讲解（二十）：多进程——multiprocessing模块的使用
  • python?OpenCV计算图片相似度的5种算法
  • matplotlib 设置图形大小时 figsize 与 dpi 的关系

    • Python推荐文章

  • python 音频处理（2)——提取PPG特征之whisper库的使用（2.1）
  • 《最新出炉》系列初窥篇-Python+Playwright自动化测试-60 - 判断元素是否显示 - 下篇 - 北京-宏哥
  • [python] 启发式算法库scikit-opt使用指北
  • 《最新出炉》系列初窥篇-Python+Playwright自动化测试-59 - 判断元素是否显示 - 上篇 - 北京-宏哥
  • 界面自动化测试录制工具，让python selenium自动化测试脚本开发更加方便
  • 《最新出炉》系列入门篇-Python+Playwright自动化测试-56- 多文件上传 - 下篇 - 北京-宏哥
  • 音频文件降噪及python示例
  • 全网最适合入门的面向对象编程教程：20 类和对象的 Python 实现-组合关系的实现与 CSV 文件保存
  • 张高兴的 MicroPython 入门指南：（一）环境配置、Blink、部署
  • Python——比 Seaborn 更好的相关性热力图：Biokit Corrplot

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号