Python logging模块可能会令人困惑的地方

Python logging模块主要是python提供的通用日志系统,使用的方法其实挺简单的,这块就不多介绍。下面主要会讲到在使用python logging模块的时候,涉及到多个python文件的调用,而每个文件设置了对应的logging方式不同,可能会产生的令人困惑的现象。

下面以自己在开发的时候遇到的问题作为叙述的背景:

有三个python模块A、B、C。主模块A会import B和C模块,主模块有对应的logging方式,

A使用logging的模块的方式为:

import logging
import logging.handlers
def CreateLogger(logFile = 'batch'):
    handler = logging.handlers.RotatingFileHandler(str(logFile) + '.LOG', maxBytes = 1024 * 1024 * 500, backupCount = 5)
    fmt = '%(asctime)s - %(filename)s:%(lineno)s - %(name)s - %(message)s'
    formatter = logging.Formatter(fmt)
    handler.setFormatter(formatter)
    logger = logging.getLogger(str(logFile))
    logger.addHandler(handler)
    logger.setLevel(logging.INFO)
    return logger
sLogger = CreateLogger()

其实A模块使用logging的方式很简单,创建一个RotatingFileHandler,通过RotatingFileHandler回滚logging的方式来控制LOG文件的个数和每个LOG文件的上限大小。并创建一个Formatter对象来设置LOG文件的格式。在程序中使用这种方式产生的logging对象来打LOG,很显然使用这种方式的话,LOG都会打印到对应的LOG文件中去。

B使用logging模块的方式为

def GetLogger(testName):
    logger = logging.getLogger(testName)
    logger.setLevel(logging.INFO)
    hdlr = logging.FileHandler(testName + '.LOG')
    hdlr.setLevel(logging.INFO)
    formatter = logging.Formatter("[%(asctime)s]\t[%(levelname)s]\t[%(thread)d]\t[%(pathname)s:%(lineno)d]\t%(message)s")
    hdlr.setFormatter(formatter)
    logger.addHandler(hdlr)
    return logger


logger = GetLogger('OK')

def SetLogger(log):
    global logger
    logger = log

B模块默认logging的方式跟A差不多,只是B选择logging的方式是往一个LOG文件中打LOG。A其实在实际使用B模块对应的函数和类的时候并没有直接用B的logging方式,而是对B logging进行了一个重定向,这个可以从SetLogger函数的作用可以函数。A直接会把已经logging对象传给B,这样B也可以和A共享同一个logging对象,并把LOG打到A设定的文件中。这对于一个主模块调用多个子模块的逻辑、而且每个子模块都有对应的logging使用方式、打到不同文件中进行统一还是挺有好处的,这样可以有效的控制总的LOG文件大小和数量。

但是没有注意C模块,然后发现的情况是,A程序在运行过程中会把A、B模块的LOG信息直接打到屏幕上,而且LOG文件中也有对应的LOG。这些挺让人困惑的,把对B模块的调用注释掉,依然会发现有A的LOG直接打到屏幕上。但是把A程序中设置logging对象的那段代码单独拿出来,一切都正常。

根据当时的情景,只能怀疑是C模块中有什么设置,会导致A、B模块打LOG的方式有些转变。后来意识到,C模块中并没有设置logging的对象,而是直接使用logging.info去打LOG。把这部分的逻辑注释掉,发现A、B打LOG的方式又恢复正常,再也不会往屏幕上打LOG。


通过参阅python logging模块的代码,发现一些有趣的现象:

1. logging对象其实是一个树形结构,每个创建的logging对象都是root logging对象的孩子结点。当使用logging模块的getLogger(name=None)函数构造logging对象的时候,如果name为None,这样会产生一个root logging对象。如果name中含有.,比如name = 'a.b.c',通过这种方式会产生3个logging对象,分别为c、b、a,c->b->a->root,root树的根结点,a为root的孩子结点,b为a的孩子结点,c为a的孩子结点,依次类推。

2. root结点是全局的,虽然这过程中涉及到多个模块,但是它们会共享一个root结点。

3. 每个logging对象打LOG的时候,也会把LOG信息传递到传递到上层logging对象中,对于c->b->a->root这种情况,这个LOG其实会打4次,以c、b、a、root循序依次打一个LOG。

可能有人会问,像我之前一般用A模块或者B模块那样的方式去初始化一个logging对象,这样初始化的对象也会是root logging对象的一个孩子,而root logging对象通常会把LOG打到屏幕上,那按理说,正常情况下打LOG都会打两份,一份会打到文件中,一份会打到屏幕中。那为什么实际情况是,只有LOG文件中有对应的LOG,但是屏幕中并没有对象的显示呢?

其实,如果对这个过程有些好奇,对直接很习以为常的方式有些怀疑,而且抱着这样的好奇心去探索,相信肯定会有更多的收获。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/f6537376a64f8a7eb73a7e63fde177b6.html