python接口自动化39

🔥 python接口自动化(三十九)- logger 日志 - 上(超详解)

1.简介

  Python的logging模块提供了通用的日志系统,可以方便第三方模块或者是应用使用。这个模块提供不同的日志级别,并可以采用不同的方式记录日志,比如文件,HTTP GET/POST,SMTP,Socket等,甚至可以自己实现具体的日志记录方式。

logging模块与log4j的机制是一样的,只是具体的实现细节不同。模块提供logger,handler,filter,formatter。
logger

提供日志接口,供应用代码使用。logger最长用的操作有两类:配置和发送日志消息。可以通过logging.getLogger(name)获取logger对象,如果不指定name则返回root对象,多次使用相同的name调用getLogger方法返回同一个logger对象。

handler

将日志记录(log record)发送到合适的目的地(destination),比如文件,socket等。一个logger对象可以通过addHandler方法添加0到多个handler,每个handler又可以定义不同日志级别,以实现日志分级过滤显示。

filter

提供一种优雅的方式决定一个日志记录是否发送到handler。

formatter

指定日志记录输出的具体格式。formatter的构造方法需要两个参数:消息的格式字符串和日期字符串,这两个参数都是可选的。

  与log4j类似,logger,handler和日志消息的调用可以有具体的日志级别(Level),只有在日志消息的级别大于logger和handler的级别。

logging模块是Python内置的标准模块,主要用于输出运行日志,可以设置输出日志的等级、日志保存路径、日志文件回滚等;相比print,具备如下优点:

可以通过设置不同的日志等级,在release版本中只输出重要信息,而不必显示大量的调试信息;
print将所有信息都输出到标准输出中,严重影响开发者从标准输出中查看其它数据;logging则可以由开发者决定将信息输出到什么地方,以及怎么输出

2.logging模块使用

1.基本使用

配置logging基本的设置,然后在控制台输出日志:

1232840-20190523163226547-116042738.png

运行时,控制台输出:

1232840-20190523163243873-1698370026.png

logging中可以选择很多消息级别,如debug、info、warning、error以及critical。通过赋予logger或者handler不同的级别,开发者就可以只输出错误信息到特定的记录文件,或者在调试时只记录调试信息。

例如,我们将logger的级别改为DEBUG,再观察一下输出结果:

1232840-20190523163334355-319210850.png

控制台输出,可以发现,输出了debug的信息:

1232840-20190523163357967-1582334671.png

logging.basicConfig函数各参数:

filename:指定日志文件名;

filemode:和file函数意义相同,指定日志文件的打开模式,’w’或者’a’;

format:指定输出的格式和内容,format可以输出很多有用的信息,

参数:作用

%(levelno)s:打印日志级别的数值
%(levelname)s:打印日志级别的名称
%(pathname)s:打印当前执行程序的路径,其实就是sys.argv[0]
%(filename)s:打印当前执行程序名
%(funcName)s:打印日志的当前函数
%(lineno)d:打印日志的当前行号
%(asctime)s:打印日志的时间
%(thread)d:打印线程ID
%(threadName)s:打印线程名称
%(process)d:打印进程ID
%(message)s:打印日志信息

datefmt:指定时间格式,同time.strftime();

level:设置日志级别,默认为logging.WARNNING;

stream:指定将日志的输出流,可以指定输出到sys.stderr,sys.stdout或者文件,默认输出到sys.stderr,当stream和filename同时指定时,stream被忽略;

2.将日志写入到文件
2.1 将日志写入到文件

设置logging,创建一个FileHandler,并对输出消息的格式进行设置,将其添加到logger,然后将日志写入到指定的文件中:

1232840-20190523163612984-46794816.png

log.txt中日志数据为:

1232840-20190523163636039-1336132393.png

2.2 将日志同时输出到屏幕和日志文件

logger中添加StreamHandler,可以将日志输出到屏幕上:

1232840-20190523163756741-1913210288.png

可以在log.txt文件和控制台中看到:

1232840-20190523163924184-136454992.png

可以发现,logging有一个日志处理的主对象,其他处理方式都是通过addHandler添加进去,logging中包含的handler主要有如下几种:

handler名称:位置;作用

StreamHandler:logging.StreamHandler;日志输出到流,可以是sys.stderr,sys.stdout或者文件
FileHandler:logging.FileHandler;日志输出到文件
BaseRotatingHandler:logging.handlers.BaseRotatingHandler;基本的日志回滚方式
RotatingHandler:logging.handlers.RotatingHandler;日志回滚方式,支持日志文件最大数量和日志文件回滚
TimeRotatingHandler:logging.handlers.TimeRotatingHandler;日志回滚方式,在一定时间区域内回滚日志文件
SocketHandler:logging.handlers.SocketHandler;远程输出日志到TCP/IP sockets
DatagramHandler:logging.handlers.DatagramHandler;远程输出日志到UDP sockets
SMTPHandler:logging.handlers.SMTPHandler;远程输出日志到邮件地址
SysLogHandler:logging.handlers.SysLogHandler;日志输出到syslog
NTEventLogHandler:logging.handlers.NTEventLogHandler;远程输出日志到Windows NT/2000/XP的事件日志
MemoryHandler:logging.handlers.MemoryHandler;日志输出到内存中的指定buffer
HTTPHandler:logging.handlers.HTTPHandler;通过"GET"或者"POST"远程输出到HTTP服务器
2.3 日志回滚

其实意思就是log会写在一个文件,这个文件定义成1K大小,日志太多写不下的话,它会自动备份成log.txt.1,log.txt.2 ……,然后再创建一个log.txt开始写log。使用RotatingFileHandler,可以实现日志回滚:

1232840-20190523164831868-922821136.png

可以在工程目录中看到,备份的日志文件:

1232840-20190523164859502-1243120788.png

3.设置消息的等级

可以设置不同的日志等级,用于控制日志的输出:

日志等级:使用范围

FATAL:致命错误
CRITICAL:特别糟糕的事情,如内存耗尽、磁盘空间为空,一般很少使用
ERROR:发生错误时,如IO操作失败或者连接问题
WARNING:发生很重要的事件,但是并不是错误时,如用户登录密码错误
INFO:处理请求或者状态变化等日常事务
DEBUG:调试过程中使用DEBUG等级,如算法中每个循环的中间状态

4.捕获traceback

Python中的traceback模块被用于跟踪异常返回信息,可以在logging中记录下traceback。

代码如下:

1232840-20190523165055695-1632324263.png

控制台和日志文件log.txt中输出:

1232840-20190523165236662-1697593011.png

也可以使用logger.exception(msg,_args),它等价于logger.error(msg,exc_info = True,_args),所以你可以将

1 logger.error("Faild to open sklearn.txt from logger.error",exc_info = True)

替换为:

logger.exception("Failed to open sklearn.txt from logger.exception")

控制台和日志文件log.txt中输出:

1232840-20190523165410285-129905082.png

5.小结

    嘿嘿,又完成了一篇,下一篇给小伙伴们介绍一下,有关通过JSON或者YAML文件配置logging模块、多模块使用logging和自己封装一个日志类!!!


扫码关注公众号,更多干货秒得到

  目录