我给这个Python库打101分!

原文转载自 「Lee先森的技术站」 ( https://zhuanlan.zhihu.com/p/151051999 ) By Jackpop

预计阅读时间 0 分钟(共 0 个字, 0 张图片, 0 个链接)

日志在开发过程中是一种被很多程序员不重视,但是却至关重要的一项功能。

我认为在一个系统的整个生命周期里,日志系统虽然工作量不大,但是论重要性程度能够占10%-15%的比重,或者更高。

优秀的日志管理,至少能够从3个方面提升系统:

  • 调试速度
  • 执行效率
  • 运维效率

很少有人敢确保一个系统开发完成之后不会出现任何问题,因此,在一个完善的商业化系统设计过程中,日志管理都会被视为一个重要模块。

日志输出、Kafka日志订阅、日志分析,完备的日志管理能够在系统出现问题时,维护人员需要明确4个问题:

  • 问题是什么?
  • 问题出在哪?
  • 什么时间出现的问题?
  • 为什么出现问题?

然后,快速定位、快速恢复系统正常运行。要清楚的是,系统正式上线之后,恢复系统时间每多耗费1分钟,它带来的资损和负面影响都是无法估量的。



而在Python中,提到日志管理每个大多数Python开发者都会脱口而出logging

logging是Python内置的标准库,也是使用频率较高的日志管理Python库,但是它有着一些明显的缺点:

  • 功能单一
  • 执行效率低
  • 需要手动配置

Python内置的标准logging库默认配置输出的日志内容非常简单,没有时间、位置这些在日志管理过程中至关重要的信息,每一次使用都需要自己手动配置一下,这样会带来冗余的代码和工作量。

为了解决这些问题,本文就来介绍一款可以很好替代标准logging库的第三方日志管理库--Eliot

Eliot

前面已经提到,一个优秀的日志管理系统至少要回答4个问题:

  • 问题是什么?
  • 问题出在哪?
  • 什么时间出现的问题?
  • 为什么出现问题?

但是,大多数日志库都不具备这样的功能。而本文介绍的Eliot恰好都能满足这些需求。

除了能够回答上述问题,告诉你问题是什么、问题出在哪、为什么出现问题,Eliot还具有很多其他特性:

  • 结构化输出日志信息,能够对输出一目了然
  • 可以用于解析和过滤日志
  • 不仅记录简单信息,还可以追踪程序的执行过程
  • 性能非常好,使用非堵塞IO
  • 可以结合Logstash/Elasticsearch使用

下面就来看一下Eliot的基本使用,更加丰富的功能,各位同学可以阅读一下文档仔细了解一下Eliot的使用。

安装

可以使用pip安装,

$ pip install eliot eliot-tree

也可以使用conda安装,

$ conda install -c conda-forge eliot eliot-tree

安装的eliot用于日志的生成、输出、分析等功能,eliot-tree可以实现以树结构可视化日志信息。

使用

首先给出一段示例代码,

import requests
from eliot import start_action, to_file
​
# 1. to_file
to_file(open("linkcheck.log", "w"))
​
​
def check_links(urls):
    with start_action(action_type="check_links", urls=urls):
        for url in urls:
            try:
                # 2. start_action
                with start_action(action_type="download", url=url):
                    response = requests.get(url)
                    response.raise_for_status()
            except Exception as e:
                raise ValueError(str(e))
​
try:
    check_links(["http://eliot.readthedocs.io", "http://nosuchurl"])
except ValueError:
    print("Not all links were valid.")

在这段代码中有2处用到了Eliot:

  1. to_file:用于指定输出日志文件;
  2. start_action:用于创建动作,如果动作成功则输出succeed ,否则抛出异常;

然后再命令行下执行代码:

$ python linkcheck.py

这时候会发现生成了一个名为linkcheck.log的日志文件。

但是,当用文本编辑器打开的时候会发现,日志的格式很单一、并没有树结构的信息。

如果想以树结构的方式可视化输出信息,就需要用到eliot-tree这个工具。

$ eliot-tree linkcheck.log
b1cb58cf-2c2f-45c0-92b2-838ac00b20cc
└── check_links/1 ⇒ started
    ├── timestamp: 2017-10-27 20:42:47.206684
    ├── urls:
    │   ├── 0: http://eliot.readthedocs.io
    │   └── 1: http://nosuchurl
    ├── download/2/1 ⇒ started
    │   ├── timestamp: 2017-10-27 20:42:47.206933
    │   ├── url: http://eliot.readthedocs.io
    │   └── download/2/2 ⇒ succeeded
    │       └── timestamp: 2017-10-27 20:42:47.439203
    ├── download/3/1 ⇒ started
    │   ├── timestamp: 2017-10-27 20:42:47.439412
    │   ├── url: http://nosuchurl
    │   └── download/3/2 ⇒ failed
    │       ├── errno: None
    │       ├── exception: requests.exceptions.ConnectionError
    │       ├── reason: HTTPConnectionPool(host='nosuchurl', port=80): Max retries exceeded with url: / (Caused by NewConnec…
    │       └── timestamp: 2017-10-27 20:42:47.457133
    └── check_links/4 ⇒ failed
        ├── exception: builtins.ValueError
        ├── reason: HTTPConnectionPool(host='nosuchurl', port=80): Max retries exceeded with url: / (Caused by NewConnec…
        └── timestamp: 2017-10-27 20:42:47.457332

在这个结构化的日志信息中,可以一目了然的看出3个方面的信息:

  • 哪些动作成功了,哪些动作失败了;
  • 失败的动作会记录异常
  • 日志追踪并记录了执行的详细动作

另外,执行每一步的详细时间戳也被记录在日志中。

除了在日志生成和输出增强日志管理之外,Eliot还在日志分析方面也提供了很不错的解决方案。

在以往,系统运行很长时间之后会产生大量的日志,通过肉眼逐行去看、或者手动搜索关键字的方式都不显示,从零开始开发一款日志分析系统耗费成本也较高。

Eliot针对日志分析加入了2项非常实用的功能:

  • 过滤
  • 解析

通过这2项功能,就不需要再去写一个复杂的逻辑去处理日志文件、解析对应的行和关键字。在Eliot中,只需要简短的代码就可以实现日志的定位和解析。除此之外,Eliot转为json输出而设计,可以结合Elasticsearch使用,简历搜索索引,能够通过自建的搜索引擎快速搜索到想要的日志信息。


推荐阅读

more_vert