(15)Scrapy日志

在Python中日志消息有五种不同级别的严重程度。下面的列表以升序显示标准的日志消息：

• logging.DEBUG – 用于调试信息（最低严重性）

• logging.INFO – 用于信息消息

• logging.WARNING – 用于警告消息

• logging.ERROR– 用于正则错误

• logging.CRITICAL – 用于严重错误（最高严重性）

下面给出简单的代码显示日志记录是使用 logging.info 级别的消息。

import logging
logging.info("This is an information")

以上日志信息可以通过使用 logging.log 参数传递，如下所示：

import logging
logging.log(logging.INFO, "This is an information")

现在，也可以使用 loggers 来关闭消息，通过记录日志助手来获取日志消息，如下图所示：

import logging
logger = logging.getLogger()
logger.info("This is an information")

可以有多个记录器，可以通过 logging.getLogger()函数使用名字进行访问，如下图所示。

import logging
logger = logging.getLogger('mycustomlogger')
logger.info("This is an information")

自定义记录器可以通过使用模块路径 name 变量用于其它任何模块中，如下所示：

import logging
logger = logging.getLogger(__name__)
logger.info("This is an information")

每个 spider 实例都有一个内置记录器，并可调用如下：

import scrapy
class LogSpider(scrapy.Spider):

    name = 'logspider'
    start_urls = ['http://dmoz.com']

    def parse(self, response):
        self.logger.info('Parse function called on %s', response.url)

在上面的代码中，logger是使用蜘蛛的名字创建的，但您可以使用Python提供的自定义 logger，如下面的代码：

import logging
import scrapy

logger = logging.getLogger('customizedlogger')
class LogSpider(scrapy.Spider):

    name = 'logspider'
    start_urls = ['http://dmoz.com']

    def parse(self, response):
        logger.info('Parse function called on %s', response.url)

记录器不能够显示由自己发出消息。因此，它们需要“处理程序”显示这些消息，以及处理程序将它们被重定向这些消息到各自的目的地，如文件，电子邮件，标准输出。

根据下面的设置，Scrapy 将配置 logger 的处理程序。

下面给出的设置用于配置日志记录：

LOG_FILE 和 LOG_ENABLED 决定日志消息目的地。

当您设置了 LOG_ENCODING ，它不会显示日志输出消息。

LOG_LEVEL 设置确定消息的严重性顺序;严重程度不高的消息将被过滤掉。

LOG_FORMAT 和 LOG_DATEFORMAT 用于指定所有消息的布局。

当您设置 LOG_STDOUT 为 true ，所有的进程的标准输出和错误消息将被重定向到日志中。

Scrapy设置可以通过命令行参数来覆盖，如下面的表：

要手动配置日志输出，可以使用 logging.basicConfig()，如下所示：

import logging
from scrapy.utils.log import configure_logging

configure_logging(install_root_handler=False)
logging.basicConfig(
    filename='logging.txt',
    format='%(levelname)s: %(your_message)s',
    level=logging.INFO
)