Logging¶
Uma breve introdução ao log de dados¶
O Django usa o módulo logging
da linguagem Python para realizar logs de sistema. A utilização desse módulo é discutida em detalhes na própria documentação do Python. Contudo, se você nunca usou o framework de logs do Python (ou mesmo que você tenha usado), aqui vai um breve resumo.
O elenco de jogadores¶
A configuração de logs do Python é composta por quatro partes:
Loggers¶
O logger é o ponto de entrada no sistema de logs. Cada logger é um balde nomeado para o qual mensagens podem ser escritas para serem processadas.
O logger é configurado para possuir um level de log. Esse level descreve o grau de severidade das mensagens que o logger irá manipular. O Python define os seguintes leveis de log:
DEBUG
: Informações de sistema de baixo nível para propósitos de depuraçãoINFO
: Informações gerais de sistemaWARNING
: Informações descrevendo a ocorrência de um pequeno problemaERROR
: Informações descrevendo a ocorrência de um problema grande.CRITICAL
: Informações descrevendo a ocorrência de um problema crítico.
Cada mensagem que é escrita para o logger é um Registro de Log. Cada registro de log também tem um level de log indicando a gravidade de cada mensagem em específico. O registro de log pode conter também metadados úteis descrevendo o evento que está sendo logado. Isso pode incluir detalhes como um código de erro ou um “stack trace” ou “rastreamento de pilha” em português.
Quando a mensagem é dada ao logger, o level de log da mensagem é comparado com o level de log do logger. Se o level de log da mensagem for igual ou maior que o level de log do próprio logger, a mensagem seguirá em diante para processamento. Caso contrário, a mensagem será ignorada.
Se o logger determinar que a mensagem precisa ser processada, ela será passada para um Handler.
Manipuladores¶
O handler ou manipulador em português, é o motor que determina o que acontece com cada mensagem em um logger. Ele descreve o comportamento de um logger em particular, tais como escrever a mensagem na tela, em um arquivo, ou em um socket de rede.
Assim como os loggers, os handlers também possuem um level de log. Se o level de um registro de log não for igual ou maior ao level do handler, o handler irá ignorar a mensagem.
Cada logger pode ter múltiplos handlers, e cada handler pode ter um level de log diferente. Desta forma, é possível fornecer diferentes formas de notificação dependendo da importância da mensagem. Por exemplo, você pode instalar um handler que encaminha mensagens do tipo ERROR
e CRITICAL
para um serviço de paginação, enquanto que um segundo handler loga todas as mensagens (incluindo mensagens do tipo ERROR
e CRITICAL
) para um arquivo para análise posterior.
Filtros¶
O filter ou filtro em português, é usado para fornecer controle adicional sobre quais registros de logs serão passados do logger para o handler.
Por padrão, qualquer mensagem de log que satisfaça os pré-requisitos de level de log será manipulada. Contudo, instalando um filtro, você pode colocar critérios adicionais no processamento de logs. Por exemplo, você pode instalar um filtro que permite a emissão de mensagens do tipo ERROR
de apenas uma fonte em particular.
Os filters também podem ser usados para modificar o registro de log antes dele ser emitido. Por exemplo, você pode escrever um filter que rebaixa registros de logs do tipo ERROR
para registros do tipo WARNING
se um conjunto de critérios em particular for atingido.
Filters podem ser instalados em loggers ou em handlers; múltiplos filters podem ser usados em sequência para realizar múltiplas ações de filtragem.
Formatadores¶
Finalmente, um registro de log precisa ser renderizado como texto. Formatters ou formatadores em portuguẽs, descrevem o exato formato desse texto. O formatter geralmente consiste de uma string de formatação Python contendo atributos de um LogRecord; contudo, você também pode escrever um formatador customizado para implementar comportamentos específicos de formatação.
Using logging¶
Depois de você ter configurado os seus loggers, handlers, filters e formatters, você precisa colocar as chamadas de log dentro do seu código. A utilização do framework de log é muito simples. Aqui vai um exemplo:
# import the logging library
import logging
# Get an instance of a logger
logger = logging.getLogger(__name__)
def my_view(request, arg1, arg):
...
if bad_mojo:
# Log an error message
logger.error('Something went wrong!')
E é só isso! Toda vez que a condição bad_mojo
for válida, um registro de log indicando um erro será gravado.
Nomeando loggers¶
A chamada logging.getLogger()
obtém (cria, se necessário) uma instância de um logger. A instância do logger é identificada por um nome. Esse nome é usado para identificar o logger para propósitos de configuração.
Por convenção, o nome do logger é __name__
, o nome do módulo python que contém o logger. Isso permite que você filtre e manipule chamadas de log para cada módulo em específico. Contudo, se você tiver alguma outra forma de organizar as suas mensagens de log, você pode fornecer qualquer nome separado por pontos para identificar o seu logger:
# Get an instance of a specific named logger
logger = logging.getLogger('project.interesting.stuff')
Os caminhos com pontos do nome de um logger definem a hierarquia. O logger project.interesting
é considerado como o pai do logger project.interesting.stuff
; o logger project
é o pai do logger project.interesting
.
Por que a hierarquia é importante? Bem, porque os loggers podem ser configurados para propagar as chamadas de log de seus pais. Desta forma, você pode definir um conjunto único de handlers na raiz de uma árvore de loggers, e capturar todas as chamadas de log dentro da subárvore de loggers. Se um handler é definido no namespace project
ele irá obter todas as mensagens de log emitidas nos loggers project.interesting
e project.interesting.stuff
.
A propagação pode ser controlada para cada logger em especifico. Se você não quiser que um logger em particular propague para os seus pais, você pode desativar esse comportamento.
Fazendo chamadas de log¶
Cada instância de um logger contém um método de entrada para cada um dos leveis padrão de log:
logger.debug()
logger.info()
logger.warning()
logger.error()
logger.critical()
Existem ainda outras duas chamadas de log disponíveis:
logger.log()
: Emite manualmente uma mensagem de log com um level de log em específico.logger.exception()
: Cria uma mensagem de log usando o levelERROR
envolvendo a stack frame, ou estrutura de pilha em português, da exceção atual.
Configuring logging¶
Evidentemente, não é o bastante apenas adicionar chamadas de log no seu código. Você também precisa confgurar os loggers, handlers, filters e formatters para garantir que a saída de log seja exibida de forma útil.
A biblioteca de log do Python fornece várias técnicas para configurar o log, desde uma interface programática até arquivos de configuração. Por padrão, o Django usa o formato dictConfig.
Para configurar os logs, você irá utilizar LOGGING
para definir um dicionário de configurações de log. Essas configurações descrevem os loggers, handlers, filters e formatters que você deseja usar no seu ambiente de log, assim como os leveis de log e outras propriedads que você deseja que esses componentes possuam.
Por padrão, a configuração LOGGING
é mesclada a configuração padrão de logs do Django usando o esquema a seguir.
Se a chave disable_existing_loggers
na configuração dictConfig LOGGING
for definida como sendo True
(que é o padrão) então todos os loggers da configuração padrão serão desativados. Loggers desativados não são o mesmo que removidos; o logger ainda existirá, mas irá silenciosamente descartar qualquer coisa enviada para ele, sem nem mesmo propagar entradas para um logger pai. Portanto, você deve tomar bastante cuidado ao usar 'disable_existing_loggers': True
; Isso provavelmente não é o que você quer que aconteça. Ao invés disso, você pode configurar disable_existing_loggers
para False
e redefinir alguns ou todos os loggers padrão; ou ainda definir a configuração LOGGING_CONFIG
para None
e cuidar da configuração de logs você mesmo.
O log é configurado como parte da função geral setup()
do Django. Assim sendo, você pode se certificar que os loggers estarão sempre prontos para serem usados no código do seu projeto.
Exemplos¶
A documentação completa para o formato dictConfig é a melhor fonte de informação sobre configuração de dicionários de log. Contudo, para te dar uma ideia das possibilidades, aqui vão vários exemplos.
Primeiro, aqui vai uma configuração simples que grava tudo que vier do logger django para um arquivo local:
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'handlers': {
'file': {
'level': 'DEBUG',
'class': 'logging.FileHandler',
'filename': '/path/to/django/debug.log',
},
},
'loggers': {
'django': {
'handlers': ['file'],
'level': 'DEBUG',
'propagate': True,
},
},
}
Se você usar esse exemplo, certifique-se de alterar o caminho 'filename'
para um local com permissões de escrita pelo usuário que estiver rodando a aplicação Django.
Segundo, aqui vai um exemplo de como fazer o sistema de logs fazer prints de logs do Django no console. Isso pode ser útil durante o desenvolvimento local.
Por padrão, essa configuração só envia mensagens do level INFO
ou maior para o console (a mesma coisa vale para a configuração padrão de logs do Django, sendo a única exceção que a configuração padrão só exibe registros de logs quando DEBUG=True
).
import os
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'handlers': {
'console': {
'class': 'logging.StreamHandler',
},
},
'loggers': {
'django': {
'handlers': ['console'],
'level': os.getenv('DJANGO_LOG_LEVEL', 'INFO'),
},
},
}
Finalmente, aqui vai um exemplo de uma configuração bastante complexa de log:
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'verbose': {
'format': '%(levelname)s %(asctime)s %(module)s %(process)d %(thread)d %(message)s'
},
'simple': {
'format': '%(levelname)s %(message)s'
},
},
'filters': {
'special': {
'()': 'project.logging.SpecialFilter',
'foo': 'bar',
},
'require_debug_true': {
'()': 'django.utils.log.RequireDebugTrue',
},
},
'handlers': {
'console': {
'level': 'INFO',
'filters': ['require_debug_true'],
'class': 'logging.StreamHandler',
'formatter': 'simple'
},
'mail_admins': {
'level': 'ERROR',
'class': 'django.utils.log.AdminEmailHandler',
'filters': ['special']
}
},
'loggers': {
'django': {
'handlers': ['console'],
'propagate': True,
},
'django.request': {
'handlers': ['mail_admins'],
'level': 'ERROR',
'propagate': False,
},
'myproject.custom': {
'handlers': ['console', 'mail_admins'],
'level': 'INFO',
'filters': ['special']
}
}
}
Essa configuração de log faz o seguinte:
Identifica a configuração como sendo da ‘versão 1 do formato dictConfig’. Atualmente, essa é a única versão disponível.
Define dois formatters:
simple
, que só exibe o nome do level de log (por exemploDEBUG
) e a mensagem de log.A string
format
é uma string normal de formatação Python descrevendo os detalhes que devem ser exibidos em cada linha de log. A lista completa de detalhes que podem ser exibidos pode ser encontrada em Formatter Objects.verbose
, que exibe o nome do level de log, a mensagem de log, e também o tempo, o processo, a thread e o módulo que gerou a mensagem de log.
Define dois filters:
project.logging.SpecialFilter
, utilizando o aliasspecial
. Se esse filtro necessitar de argumentos adicionais, eles podem ser fornecidos como chaves adicionais no dicionário de configuração do filter. Nesse caso, o argumentofoo
será dado para o valor debar
na instanciação deSpecialFilter
.django.utils.log.RequireDebugTrue
, que transmite registros quandoDEBUG
éTrue
.
Define dois handlers:
console
, aStreamHandler
, which prints anyINFO
(or higher) message tosys.stderr
. This handler uses thesimple
output format.mail_admins
, anAdminEmailHandler
, which emails anyERROR
(or higher) message to the siteADMINS
. This handler uses thespecial
filter.
Configura três loggers:
django
, que transmite todas as mensagens para o handlerconsole
.django.request
, que transmite todas as mensagens do tipoERROR
para o handlermail_admins
. Adicionalmente, esse logger é marcado para não propagar mensagens. Isso significa que as mensagens de log gravadas emdjango.request
não serão manipuladas pelo loggerdjango
.myproject.custom
, que transmite todas as mensagens do levelINFO
ou maior e que também transmite o filtrospecial
para dois handlers – oconsole
, e omail_admins
. Isso significa que todas as mensagens de levelINFO
(ou maiores) serão exibidas no console; mensagensERROR
eCRITICAL
também serão emitidas via email.
Configurações customizadas de log¶
Se você não quer usar o formato dictConfig do Python para configurar o seu logger, você pode especificar o seu próprio esquema de configuração.
A configuração LOGGING_CONFIG
define o callable que será usado para configurar os loggers do Django. Por padrão, ele aponta para a função logging.config.dictConfig()
do Python. Contudo, se você quiser usar um processo diferente de configuração, você pode usar qualquer outro callable que recebe um único argumento. O conteúdo de LOGGING
será fornecido como sendo o valor do argumento onde o log será configurado.
Desabilitando a configuração de log¶
Se você não quser configurar qualquer tipo de log (ou se você deseja configurar o log manualmente usando sua própria abordagem), você pode definir LOGGING_CONFIG
para None
. Isso irá desabilitar o processo de configuração para configuração de log padrão do Django. Segue um exemplo de uma configuração que desabilita a configuração de logs do Django e então configura o log manualemente:
LOGGING_CONFIG = None
import logging.config
logging.config.dictConfig(...)
Configurar LOGGING_CONFIG
como None
significa tão somente que o processo de configuração automática está desabilitado, não os logs em si. Se você desabilitar o processo de configuração, o Django ainda fará chamadas de logs, recorrendo a qualquer comportamento padrão de log que for definido.
Extensões de log do Django¶
O Django fornece uma série de recursos para lidar com requisitos únicos de log em ambientes de Web servers.
Loggers¶
O Django fornece vários loggers embutidos.
django
¶
The catch-all logger for messages in the django
hierarchy. No messages are
posted using this name but instead using one of the loggers below.
django.request
¶
Mensagens de log relacionadas a manipulação de requisições. Respostas do tipo 5XX são levantadas como mensagens do tipo ERROR
; Respostas do tipo 4XX são levantadas como mensagens do tipo WARNING
.
Mensagens para esse logger possuem o seguinte contexto adicional:
status_code
: o código da resposta HTTP associado a requisição.request
: O objeto da requisição que gerou a mensagem de log.
django.server
¶
Mensagens de log relacionadas com a manipulação de requisições recebidas pelo comando runserver
. Respostas HTTP 5XX são logadas como mensagens do tipo ERROR
, respostas HTTP 4XX são logadas como mensagens do tipo WARNING
, e todo o resto é logado como INFO
.
Mensagens para esse logger possuem o seguinte contexto adicional:
status_code
: o código da resposta HTTP associado a requisição.request
: O objeto da requisição que gerou a mensagem de log.
django.template
¶
Mensagens de log relacionadas a renderização de templates.
- Variáveis de contexto esquecidas são logadas como mensagens do tipo
DEBUG
. - Exceções não capturadas levantadas durante a renderização de uma tag
{% include %}
são logadas como mensagens do tipoWARNING
quando o modo debug está desativado (útil já que{% include %}
silencia a exceção e retorna uma string vazia nesse caso).
django.db.backends
¶
Mensagens relacionadas a interação de código com o banco de dados. Por exemplo, cada comando SQL executado por uma requisição é logada no level DEBUG
para esse logger.
Mensagens para esse logger possuem o seguinte contexto adicional:
duration
: O tempo tomado para executar o comando SQL.sql
: O comando SQL que foi executado.params
: Os parâmetros que foram usados na chamada SQL.
Por questões de performance, o log de SQL só é ativado quando settings.DEBUG
é configurado como True
, independentemente do level de log ou dos handlers que estão instalados.
Nesse logger não estão incluídos initializações a level de framework (ex SET TIMEZONE
) ou consultas relacionadas ao gerenciamento de transações (ex BEGIN
, COMMIT
, e ROLLBACK
). Ative o log de consultas no seu banco de dados se você desejar ver todas as consultas de banco.
django.security.*
¶
Os loggers de segurança irão receber mensagens em qualquer ocorrência de SuspiciousOperation
e outros erros relacionados a segurança. Existe um sub-logger para cada subtipo de erro de segurança, incluindo todos do tipo SuspiciousOperation
s. O level de log depende de onde a exceção for manipulada. A maioria das ocorrências serão logadas como um aviso. enquanto que qualquer SuspiciousOperation
s que alcançar o handler WSGI será logada como um erro. Por exemplo, quando um cabeçalho HTTP Host
é incluído em uma requisição de um cliente que não for encontrado em ALLOWED_HOSTS
, Django irá retornar uma resposta 400, e uma mensagem de erro será logada para o logger django.security.DisallowedHost
.
Esses eventos de log irão alcançar o logger django
por padrão, que irá enviar emails de eventos de erro para os administradores quando DEBUG=False
. Requisições resultando em uma resposta 400 devido a uma SuspiciousOperation
não serão logadas no logger django.request
, mas somente para o logger django.security
.
Para silenciar um tipo em específico de SuspiciousOperation
, você pode sobrescrever o logger em específico seguindo o exemplo a seguir:
'handlers': {
'null': {
'class': 'logging.NullHandler',
},
},
'loggers': {
'django.security.DisallowedHost': {
'handlers': ['null'],
'propagate': False,
},
},
Outros loggers django.security
não baseados em SuspiciousOperation
são:
django.security.csrf
: Para falhas CSRF.
django.db.backends.schema
¶
Loga as consultas SQL que são executadas durante mudanças de esquema no banco de dados pelo migrations framework. Note que ele não irá logar as consultas executadas pela classe RunPython
. As mensagens para esse logger possuem params
e sql
em seu contexto extra (mas ao contrário de django.db.backends
, não possui duration
). Os valores tem o mesmo significado como explicado em django.db.backends.
Manipuladores¶
O Django fornece um handler de log adicional para os já fornecidos pelo módulo de log do Python.
-
class
AdminEmailHandler
(include_html=False, email_backend=None)[código fonte]¶ This handler sends an email to the site
ADMINS
for each log message it receives.Se o registro de log contém um atributo
request
, todos os detalhes da requisição serão incluídos no email. O assunto do email irá incluir a fase “internal IP” se o endereço IP do cliente foi informado emINTERNAL_IPS
; Caso contrário, ele irá incluir o “EXTERNAL IP”.Se o registro de log contiver infromações de rastreamento de pilha, o rastreamento de pilha será incluído no email.
O argumento
include_html
deAdminEmailHandler
é usado para controlar se o email de traceback inclui um anexo HTML contendo todo o conteúdo da página Web de debug que seria reproduzida seDEBUG
fosseTrue
. Para ativar esse valor em sua configuração, inclua ela na definição do handler paradjango.utils.log.AdminEmailHandler
, confome segue:'handlers': { 'mail_admins': { 'level': 'ERROR', 'class': 'django.utils.log.AdminEmailHandler', 'include_html': True, } },
Note que a versão HTML do email contém um traceback completo, com nomes e valores de variáveis locais em cada level da pilha, além dos valores da sua configuração do Django. Essa informação é potencialmente muito sensível, e você pode não querer enviá-la por email. Considere usar algo como Sentry para obter o melhor dos dois mundos – a rica informação dos tracebacks completos e mais a segurança de não enviar informações por email. Você pode também explicitamente designar certas informações sensíveis para serem filtradas para fora dos relatórios de erro – saiba mais em Filtrando relatórios de erro.
Utilizando o argumento
email_backend
deAdminEmailHandler
, o email backend que está sendo usado pelo handler pode ser sobrescrito, conforme segue:'handlers': { 'mail_admins': { 'level': 'ERROR', 'class': 'django.utils.log.AdminEmailHandler', 'email_backend': 'django.core.mail.backends.filebased.EmailBackend', } },
Por padrão, uma instância do backend de email especificado em
EMAIL_BACKEND
será usado.-
send_mail
(subject, message, *args, **kwargs)[código fonte]¶ Envia emails para os usuários administradores. Para customizar esse comportamento, você pode fazer uma subclasse de
AdminEmailHandler
e sobrescrever esse método.
-
Filtros¶
Django provides some log filters in addition to those provided by the Python logging module.
-
class
CallbackFilter
(callback)[código fonte]¶ Esse filter aceita uma função de callback (que deve aceitar um único argumento, o registro a ser logado), e chama essa função para cada registro que passa pelo filter. A manipulação desse registro não será continuada caso a função de callback retorne False.
Por exemplo, para filtrar para fora exceções do tipo
UnreadablePostError
(levantadas quando o usuário cancela um upload) de emails destinadoas a administradores, você teria que criar uma função de filtro:from django.http import UnreadablePostError def skip_unreadable_post(record): if record.exc_info: exc_type, exc_value = record.exc_info[:2] if isinstance(exc_value, UnreadablePostError): return False return True
E então adicioná-la na sua configuração de log:
'filters': { 'skip_unreadable_posts': { '()': 'django.utils.log.CallbackFilter', 'callback': skip_unreadable_post, } }, 'handlers': { 'mail_admins': { 'level': 'ERROR', 'filters': ['skip_unreadable_posts'], 'class': 'django.utils.log.AdminEmailHandler' } },
-
class
RequireDebugFalse
[código fonte]¶ Esse filtro irá passar adiante registros de logs somente quando settings.DEBUG for False.
Esse filtro é usado conforme a seguir na configuração default
LOGGING
para garantir que a classeAdminEmailHandler
somente envie emails de erro para os administradores quandoDEBUG
éFalse
:'filters': { 'require_debug_false': { '()': 'django.utils.log.RequireDebugFalse', } }, 'handlers': { 'mail_admins': { 'level': 'ERROR', 'filters': ['require_debug_false'], 'class': 'django.utils.log.AdminEmailHandler' } },
-
class
RequireDebugTrue
[código fonte]¶ Esse filtro é similar a
RequireDebugFalse
, exceto pelo fato de que os registros são passados adiante somente quandoDEBUG
éTrue
.
A configuração default de log do Django¶
Por padrão, o Django configura o log da seguinte forma:
Quando DEBUG
é True
:
- The
django
logger sends messages in thedjango
hierarchy (exceptdjango.server
) at theINFO
level or higher to the console.
Quando DEBUG
é False
:
- The
django
logger sends messages in thedjango
hierarchy (exceptdjango.server
) withERROR
orCRITICAL
level toAdminEmailHandler
.
Independentemente do valor de DEBUG
:
- The django.server logger sends messages at the
INFO
level or higher to the console.
Veja também Configurando o log para aprender como você pode complementar ou trocar essa configuração padrão de log.