Detecção de anomalias com machine learning
Alertas baseados em limites fixos (avisar se a CPU passar de 90%) avisam quando o problema já aconteceu, e geram tanto falso alarme que a equipe acaba ignorando.
Em operações grandes, o que importa é perceber o comportamento fora do padrão antes que ele vire indisponibilidade.
A Dupla desenvolve modelos de machine learning que aprendem o comportamento normal dos seus serviços e sinalizam o que foge dele.
Um caso em produção
Desenvolvemos um sistema de predição de eventos que analisa em tempo real os alertas de monitoramento e prevê problemas com até 6 horas de antecedência, com taxa de acerto acima de 80%.
O sistema já analisou mais de 800 GB de dados e mantém tempo de resposta abaixo de 600 ms.
Seis horas de antecedência é a diferença entre uma correção planejada e uma madrugada de crise.
Como funciona
- Aprendizado do normal: o modelo aprende, a partir do histórico, como cada serviço se comporta em cada horário e situação.
- Detecção do anormal: eventos, métricas ou combinações de sinais que fogem do padrão são sinalizados, mesmo sem ultrapassar nenhum limite fixo.
- Previsão: padrões que historicamente antecederam falhas disparam alertas antecipados.
- Integração: os modelos se conectam aos sistemas de monitoramento e análise de dados que você já usa.
Técnicas
Escolhemos a técnica conforme os dados disponíveis.
Quando não há histórico de falhas rotulado, usamos métodos não supervisionados, como Isolation Forest, Local Outlier Factor e autoencoders.
Para séries temporais e previsão, usamos redes neurais recorrentes (como LSTM) e modelos sequence-to-sequence.
Limitações, ditas com clareza
- Nenhum modelo detecta todas as anomalias, principalmente as muito raras ou sutis.
- Mudanças grandes na operação (nova arquitetura, novo padrão de tráfego) exigem retreinar o modelo.
- A qualidade da previsão depende da qualidade e do volume do histórico disponível.
Onde se aplica
Monitoramento de infraestrutura e serviços, e qualquer fluxo de dados em que um comportamento fora do padrão precise ser percebido rápido, como pedidos, pagamentos ou envios de e-mail.
Fale com a gente e conte o que você monitora hoje.
Utilize o formulário ao lado.