No monitoramento de serviços e infraestruturas precisamos ir além de avisos básicos e alertas guiados por parâmetros estáticos.
Utilizando as mais modernas técnicas de ML (Machine Learning)
- Feedforward Neural Network – Artificial Neuron
- Radial Basis Function Neural Network
- Multilayer Perceptron
- Convolutional Neural Network
- Recurrent Neural Network(RNN) – Long Short Term Memory
- Modular Neural Network
- Sequence-To-Sequence Models
- Deep Neural Network
Desenvolvemos um sistema de predição de eventos que analisa em tempo real alertas de monitoramento e análise, e prevê problemas com até 6 horas de antecipação, com taxa de acerto acima de 80%. Este sistema já analisou mais de 800 GB de dados e mantém um tempo de resposta inferior a 600 ms.
Claro. A detecção de anomalias é a identificação de itens raros, eventos ou observações que levantam suspeitas por diferirem significativamente da maioria dos dados.
O aprendizado de máquina pode ser usado para automatizar a detecção de anomalias e torná-la mais eficaz, especialmente quando grandes conjuntos de dados estão envolvidos.
Existem dois tipos principais de detecção de anomalias no aprendizado de máquina:
- A detecção supervisionada de anomalias requer um conjunto de dados rotulado contendo amostras normais e anômalas para construir um modelo preditivo para classificar pontos de dados futuros.
- A detecção de anomalias não supervisionadas não requer nenhum dado de treinamento e, em vez disso, pressupõe duas coisas sobre os dados:
- Apenas uma pequena percentagem de dados é anómala.
- Qualquer anomalia é estatisticamente diferente das amostras normais.
- Isolation Forest é um algoritmo baseado em árvore que isola anomalias particionando aleatoriamente os dados e contando o número de partições em que cada ponto de dados se enquadra. É mais provável que as anomalias sejam isoladas em menos partições.
- DBSCAN é um algoritmo baseado em densidade que agrupa os dados e identifica anomalias como pontos de dados que não estão bem conectados a nenhum cluster.
- Support Vector Machine (SVM) é um algoritmo de aprendizado supervisionado que pode ser usado para classificação e detecção de anomalias. Para detecção de anomalias, o SVM cria um hiperplano que separa os dados normais dos dados anômalos.
- Local Outlier Factor (LOF) é um algoritmo não paramétrico que mede a densidade local de cada ponto de dados e identifica anomalias como pontos de dados que possuem uma densidade local baixa.
- Autoencoders são redes neurais treinadas para reconstruir seus dados de entrada. As anomalias podem ser identificadas como pontos de dados que são mal reconstruídos pelo autoencoder.
A escolha do algoritmo de aprendizado de máquina para detecção de anomalias depende da aplicação específica e da disponibilidade de dados rotulados.
Aqui estão alguns dos benefícios de usar o aprendizado de máquina para detecção de anomalias:
- Pode ser automatizado, o que pode economizar tempo e recursos.
- Pode ser mais eficaz que os métodos estatísticos tradicionais, especialmente para grandes conjuntos de dados.
- Pode ser usado para detectar anomalias em tempo real, o que pode ajudar a prevenir a ocorrência de problemas.
- Requer um conjunto de dados rotulado para treinar o modelo, que pode não estar disponível em alguns casos.
- O modelo pode não ser capaz de detectar todas as anomalias, especialmente se forem raras ou sutis.
- O modelo pode ser sensível a alterações nos dados, o que pode exigir que ele seja treinado novamente regularmente.
No geral, o aprendizado de máquina é uma ferramenta poderosa para detecção de anomalias. Ele pode ser usado para automatizar o processo, melhorar a precisão e detectar anomalias em tempo real.
No entanto, é importante estar ciente dos desafios envolvidos e escolher o algoritmo de aprendizado de máquina correto para a aplicação específica. Fale conosco hoje mesmo.