Address
304 North Cardinal St.
Dorchester Center, MA 02124

Work Hours
Monday to Friday: 7AM - 7PM
Weekend: 10AM - 5PM

Detecção de anomalias com machine learning

No monitoramento de serviços e infraestruturas precisamos ir além de avisos básicos e alertas guiados por parâmetros estáticos.

Utilizando as mais modernas técnicas de ML (Machine Learning)

  • Feedforward Neural Network – Artificial Neuron
  • Radial Basis Function Neural Network
  • Multilayer Perceptron
  • Convolutional Neural Network
  • Recurrent Neural Network(RNN) – Long Short Term Memory
  • Modular Neural Network
  • Sequence-To-Sequence Models
  • Deep Neural Network

Desenvolvemos um sistema de predição de eventos que analisa em tempo real alertas de monitoramento e análise, e prevê problemas com até 6 horas de antecipação, com taxa de acerto acima de 80%. Este sistema já analisou mais de 800 GB de dados e mantém um tempo de resposta inferior a 600 ms.

Claro. A detecção de anomalias é a identificação de itens raros, eventos ou observações que levantam suspeitas por diferirem significativamente da maioria dos dados.

O aprendizado de máquina pode ser usado para automatizar a detecção de anomalias e torná-la mais eficaz, especialmente quando grandes conjuntos de dados estão envolvidos.

Existem dois tipos principais de detecção de anomalias no aprendizado de máquina:

  • A detecção supervisionada de anomalias requer um conjunto de dados rotulado contendo amostras normais e anômalas para construir um modelo preditivo para classificar pontos de dados futuros.
  • A detecção de anomalias não supervisionadas não requer nenhum dado de treinamento e, em vez disso, pressupõe duas coisas sobre os dados:
    • Apenas uma pequena percentagem de dados é anómala.
    • Qualquer anomalia é estatisticamente diferente das amostras normais.
  • Isolation Forest é um algoritmo baseado em árvore que isola anomalias particionando aleatoriamente os dados e contando o número de partições em que cada ponto de dados se enquadra. É mais provável que as anomalias sejam isoladas em menos partições.
  • DBSCAN é um algoritmo baseado em densidade que agrupa os dados e identifica anomalias como pontos de dados que não estão bem conectados a nenhum cluster.
  • Support Vector Machine (SVM) é um algoritmo de aprendizado supervisionado que pode ser usado para classificação e detecção de anomalias. Para detecção de anomalias, o SVM cria um hiperplano que separa os dados normais dos dados anômalos.
  • Local Outlier Factor (LOF) é um algoritmo não paramétrico que mede a densidade local de cada ponto de dados e identifica anomalias como pontos de dados que possuem uma densidade local baixa.
  • Autoencoders são redes neurais treinadas para reconstruir seus dados de entrada. As anomalias podem ser identificadas como pontos de dados que são mal reconstruídos pelo autoencoder.

A escolha do algoritmo de aprendizado de máquina para detecção de anomalias depende da aplicação específica e da disponibilidade de dados rotulados.

Aqui estão alguns dos benefícios de usar o aprendizado de máquina para detecção de anomalias:

  • Pode ser automatizado, o que pode economizar tempo e recursos.
  • Pode ser mais eficaz que os métodos estatísticos tradicionais, especialmente para grandes conjuntos de dados.
  • Pode ser usado para detectar anomalias em tempo real, o que pode ajudar a prevenir a ocorrência de problemas.
  • Requer um conjunto de dados rotulado para treinar o modelo, que pode não estar disponível em alguns casos.
  • O modelo pode não ser capaz de detectar todas as anomalias, especialmente se forem raras ou sutis.
  • O modelo pode ser sensível a alterações nos dados, o que pode exigir que ele seja treinado novamente regularmente.

No geral, o aprendizado de máquina é uma ferramenta poderosa para detecção de anomalias. Ele pode ser usado para automatizar o processo, melhorar a precisão e detectar anomalias em tempo real.

No entanto, é importante estar ciente dos desafios envolvidos e escolher o algoritmo de aprendizado de máquina correto para a aplicação específica. Fale conosco hoje mesmo.