No projeto Hórus, utilizamos uma combinação de ferramentas para lidar com grandes volumes de dados e otimizar o processamento e monitoramento. Kafka foi utilizado como sistema de mensageria para permitir a ingestão e transmissão de dados em tempo real, garantindo alta escalabilidade e confiabilidade na comunicação entre diferentes componentes. HBase foi a escolha para armazenar grandes volumes de dados em formato não-relacional, oferecendo alta performance e acessibilidade para dados distribuídos e de alta velocidade. Nifi foi usado para automação e gerenciamento do fluxo de dados, garantindo que a transferência e transformação de dados entre sistemas fosse eficiente e controlada.

Para a análise e consulta dos dados, utilizamos Hive e Impala, que permitiram a execução de consultas SQL em grandes volumes de dados armazenados no HDFS, com Impala oferecendo consultas em tempo real de maneira rápida. Java (APIs) foi utilizado para a construção de APIs e integração dos sistemas, enquanto Python foi empregado em aplicações de Abordagem Inteligente e Fiscalização AGR, implementando modelos e soluções baseadas em aprendizado de máquina para análise de dados complexos e automação de processos. Por fim, Grafana foi responsável pelo monitoramento em tempo real, proporcionando visualizações e alertas para garantir o bom funcionamento do sistema e facilitar a tomada de decisões.

Essas ferramentas, trabalhando juntas, possibilitaram a construção de uma solução robusta, eficiente e inteligente para o projeto Hórus.