DataProfiler Enterprise
Análise de Qualidade e Perfilamento de Dados processando Gigabytes com consumo mínimo de RAM.
O Problema: Big Data vs Hardware Limitado
🚀 Alta Performance
Esqueça o erro Out of Memory. Nossa arquitetura lê arquivos maiores que a RAM disponível, utilizando buffers inteligentes e I/O não bloqueante. Processa 10GB com apenas 512MB de RAM.
🛡️ SLA Automático
O sistema classifica automaticamente a qualidade das colunas (Ouro, Prata, Bronze) calculando a densidade de informação e consistência em tempo real para tomada de decisão.
👁️ Segurança & LGPD
Detector de PII (Dados Pessoais) integrado. O sistema varre e alerta sobre CPF, E-mails e Cartões de Crédito expostos para garantir conformidade.
📦 Single Binary
Zero dependências. O Backend (Go) e o Frontend (React) são compilados em um único arquivo executável .exe. Baixou, rodou, usou.
🧠 Inferência Inteligente
Esqueça o mapeamento manual (`schema`). O algoritmo de Type Inference analisa amostras dos dados para detectar automaticamente se a coluna é Inteiro, Decimal, Data ou Texto.
📊 Interface & Estatísticas
Frontend em React + Material UI. Oferece DataGrid com paginação nativa, filtros avançados e cálculo automático de estatísticas (Média, Mediana, Desvio Padrão) em tempo real.
A Engenharia por trás do Streaming
O diferencial do DataProfiler é a arquitetura Producer-Consumer. O dado flui através de canais concorrentes sem nunca ser carregado totalmente na memória.
graph LR
A[Arquivo CSV Massivo] -->|Stream Leitura| B(Go Reader / Buffer);
B -->|Chunks de Dados| C{Canal de Distribuição};
C -->|Worker 1| D[Validação de Tipos];
C -->|Worker 2| E[Regex PII];
C -->|Worker 3| F[Estatística];
D & E & F -->|Agregação| G[Relatório JSON];
G --> H[Dashboard React];
style B fill:#3f51b5,stroke:#fff,stroke-width:2px,color:#fff
style H fill:#2196f3,stroke:#fff,stroke-width:2px,color:#fff