Isolamento de Consultas vs. IngestãoNa maioria das implantações autogerenciadas, a ingestão e a consulta compartilham os mesmos nós. Nesse caso, use o Total de CPUs como linha de base. O escalonamento isolado — em que a computação de ingestão e a de consulta são provisionadas de forma independente — é compatível com o ClickHouse Cloud por meio de pools de computação separados, também conhecidos como Warehouses.
Premissas
Premissas
- Uma taxa de compressão de 10x para armazenamento — normalmente conservadora para logs e traces.
- SLAs de consulta com P50 de 1,5 segundo e P99 de 5 segundos.
- Assumimos que a maioria das consultas ocorre sobre dados recentes, seguindo uma distribuição log-normal que atinge o pico em cerca de uma hora e se estende até cerca de seis horas. Os usuários podem querer provisionar computação dedicada para consultar dados mais antigos. No ClickHouse Cloud, ela pode ficar ociosa (e, portanto, sem gerar custos) quando não estiver em uso.
- Embora a computação de consulta possa ser escalada de forma independente da computação de ingestão, ela continua intrinsicamente vinculada ao volume de ingestão. Assumimos que, à medida que a ingestão aumenta, a densidade dos dados cresce, resultando em volumes de varredura maiores no momento da consulta e, consequentemente, em maiores requisitos de computação para consulta.
Refinando as premissas de dimensionamento para o seu ambiente
Exemplo prático
- 1.500 TB = 1.500.000.000 MB
- Segundos por mês (30 dias): 30 × 24 × 60 × 60 = 2.592.000
- MB/s = 1.500.000.000 ÷ 2.592.000 ≈ 579 MB/s
- Comprimido por mês: 1.500 TB ÷ 10 = 150 TB/mês
- Para retenção de 3 meses: 150 TB × 3 = 450 TB no total
Isolando cargas de trabalho de observabilidade
- Isolar a carga de ingestão e de consultas das aplicações existentes
- Escalar as cargas de trabalho de observabilidade de forma independente
- Evitar que consultas de observabilidade afetem as análises em produção
- Compartilhar os mesmos conjuntos de dados subjacentes entre serviços, quando necessário