메트릭 레이블
clickhouse_org, clickhouse_service, clickhouse_service_name)과 함께 다음과 같은 ClickPipes 전용 레이블을 사용합니다.
| 레이블 | 설명 |
|---|---|
clickpipe_id | ClickPipe의 고유 식별자 |
clickpipe_name | ClickPipe의 이름 |
clickpipe_source | 소스 유형(예: kafka, postgres, s3) |
clickpipe_state | ClickPipe의 상태(예: Stopped, Provisioning, Running) |
응답 예시
# HELP ClickPipes_Info 항상 1입니다. 레이블 "clickpipe_state"에는 파이프의 현재 상태가 포함됩니다: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1
# HELP ClickPipes_FetchedEvents_Total 소스에서 가져온 레코드의 총 개수입니다.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376
# HELP ClickPipes_SentEvents_Total ClickHouse로 전송된 레코드의 총 개수입니다.
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250
# HELP ClickPipes_FetchedBytes_Total 소스에서 가져온 비압축 바이트의 총합입니다.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202
# HELP ClickPipes_SentBytes_Total ClickHouse로 전송된 비압축 바이트의 총합입니다.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967
# HELP ClickPipes_Errors_Total 데이터 수집 중 발생한 총 오류 수입니다.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0
# HELP ClickPipes_Latency 레코드가 생성된 시점부터 ClickHouse에 기록된 시점까지의 지연 시간(밀리초)입니다.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340
사용 가능한 메트릭
데이터 전송
| 메트릭 | 유형 | 설명 |
|---|---|---|
ClickPipes_FetchedBytes_Total | Counter | 소스에서 가져온 전체 비압축 바이트 수입니다. |
ClickPipes_FetchedBytesCompressed_Total | Counter | 소스에서 가져온 전체 압축 바이트 수입니다. 소스 데이터가 압축되지 않은 경우 ClickPipes_FetchedBytes_Total과 동일합니다. |
ClickPipes_FetchedBytesInitialLoad_Total | Counter | CDC ClickPipes 초기 적재 단계에서 가져온 전체 비압축 바이트 수입니다. |
ClickPipes_FetchedBytesResync_Total | Counter | CDC ClickPipes resync 작업 중 가져온 전체 비압축 바이트 수입니다. |
ClickPipes_SentBytes_Total | Counter | ClickHouse로 전송한 전체 비압축 바이트 수입니다. |
ClickPipes_SentBytesCompressed_Total | Counter | ClickHouse로 전송한 전체 압축 바이트 수입니다. |
이벤트 및 레코드
| 메트릭 | 유형 | 설명 |
|---|---|---|
ClickPipes_FetchedEvents_Total | Counter | 소스에서 가져온 레코드의 총 개수입니다. |
ClickPipes_SentEvents_Total | Counter | ClickHouse로 전송한 레코드의 총 개수입니다. |
ClickPipes_FetchedEvents_PerTable | Gauge | CDC ClickPipes 대상 테이블 및 이벤트 유형별로 가져온 레코드 수입니다. 추가 destination_table 및 event_type 레이블을 사용합니다. |
오류
| 메트릭 | 유형 | 설명 |
|---|---|---|
ClickPipes_Errors_Total | Counter | 수집 중 발생한 오류의 총수입니다. |
지연 시간
| 메트릭 | 유형 | 설명 |
|---|---|---|
ClickPipes_Latency | Gauge (avg) | 레코드가 소스에서 생성된 시점부터 ClickHouse에 기록되는 시점까지의 시간(밀리초)입니다. |
ClickPipes_SourceReplicationLatency_MiB | Gauge (avg) | CDC ClickPipes의 소스 측 복제 지연을 MiB 단위로 나타냅니다. Postgres ClickPipes에서는 replication slot 지연을 반영합니다. |
리소스 사용량
| 메트릭 | 유형 | 설명 |
|---|---|---|
ClickPipes_Replica_CPUUsage | Gauge (avg) | 수집 레플리카의 평균 CPU 사용량이며, 단위는 밀리코어입니다. |
ClickPipes_Replica_CPULimit | Gauge (last) | 수집 레플리카에 설정된 CPU 제한이며, 단위는 밀리코어입니다. |
ClickPipes_Replica_MemoryUsage | Gauge (avg) | 수집 레플리카의 평균 메모리 사용량이며, 단위는 바이트입니다. |
ClickPipes_Replica_MemoryLimit | Gauge (last) | 수집 레플리카에 설정된 메모리 제한이며, 단위는 바이트입니다. |
상태 및 진행
| 메트릭 | 유형 | 설명 |
|---|---|---|
ClickPipes_Info | Gauge | 항상 1입니다. 파이프 상태를 기준으로 필터링하거나 알림을 설정하려면 clickpipe_state 레이블을 사용합니다. |
ClickPipes_LastFetchedBatchId | Gauge | 소스에서 마지막으로 가져온 Batch의 ID입니다. |
ClickPipes_LastSentBatchId | Gauge | ClickHouse로 마지막으로 전송한 Batch의 ID입니다. |
관련 페이지
- Prometheus 엔드포인트 — 외부 도구(예: Grafana, Datadog)를 위한 엔드포인트 참고 문서, 인증 및 설정
- 오류 보고 — 레코드 및 시스템 오류가 저장되는 위치