查询与摄取的隔离在大多数自管理部署中,摄取和查询共享同一组节点。在这种情况下,请将 Total CPUs 作为基线。隔离扩缩容——即分别为摄取和查询独立预配计算资源——在 ClickHouse Cloud 中可通过独立计算池 (也称为 Warehouses) 实现。
假设
假设
- 存储采用 10x 压缩率——对于日志和链路追踪来说,这通常是一个较为保守的估计。
- 查询 SLA 假设为 P50 1.5 秒、P99 5 秒。
- 我们假设大多数查询都针对近期数据,遵循一种在约 1 小时处达到峰值、并延伸至约 6 小时的对数正态分布。对于较旧数据的查询,用户可能希望预配专用计算资源。在 ClickHouse Cloud 中,这部分计算资源在不使用时可以处于闲置状态 (因此不会产生费用) 。
- 虽然查询计算资源可以独立于摄取计算资源进行扩缩容,但它在本质上仍与摄取量相关。我们假设随着摄取量增加,数据密度也会提高,从而导致查询时扫描的数据量更大,因此需要更多查询计算资源。
针对您的环境细化容量估算假设
示例计算
- 1,500 TB = 1,500,000,000 MB
- 每月秒数 (30 天) :30 × 24 × 60 × 60 = 2,592,000
- MB/s = 1,500,000,000 ÷ 2,592,000 ≈ 579 MB/s
- 每月压缩后:1,500 TB ÷ 10 = 150 TB/月
- 保留 3 个月:150 TB × 3 = 总计 450 TB
隔离可观测性工作负载
- 将摄取和查询负载与现有应用隔离
- 独立扩展可观测性工作负载
- 避免可观测性查询影响生产环境分析
- 在需要时跨服务共享相同的底层数据