Изоляция запросов и приёмаВ большинстве самоуправляемых развертываний приём и запросы используют одни и те же узлы. В этом случае используйте общее число CPU как отправную точку. Изолированное масштабирование — когда вычислительные ресурсы для приёма и запросов выделяются независимо — поддерживается в ClickHouse Cloud через отдельные вычислительные пулы, то есть Warehouses.
Допущения
Допущения
- Для хранилища предполагается коэффициент сжатия 10x — обычно это консервативная оценка для журналов и трассировок.
- SLA для запросов: P50 — 1.5 секунды, P99 — 5 секунд.
- Мы предполагаем, что большинство запросов выполняется по недавним данным и следует логнормальному распределению с пиком примерно на одном часе и хвостом примерно до шести часов. Пользователи могут захотеть выделить отдельные вычислительные ресурсы для запросов к более старым данным. В ClickHouse Cloud эти ресурсы могут простаивать (и, следовательно, не создавать затрат), когда не используются.
- Хотя вычислительные ресурсы для запросов можно масштабировать независимо от ресурсов для приёма, они всё равно неразрывно связаны с объёмом приёма. Мы предполагаем, что с ростом приёма увеличивается плотность данных, что приводит к большим объёмам сканирования во время выполнения запросов и, как следствие, к более высоким требованиям к вычислительным ресурсам для запросов.
Уточнение допущений по сайзингу для вашей среды
Пример расчёта
- 1 500 ТБ = 1 500 000 000 МБ
- Секунд в месяце (30 дней): 30 × 24 × 60 × 60 = 2 592 000
- MB/s = 1 500 000 000 ÷ 2 592 000 ≈ 579 MB/s
- В сжатом виде за месяц: 1 500 ТБ ÷ 10 = 150 ТБ/месяц
- Для хранения в течение 3 месяцев: 150 ТБ × 3 = 450 ТБ всего
Изоляция рабочих нагрузок обсервабилити
- Изолировать нагрузку от приёма данных и запросов существующих приложений
- Независимо масштабировать рабочие нагрузки обсервабилити
- Не допускать влияния запросов обсервабилити на аналитику в продакшне
- При необходимости использовать одни и те же базовые данные в разных сервисах