#инсерт — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #инсерт, aggregated by home.social.
-
Оптимизация инсертов в ClickHouse через Kafka Sink-коннекторы
Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность кластера в ClickHouse. Частые мелкие вставки данных через Kafka Sink-коннектор серьёзно замедляли работу ClickHouse из-за огромного числа отдельных запросов. Путём настройки параметров потребителя Kafka и включения объединения партиций удалось сгруппировать записи в крупные блоки, что резко снизило нагрузку на базу и многократно увеличило её пропускную способность.
https://habr.com/ru/companies/magnit/articles/926834/
#kafka #инсерт #оптимизация_запросов #clickhouse #коннекторы #insert #etl #etlпроцессы #dwh #elt