#конвейер_данных — Public Fediverse posts

[Перевод] Как Cloudflare отодвинул закупку железа на 8 месяцев: сэмплирование, агрегации и zstd в конвейере данных

Команда Data в Cloudflare рассказывает, как держит под контролем конвейер данных, через который идёт около двух миллиардов событий в секунду, пока трафик растёт экспоненциально, а железо линейно. Пять шагов за пять лет: разбор монолитной схемы (−35–40% трафика), замена LZ4 на zstd (−40% сжатого трафика), поздняя репликация вместо двойной записи (−36 ГБ/с), двойное сэмплирование (−25 ГБ/с, 2 ПБ в сутки) и агрегации по всему конвейеру (−80% на HTTP-наборе). С графиками и цифрами по каждому шагу. Читать дальше →

https://habr.com/ru/articles/1094000/

#аналитика #сжатие_данных #сэмплирование #cloudflare #lz4 #clickhouse #zstd #конвейер_данных

Как я устал писать парсер под каждый прайс и сделал из этого библиотеку

У нас на проекте десятки прайсингов на топливо: один вендор шлёт CSV, другой Excel, третий JSON на вебхук. Данные одни и те же, но колонка цены везде называется по-своему, даты в трёх форматах, единицы то литры, то галлоны, а половина нужных полей просто отсутствует. И под каждый источник у меня жил отдельный парсер на сотню строк if-else. Сначала их было три, потом восемь, потом я перестал считать. А по-настоящему добило другое: эти парсеры ломались молча. Вендор тихо переименовывал колонку. В третий раз за месяц копируя один и тот же парсер, я понял, что так нельзя, и вынес логику маппинга из кода в данные. Из этого выросла библиотека fidelis: ты описываешь данные один раз как Pydantic-модель, а соответствие под каждый кривой источник один раз пишет LLM — в виде читаемой YAML-спеки, которую ты ревьюишь и коммитишь. Дальше LLM не нужен: чистый детерминированный Python, валидация каждой строки и отлов изменений схемы ещё в CI. Рассказываю, как дошёл до жизни такой и как это устроено.

https://habr.com/ru/articles/1053956/

#python #парсинг_данных #ETL #pydantic #обработка_csv #интеграция_данных #llm #конвейер_данных #валидация_данных #open_source

Предиктивная аналитика в финтехе: модели, конвейер данных и риски внедрения

Финансовые системы каждый день генерируют потоки данных: транзакции, котировки, события в мобильных приложениях, отчёты партнёров. Данные легко превратить в витрины и отчёты. Сложнее — превратить их в прогноз, который помогает принять решение в моменте. Предиктивная аналитика отвечает на вопрос «что, скорее всего, произойдёт дальше». В финтехе это обычно сводится к вероятности события или прогнозу числа: риск дефолта, вероятность мошенничества, ожидаемый спрос на продукт. Дальше модель уже превращают в действие: лимит, скоринговый порог, приоритет проверки. В статье расскажем, какие типы моделей чаще используют в финтехе, где они применяются, как обычно устроен конвейер данных и моделей, и какие ограничения чаще всего ломают качество в эксплуатации.

https://habr.com/ru/companies/sberbank/articles/986672/

#предиктивная_аналитика #финтех #антифрод #модели #конвейер_данных #риски_внедрения #скоринговый_порог