#архитектура_хранения — Public Fediverse posts

Arrow Flight + ADBC: как гонять десятки ГБ/с между сервисами без REST

Привет, Хабр! Когда делаешь сервисы на C++ и вокруг летает много данных, в какой-то момент понимаешь простую вещь: REST хорош для управления сущностями, но плохо подходит для потока колонок в десятки гигабайт в секунду. Переносить фреймы по сто миллионов строк через JSON и спотыкаться об сериализацию — не наш путь. В статье рассмотрим как собрать транспорт данных на Apache Arrow Flight и где встраивается ADBC, чтобы между сервисами гонять таблицы почти на скорости сети и не городить зоопарк драйверов.

https://habr.com/ru/companies/otus/articles/941432/

#rest #потоковая_передача_данных #сжатие_данных #высоконагруженные_системы #RPC #производительность_сети #сериализация_данных #архитектура_хранения #масштабирование_сервисов