#arenadata — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #arenadata, aggregated by home.social.
-
Greengage DB: новый open-source монстр MPP-аналитики. Конец эпохи Greenplum?*
Что, если Greenplum пережил перерождение? Новый проект Greengage DB возвращает PostgreSQL в большую игру — теперь с авто-масштабированием, чистым ядром и реальной совместимостью. Разбираемся, почему этот форк может стать «Linux для аналитики».
-
Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML
Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.
https://habr.com/ru/companies/rshb/articles/904072/
#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy
-
Первая ракета в космосе или миграция витрины эквайринг на ArenaData DB
Привет, Хабр! Меня зовут Иван Останин , я тимлид разработки в ВТБ. Направлением работы моей команды являются платформы данных. Сейчас мы работаем над проектом модернизации платформы данных банка. Сегодня я хочу поделиться с вами нашим опытом и инсайтами, которые мы получили в процессе этой масштабной и сложной задачи. Миграция решений на новую платформу — это, как запуск ракеты в космос: требует тщательной подготовки, командной работы и решений, которые не всегда очевидны. В этой статье я расскажу о нашем подходе, проблемах, с которыми мы столкнулись, и решениях, которые помогли нам успешно справиться с задачами. Надеюсь, наш опыт будет полезен вам и поможет в ваших проектах. Поехали!
https://habr.com/ru/companies/T1Holding/articles/834540/
#эквайринг #витрина_данных #etl #хранилище_данных #импортозамещение #business_intelligence #озеро_данных #dapp #arenadata #цех
-
Как правильно использовать большие данные: строим хранилища на MPP-СУБД
Немного контекста. · Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики. · Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах. · Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход. Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.
-
Что нового в Greenplum 7. Заключение
Перед вами заключительная, третья часть обзора изменений в Greenplum 7. Если вы по каким-то причинам пропустили прошлые публикации, то их можно найти в нашем блоге здесь и здесь . А сегодня мы поговорим об изменениях в партиционировании таблиц и ресурсных группах, JIT-компиляции выражений и многом другом. Давайте начнём! Назад в Будущее III
https://habr.com/ru/companies/arenadata/articles/824116/
#postgresql #greenplum #db #sql #arenadata_db #arenadata #highload #mpp #opensourse #bigdata
-
Что нового в Greenplum 7. Часть 2
В прошлой части обзора изменений и нововведений Greenplum 7 мы рассмотрели миграцию движка Append Optimized таблиц на использование интерфейса табличных методов доступа, оптимизацию добавления столбцов в таблицы, а также изменения, связанные с поддержкой индексов. Сегодня мы поговорим об ещё одном новом для Greenplum типе индексов и не только. Назад в Будущее II...
https://habr.com/ru/companies/arenadata/articles/822309/
#greenplum #postgres #sql #db #arenadata_db #arenadata #highload #mpp #opensourse #bigdata
-
Что нового в Greenplum 7
- Что вы ожидаете от Greenplum 7? - Postgres 12! Если бы мы проводили опрос наших заказчиков, ответ на данный вопрос прозвучал бы именно так. Как известно, Greenplum является одним из многочисленных форков Postgres, кодовая база которого наконец-то догнала ещё пока поддерживаемую версию Postgres (отмечу, что последний релиз Postgres 12 состоится в ноябре текущего года). Однако, наличие какого-либо функционала в Postgres не гарантирует его работу в рамках распределённой системы. В этой статье я начну рассказывать о функциях, которые стали доступны в новой версии, и о том, какой путь пришлось пройти, чтобы обеспечить их работоспособность, а также о возможных ограничениях и причинах их возникновения. Назад в Будущее...
https://habr.com/ru/companies/arenadata/articles/820807/
#postgresql #greenplum #sql #db #arenadata_db #arenadata #highload #mpp #opensourse #bigdata
-
Миграция Big Data на практике: как мы готовили напильники
Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracle не решил прекратить развивать это направление бизнеса. Тогда пришлось задуматься об альтернативе, и мы обратились к Arenadata Hadoop. По пути мы столкнулись с некоторыми, так скажем, особенностями: пришлось кое-что допиливать напильником. Сейчас многие сталкиваются с похожими проблемами импортозамещения продуктов. Так что мы с коллегой, директором проектов службы развития больших данных Дмитрием Власовым, решили написать эту статью, чтобы подсказать решения и предупредить о трудностях.
-
Миграция Big Data на практике: как мы готовили напильники
Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracle не решил прекратить развивать это направление бизнеса. Тогда пришлось задуматься об альтернативе, и мы обратились к Arenadata Hadoop. По пути мы столкнулись с некоторыми, так скажем, особенностями: пришлось кое-что допиливать напильником. Сейчас многие сталкиваются с похожими проблемами импортозамещения продуктов. Так что мы с коллегой, директором проектов службы развития больших данных Дмитрием Власовым, решили написать эту статью, чтобы подсказать решения и предупредить о трудностях.
-
Миграция Big Data на практике: как мы готовили напильники
Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracle не решил прекратить развивать это направление бизнеса. Тогда пришлось задуматься об альтернативе, и мы обратились к Arenadata Hadoop. По пути мы столкнулись с некоторыми, так скажем, особенностями: пришлось кое-что допиливать напильником. Сейчас многие сталкиваются с похожими проблемами импортозамещения продуктов. Так что мы с коллегой, директором проектов службы развития больших данных Дмитрием Власовым, решили написать эту статью, чтобы подсказать решения и предупредить о трудностях.