Live and recent posts from across the Fediverse tagged #миграция_бд, aggregated by home.social.
Firebase больше не тянет: как мы строили real-time-чаты на Centrifugo
Расскажу, как мы отказались от внешних серверов, безболезненно пережили переезд, избежали сбоев в высокий сезон и сократили расходы на эксплуатацию чатов в 100 (сто!) раз. Эта история — о нашем пути от Firebase к Centrifugo.
https://habr.com/ru/companies/flowwow/articles/1082954/
#firebase #centrifugo #highload #чаты #миграция_бд #websockets #realtime #kubernetes #mysql #микросервисы
OceanBase как БД для Zabbix + онлайн-миграция с PostgreSQL через Flink CDC. Экономия места в 15–18 раз
Перевёл Zabbix с PostgreSQL на OceanBase онлайн, без простоя и потери метрик. Flink CDC лил данные из PostgreSQL в реальном времени, пока я переключал хосты по одному. Таблицы с историей сжались в 15–18 раз. Пошаговый разбор и все грабли.
Мажорное обновление Greengage с помощью pg_upgrade и ggupgrade
Разбираем мажорное обновление Greengage с версии 6 на 7: как работает pg_upgrade, какие шаги нужны для обновления кластера, чем помогает ggupgrade и какой выигрыш по времени дают копирование файлов и режим жестких ссылок.
https://habr.com/ru/companies/greengage/articles/1051910/
#greengage #postgresql #upgrade #major #обновление #обновление_бд #миграция_данных #миграция_бд #миграция_бд_на_postgresql #greenplum
Диапазонный тип данных в PostgreSQL: ускоряем запросы
Привет, Хабр! Пишет эту статью Александра Лысенко — вчера я была студенткой, а сегодня как инженер-программист Nexign спешу поделиться приобретенным опытом. Мой первый проект для реального бизнеса был связан с миграцией с Oracle на PostgreSQL. Сегодня расскажу, как внедрение диапазонного типа данных при переходе между СУБД позволило не просто сохранить производительность, но и превзойти исходные показатели. Если вы тоже только начинаете свой карьерный путь — надеюсь, этот материал вам поможет.
https://habr.com/ru/companies/nexign/articles/1052014/
#postgresql #oracle #database #миграция #миграция_бд #миграция_данных #миграции_бд #миграция_базы_данных #миграции_базы_данных #субд
Четыре провала за четыре года — и четыре человека с AI, которые переписали всё за два месяца
Четыре года мы пытались переписать нашу платформу для проведения IT-соревнований Codenrock. Четыре раза отступали. На пятый — два разработчика, тестировщик и UI-дизайнер справились за два месяца. У каждого — Claude Code на максимальной подписке. Это история о том, как технический долг накапливает проценты, как мы выбирали стек для новой платформы и что на самом деле значит «80% кода пишет AI».
https://habr.com/ru/articles/1000354/
#react #nextjs #миграция_бд #монолит #aiагенты #aiагенты_в_работе #рефакторинг #техническая_документация #legacyкод #cicd
Как перенести свои данные в Digital Q.DataBase из других СУБД
Привет, Хабр! В предыдущей статье мы рассказали, как установить Digital Q.DataBase на Astra Linux 1.8 и начать работу с этой российской СУБД, которая поддерживает нативную работу с диалектами MS SQL, PostgreSQL и Oracle. Сегодня мы поговорим о том, как перенести уже существующие данные в Digital Q.DataBase из других систем управления базами данных. Для решения поставленной задачи мы разработали инструмент – Мастер переноса БД. Он позволяет выгрузить структуру, данные и хранимую логику из уже развернутой БД на одной из трех СУБД (Oraсle, MS SQL и PostgreSQL) и загрузить их в Digital Q.DataBase без переписывания кода приложений в отличие от любых миграторов-конверторов.
https://habr.com/ru/companies/diasoft_company/articles/989928/
#субд #sql #postgresql #база_данных #хранение_данных #itинфраструктура #big_data #digital_qdatabase #миграция_данных #миграция_бд
Большой разворот: как изменился стек технологий в российском IT после 2022 года
Если оглянуться на последние три года в российской IT-индустрии, становится ясно: мы пережили полноценную трансформацию. Процесс, который в обычных условиях занял бы лет пять-семь, сжался в 2-3 раза. Для многих это был болезненный, но продуктивный стресс-тест для всей экосистемы. В этой статье я постараюсь глубже раскрыть тему, не буду останавливаться на банальных «было-стало». Сразу хочу попросить написать в комментариях: с какими трудностями вы столкнулись? Что было сложнее всего? Что далось проще? Какие неожиданные проблемы выскакивали и как вы с ними боролись? Думаю всем будет интересно почитать о вашем опыте. И так, начнём!
https://habr.com/ru/companies/timeweb/articles/971778/
#стек_технологий #ПО #Миграция_IT #миграция_бд #импорт #oracle #ci_cd #itинфраструктура #opensource #timeweb_статьи
[Перевод] Zabbix – миграция с MySQL на PostgreSQL
Всем привет! Мы делаем проекты по Zabbix, накопили большую экспертизу и решили сделать переводы нескольких статей, которые нам показались интересными и полезными. Наверняка, будут полезны и вам. Также своим опытом делимся в телеграм-канале zabbix_ru , где вы можете найти полезные материалы и записи наших вебинаров, опубликованных на нашем ютуб-канале (прим. переводчика). В этой статье мы покажем вам, как перенести базу данных Zabbix из MySQL в PostgreSQL на Rocky Linux 9. Заодно покажем, как включить TimescaleDB, а также выполним некоторые базовые настройки производительности. В статье предполагается, что если доступны необязательные патчи (ключи с плавающей точкой и первичные ключи ), то они уже применены к базе данных. Если вы в этом не уверены, информация об этом статусе также отображается во фронтенде в разделе System information , например, «Database history tables upgraded: No». Мы заранее предупреждаем вас, что вы осуществляете миграцию на свой страх и риск, и мы не несем ответственности за любой ущерб, вызванный непрофессиональным вмешательством.
https://habr.com/ru/articles/970516/
#zabbix #postgresql #mysql #миграция_бд #миграция_данных #gals_software
Вы все еще изобретаете велосипеды при миграции данных из Oracle в Postgres? Мы тоже
В статье я расскажу о практических кейсах и сложностях, возникающих (и возникавших) в процессе миграции данных между СУБД (Oracle -> Postgres), а также о собственном инструменте миграции данных, который вы также можете попробовать.
Миграция без боли и даунтайма: как мы перевозили данные с MongoDB на PostgreSQL
Всем привет! Меня зовут Андрей, я бэкенд‑разработчик ядра Яндекс Диска. В индустрии я уже около 15 лет и повидал некоторое ПО. Последние три года занимаюсь ядром файловой системы — всем, что связано с метаданными о файлах. Однажды мы в Диске переносили общие данные из шардированного MongoDB в шардированный же PostgreSQL. После переноса пользовательских данных у нас осталась часть данных про общие папки.Их было сложно изолировать внутри шарда пользователя, и они остались в общей БД на MongoDB, которую мы так и назвали — CommonDB. Спустя время мы заметили, что общая БД не справляется с нагрузкой: все запросы перед выполнением должны были сначала получить информацию об общих папках, и только после этого они начинали работать. Поэтому надо было дублировать информацию ближе к другим данным пользователей — на их шарды. Однако при дублировании важно было избежать распределённых транзакций, так как они снижают общую производительность. Также проблемой был сам процесс перехода: у нас сотни миллионов пользователей, которые не должны были ощущать процесс перехода и потерять доступ к своим данным. При этом надо было выкатывать изменения не сразу на 100%, а частично, с возможностью в любой момент отключить функциональность. При выкатке также нельзя было допустить даунтайм. В статье я хочу поделиться опытом этой масштабной миграции. Под катом покажу, как вообще устроены сложные миграции и как к ним подходить. А также перечислю те пункты, на которые нужно обратить внимание, если вам предстоит миграция под нагрузкой. Замигрировать
https://habr.com/ru/companies/yandex/articles/945094/
#миграция_бд #сага #mongodb #postgresql #шеринг #миграция_данных #шардирование
Как успешно мигрировать с Oracle на Postgres Pro Enterprise
Миграция с Oracle в «ванильный» PostgreSQL ломается на пакетах, автономных транзакциях и коллекциях — там их просто нет. Разбираем, почему ora2pg спотыкается, что дает нативная реализация этих механизмов в Postgres Pro Enterprise и как ora2pgpro переводит PL/SQL семантически точно, без костылей и регулярок.
https://habr.com/ru/companies/postgrespro/articles/940836/
#миграция #миграция_данных #миграция_бд #миграция_на_свободное_по #миграция_базы_данных #ora2pg #oracle #oracle_database #postgresql #postgres
Мы научились переносить базу данных с Oracle на Postgres Pro со скоростью 41 ТБ/сутки
41 ТБ/сутки по маршруту Oracle → Postgres Pro без остановки исходной системы — это не теория, а цифры последних тестов. Мы разложили миграцию на три этапа: быструю начальную загрузку, CDC из redo-логов и валидацию, и собрали их в ProGate. Как устроен конвейер, почему Go и где прячутся узкие места — расскажем в статье.
https://habr.com/ru/companies/postgrespro/articles/935462/
#миграция_данных #миграция_бд #миграция #миграция_на_свободное_по #миграции_бд #postgresql #oracle #oracle_database #oracle_sql #postgres_pro
Миграция Левиафана: как удалось перевести базу в 40 ТБ данных на Postgres Pro
Переезд крупных, высоконагруженных систем с одной СУБД на другую — всегда вызов, сравнимый с хирургической операцией на работающем сердце. Компания ОТР поделилась уникальным опытом миграции одной из таких систем с Oracle на отечественную Postgres Pro. Ирина Токарева и Сергей Кузнецов из ОТР рассказали о тернистом пути, противостоянии росту энтропии больших объёмов поступающих и изменяемых данных, достигнутых результатах. Узнать тайны переезда 👉
https://habr.com/ru/companies/postgrespro/articles/924220/
#миграция_бд #миграция_данных #миграция #oracle #oracle_database #postgres_pro #postgres_pro_enterprise #кейс
Как мигрировать большую 10+ Тб базу 1С из MS SQL в PostgreSQL и уложиться в трехчасовое окно
Тема перехода на PostgreSQL весьма популярна, и почти на каждой конференции по PG обязательно есть парочка докладов на эту тему. Почему же эта тема до сих пор злободневна? Когда мы начинали свой блог здесь на Хабре, наша первая статья была посвящена как раз задаче перевода больших баз данных MSSQL –> PostgreSQL. И первой причиной, из-за которой компании решаются на переход мы называли законодательство. А именно, необходимость для государственных и окологосударственных организаций, чьи информационные системы относятся к значимым объектам критической информационной инфраструктуры (ЗОКИИ) переводить свою работу на отечественное ПО. Прошло два года. И это всё еще основная причина. Это не будет инструкция в стиле «делай раз», «делай два». Это будет про то, что большие базы в принципе очень тяжело и рискованно передвинуть (СУБД, платформа, окружение,…). И мы предлагаем собственный метод, как это сделать с гарантией отсутствия простоев бизнеса. Даже если что-то пойдет не так в «новой» системе, пользователи не должны страдать, а бизнес простаивать. Это главное!
https://habr.com/ru/companies/softpoint/articles/921038/
#миграция_бд #postgresql #переход_MSSQL_PostgreSQL #MSSQL2PostgreSQL #dbreplication
Как мигрировать данные между разными StorageClass в Kubernetes и зачем это делать
Миграция данных в Kubernetes: практическое руководство. Узнайте, как легко и безопасно перемещать данные между различными StorageClass с помощью простых шагов.
https://habr.com/ru/companies/flant/articles/868280/
#devops #kubernetes #pvc #linstor #k8s #storageclass #хранение_данных #миграция_данных #миграция_бд #statefull
[Перевод] Почему многие пользуются древними версиями Postgres?
Postgres 17.0 уже вышла, и она замечательная, но реальность такова: большинство пользователей Postgres не выполняют апгрейд сразу же. Многие, вероятно, сейчас даже не на 16.4, и даже не на 16 , они пользуются Postgres 15 или ещё более старой версией. Ситуация с Postgres не такая же, как с новыми Call of Duty, когда каждый хочет скачать обновление сразу же после его выхода. Почему же люди так неохотно идут на апгрейд? На то есть множество причин, но всё сводится к двум основным: качество работы Postgres и неудобство апгрейдов.
https://habr.com/ru/companies/ruvds/articles/852266/
#postgres #субд #базы_данных #миграция_бд #миграция_данных #ruvds_перевод
«Переезд» в другую СУБД: как не потерять данные
Привет, Хабр! На связи Александр Чебанов, product owner Modus. Вопросы «переезда» из одной СУБД в другую всплывают регулярно, особенно актуальны они для растущих компаний. Поэтому начнем говорить о миграции и о том, как этот процесс проходит для наших пользователей. Первая статья будет довольно простая и для тех, кто только "смотрит" в сторону смены БД. Поехали!
https://habr.com/ru/companies/modusbi/articles/841200/
#миграция_бд #миграция_данных #миграция #modus #modusbi #бд #dwh
Миграция терабайтной базы 1С: УПП с платформы 1C 8.1 на 8.3
Продолжаем обсуждать вопросы, связанные с миграцией больших баз данных. Сегодня поговорим про, казалось бы, обыденный случай – обновление платформы 1С. Большие базы, как обычно, накладывают свои ограничения на все процессы обновления/обслуживания/конвертации. Есть много рисков, которые необходимо предусмотреть на берегу, подстелить соломки, чтобы не получить простои системы и бизнеса. Статья получилась не совсем обычная, потому что писалась она в соавторстве с заказчиком по результатам успешного завершения проекта миграции. Соответственно, здесь будет сразу два взгляда на один и тот же проект.
https://habr.com/ru/companies/softpoint/articles/820637/
#perfexpert #dbreplication #datacluster #Много_Мебели #Обновление_платформы_1С #миграция_бд #большая_база_данных
Безопасный Continuous Deployment БД по принципам DB-First
В статье рассматривается Continuous Deployment для БД с бесшовными релизами за счёт обратно-совместимых обновлений и автоматизации проверок совместимости с помощью подхода DB-First.
https://habr.com/ru/articles/808279/
#continuous_deployment #dbfirst #кодогенерация #автоматизация #cicd #postgresql #миграция_бд #database_as_code #обратная_совместимость
Миграция с MSSQL Server на PostgreSQL. Предпосылки
Сегодня обсудим общие вопросы, связанные с миграцией баз данных на новую платформу. Как обычно, акцент сделан на системах 1С:Предприятие, как самых популярных на российском рынке. Но многие рекомендации универсальны и годятся для всех ИТ-систем.
https://habr.com/ru/companies/softpoint/articles/806127/
#миграция_бд #posgresql #perfexpert #репликация_баз_данных #dbreplication #sql_server #переход_на_PostgreSQL #миграция_1С
Как мы переехали с Oracle на PostgreSQL в нагруженном сервисе без даунтайма
Всем привет! Я Сергей, работаю в B2B-команде Яндекс Маркета последние 3,5 года. Как уже понятно из заголовка, сейчас я вам расскажу про yet-another-миграцию с базы на базу, которая началась в середине 2021 года и заняла почти год. Получается, мемуары. Вас ждёт рассказ о том, как мы: - несколько месяцев чинили тесты и делали трансформер; - десятки раз переливали данные; - чинили баги незаметно для пользователей; - заставили сервис работать на PostgreSQL быстрее, чем он работал на Oracle.
https://habr.com/ru/companies/yandex/articles/801415/
#яндекс #postgresql #миграция_бд #oracle #базы_данных #spring
Миграции в YDB с помощью «goose»
Любой более или менее серьезный продакшен, работающий с базой данных, подразумевает процесс миграции - обновление структуры базы данных от одной версии до другой (обычно более новой) [ источник ]. Миграции в БД можно делать вручную или использовать для этого специальные утилиты (фреймворки). В данной статье речь идет об утилите goose . Это инструмент миграции схемы, который обеспечивает управление миграциями схемы в проекте. Начиная с версии v3.16.0 goose поддерживает YDB - распределенную open-source СУБД. В данной статье мы будем разбирать кейс применения миграций конкретно в YDB.