#загрузка_данных — Public Fediverse posts

Выбор российского ETL-инструмента в 2025 и чек-лист

Привет! Перед вами новое исследование, посвящённое одной из ключевых технологий управления данными — процессам извлечения, преобразования и загрузки данных (ETL) . Оно стало логическим продолжением первого обзора рынка ETL-решений, выпущенного нашей командой три года назад. За это время многое изменилось. Если в 2022-м рынок опирался на зарубежные платформы, то сегодня акценты сместились в сторону отечественных продуктов. Причины очевидны: уход иностранных вендоров, трудности с продлением лицензий, обновлениями и поддержкой. Импортозамещение из формальности превратилось в стратегическую задачу, а потребность в надёжных российских инструментах — в вопрос технологической безопасности. Одновременно усилились и глобальные вызовы: рост объёмов данных, переход бизнеса к моделям прогнозной аналитики и управлению на основе данных. ETL-системы в этой экосистеме занимают фундаментальное место — именно они превращают разрозненные источники в согласованный поток информации, на котором строятся аналитика, модели машинного обучения и управленческие решения.

https://habr.com/ru/articles/974502/

#ETL #extract #transform #load #загрузка_данных #dwh #хранилище_данных #слои_данных

[Перевод] Самый быстрый способ загрузить 32 000 строк в PostgreSQL с помощью Python

Команда Python for Devs подготовила перевод статьи о том, как найти самый быстрый способ загрузки данных в PostgreSQL с помощью Python. Автор пошагово сравнил разные методы — от построчных вставок до COPY с потоковой генерацией CSV — и показал, как ускорить процесс более чем в 250 раз при нулевом потреблении памяти.

https://habr.com/ru/articles/948854/

#postgresql #python #psycopg #загрузка_данных #импорт_данных #csv #copy #execute_batch #execute_values #оптимизация_производительности

[Перевод] Самый быстрый способ загрузить 32 000 строк в PostgreSQL с помощью Python

Команда Python for Devs подготовила перевод статьи о том, как найти самый быстрый способ загрузки данных в PostgreSQL с помощью Python. Автор пошагово сравнил разные методы — от построчных вставок до COPY с потоковой генерацией CSV — и показал, как ускорить процесс более чем в 250 раз при нулевом потреблении памяти.

https://habr.com/ru/articles/948854/

#postgresql #python #psycopg #загрузка_данных #импорт_данных #csv #copy #execute_batch #execute_values #оптимизация_производительности

[Перевод] Самый быстрый способ загрузить 32 000 строк в PostgreSQL с помощью Python

Команда Python for Devs подготовила перевод статьи о том, как найти самый быстрый способ загрузки данных в PostgreSQL с помощью Python. Автор пошагово сравнил разные методы — от построчных вставок до COPY с потоковой генерацией CSV — и показал, как ускорить процесс более чем в 250 раз при нулевом потреблении памяти.

https://habr.com/ru/articles/948854/

#postgresql #python #psycopg #загрузка_данных #импорт_данных #csv #copy #execute_batch #execute_values #оптимизация_производительности

[Перевод] Самый быстрый способ загрузить 32 000 строк в PostgreSQL с помощью Python

Команда Python for Devs подготовила перевод статьи о том, как найти самый быстрый способ загрузки данных в PostgreSQL с помощью Python. Автор пошагово сравнил разные методы — от построчных вставок до COPY с потоковой генерацией CSV — и показал, как ускорить процесс более чем в 250 раз при нулевом потреблении памяти.

https://habr.com/ru/articles/948854/

#postgresql #python #psycopg #загрузка_данных #импорт_данных #csv #copy #execute_batch #execute_values #оптимизация_производительности

Марафон DataYoga “Ничего лишнего” — кому будет полезна неделя лучших практик визуализации данных

Привет, Хабр! Сегодня мы хотим поделиться одним интересным событием, которое не может оставить равнодушным никого из сферы BI и визуализации данных. Марафон будет проходить с 18 по 22 марта в онлайн-режиме (разумеется бесплатно) и включит в себя наработки ведущих визуализаторов и дата-йогов. Это будет настоящее погружение для тех, кто уже в BI и аналитике, а также для тех, кто еще только думает о расширении своих компетенций (или пока вообще не понимает, почему за “построение диаграмм” сегодня обещают хорошие зарплаты). Все подробности о Марафоне и ссылка на регистрацию — под катом. Хочу стать дата-йогом!

https://habr.com/ru/companies/visiology/articles/800393/

#Visiology #BI #PowerBI #визуализация #загрузка_данных #дашборды #курсы

Марафон DataYoga “Ничего лишнего” — кому будет полезна неделя лучших практик визуализации данных

Привет, Хабр! Сегодня мы хотим поделиться одним интересным событием, которое не может оставить равнодушным никого из сферы BI и визуализации данных. Марафон будет проходить с 18 по 22 марта в онлайн-режиме (разумеется бесплатно) и включит в себя наработки ведущих визуализаторов и дата-йогов. Это будет настоящее погружение для тех, кто уже в BI и аналитике, а также для тех, кто еще только думает о расширении своих компетенций (или пока вообще не понимает, почему за “построение диаграмм” сегодня обещают хорошие зарплаты). Все подробности о Марафоне и ссылка на регистрацию — под катом. Хочу стать дата-йогом!

https://habr.com/ru/companies/visiology/articles/800393/

#Visiology #BI #PowerBI #визуализация #загрузка_данных #дашборды #курсы

Автоматизация создания тестовых данных и загрузки исторических данных в SAP на основе SAP GUI Scripting

Привет, Хабр! Меня зовут Василь Хамидуллин, я работаю в ЦК тестирования АСУ ФХД в компании РСХБ‑Интех. Продолжу тему использования SAP для автоматизации подготовки данных. В прошлом материале говорили про LSMW и как данный инструмент можно использовать для автоматизации подготовки тестовых данных. Сегодня расскажу про способ загрузки исторических данных в SAP на основе SAP GUI Scripting.

https://habr.com/ru/companies/rshb/articles/797435/

#sap #lsmw #исторические_данные #загрузка_данных #scripting #script #sap_gui

Анализ и оценка перспективы использования LSMW для автоматизации подготовки тестовых данных в SAP

Привет, Хабр! Меня зовут Василь Хамидуллин, я работаю в ЦК тестирования решений на платформе SAP в компании РСХБ-Интех. В прошлый раз я делился опытом тестирования бизнес процессов, внедряемых модулей SAP, в банке. Сегодня расскажу вам про LSMW, и как данный инструмент можно использовать для автоматизации подготовки тестовых данных.

https://habr.com/ru/companies/rshb/articles/788576/

#sap #lsmw #исторические_данные #загрузка_данных #scripting #script #sap_gui

Автоматизация создания тестовых данных и загрузки исторических данных в SAP на основе SAP GUI Scripting

Привет, Хабр! Меня зовут Василь Хамидуллин, я работаю в ЦК тестирования АСУ ФХД в компании РСХБ‑Интех. Продолжу тему использования SAP для автоматизации подготовки данных. В прошлом материале говорили про LSMW и как данный инструмент можно использовать для автоматизации подготовки тестовых данных. Сегодня расскажу про способ загрузки исторических данных в SAP на основе SAP GUI Scripting.

https://habr.com/ru/companies/rshb/articles/797435/

#sap #lsmw #исторические_данные #загрузка_данных #scripting #script #sap_gui

Анализ и оценка перспективы использования LSMW для автоматизации подготовки тестовых данных в SAP

Привет, Хабр! Меня зовут Василь Хамидуллин, я работаю в ЦК тестирования решений на платформе SAP в компании РСХБ-Интех. В прошлый раз я делился опытом тестирования бизнес процессов, внедряемых модулей SAP, в банке. Сегодня расскажу вам про LSMW, и как данный инструмент можно использовать для автоматизации подготовки тестовых данных.

https://habr.com/ru/companies/rshb/articles/788576/

#sap #lsmw #исторические_данные #загрузка_данных #scripting #script #sap_gui