Live and recent posts from across the Fediverse tagged #выгрузка_данных, aggregated by home.social.
Почему я собираю лидов в Airtable
Больше миллиона строк, 161 таблица и гигабайт данных за пять лет. А потом форма просто перестала принимать ответы: база упёрлась в лимит записей по тарифу.
https://habr.com/ru/articles/1098102/
#анкета #лидогенерация #restapi #выгрузка_данных #nocode #airtable #zerocoding #nocoding #вайбкодинг
crm.item.list заблокирован, а портал работает: откуда в Битрикс24 берётся 429 OPERATION_TIME_LIMIT
Выгрузка сделок из Битрикс24 годами работает без проблем, а потом начинает тормозить и возвращать HTTP 429. Увеличение пауз между запросами не помогает, хотя остальные методы REST API продолжают отвечать как обычно. Разбираемся, как устроен лимит OPERATION_TIME_LIMIT , куда уходит серверное время и как ускорить выгрузку в сотни раз. Разобраться с лимитами
https://habr.com/ru/companies/otus/articles/1096470/
#оптимизация_запросов #rest_api #битрикс24 #выгрузка_данных #лимиты_api #интеграция_битрикс24 #http_429 #operation_time_limit #crmitemlist #пакетная_обработка_запросов
Как автоматизировать выгрузку данных из 1С: SQL или готовый ETL-инструмент
Как организовать регулярную выгрузку данных из 1С, если ручной экспорт уже не справляется с объемом и частотой обновлений? В статье сравниваются два подхода: прямой доступ к базе через SQL и использование готового ETL-инструмента. Разбираем скорость, сложность настройки, требования к специалистам, риски для безопасности и сопровождения системы. Также показываем, в каких случаях оправдан SQL, а когда удобнее использовать готовый инструмент для автоматической выгрузки данных по расписанию без постоянного участия разработчика.
https://habr.com/ru/companies/infostart/articles/1077596/
#1С #выгрузка_данных #автоматизация #SQL #ETL #интеграция_данных #базы_данных #Data_Engineering #обработка_данных #аналитика_данных
Параметризованные отчёты в CSV без таймаута
Эта идея появилась у меня давно. Когда мы внедряли BI в крупном банке, я заметил одну вещь: больше всего внедрению радовались руководители. У них появлялись дашборды, графики, показатели, визуальная картина происходящего. А вот люди, которые каждый день работали с данными, не всегда были в таком же восторге. BI хорошо показывает, что что-то изменилось: появилась аномалия, просел показатель, выросло значение, изменилась динамика. Но после этого почти всегда возникает следующий вопрос: почему так произошло? И вот тут уже приходится разбираться не с графиком, а с данными. Причин может быть много: ошибка, поздняя загрузка, изменение записей задним числом, редкое событие, особенность расчёта. Чтобы это проверить, нужно смотреть строки, сравнивать выгрузки, пересчитывать показатели и иногда просто руками разбирать, что попало в отчёт. У финансистов, которые занимались такими разборами, доступ к хранилищу был ограничен. Они не были техническими специалистами, и это нормально. Но при этом именно им нужно было проверять банковские показатели, сверять расчёты и понимать, что изменилось между вчерашней и сегодняшней выгрузкой. Для таких задач пользователи всё равно часто уходили в Excel: добавляли формулы, сверяли расчёты, сравнивали текущую выгрузку с предыдущей. Так появилась первая версия программы: она формировала отчёты в Excel и хранила на сервере историю выгрузок.
https://habr.com/ru/articles/1056402/
#csv #bi #выгрузка_данных #отчёт #excel #timeout #python #javascript #sql #бизнесанализ
DATAREON без границ: выгрузка результатов соревнований на Linux-сервер по SFTP
Всем привет! Я Дмитрий Пономарев, разработчик ESB ИТ-интегратора «Белый код». В большинстве интеграционных проектов мы опираемся на стандартные коннекторы платформы и живём спокойно, пока реальность не подбрасывает задачу вне «типового набора». Именно так и случилось: по требованиям заказчика результаты соревнований необходимо было отправлять на сервер по протоколу SFTP, а в DATAREON «из коробки» такого коннектора просто нет. Единственным разумным вариантом стало расширить платформу — через программные модули и кастомный SFTP-коннектор. В этой статье мы разберём, как была реализована интеграция: от постановки задачи и ограничений DATAREON до разработки собственного SFTP-модуля, его встраивания в существующие процессы и организации безопасной выгрузки файлов на Linux-сервер. По сути, это кейс о том, как использовать DATAREON не только как «конструктор из готовых блоков», но и как платформу, которую можно расширять под конкретные сценарии, когда стандартного функционала уже недостаточно. Задача: спроектировать и настроить схему обработки, обеспечивающую корректную маршрутизацию сообщений с результатами соревнований и их последующее сохранение в заданный каталог на сервере — с соблюдением требований к формату данных, надежности доставки и контролю ошибок.
https://habr.com/ru/companies/w_code/articles/1026542/
#datareon_platform #datareon #sftp #sftpсервер #коннектор #схема_обработки #выгрузка #выгрузка_данных #SFTPконнектор #linuxсервер
5 минут вместо 4 часов: сократили время на выгрузку/загрузку объектов в формате ED из 1С в DATAREON и обратно
Уже несколько лет мы занимаемся интеграциями с помощью платформы DATAREON, часто заказчикам нужна выгрузка объектов из одной базы 1С в другую. Задача вроде бы понятная. Но каждый раз для этого требовалось проектировать структуру объектов, писать код, тестировать, исправлять баги. Сложно. Долго. Дорого. Рассказываю, что придумали.
От фрагментированной автоматизации к единой IT-экосистеме: как Академия Ростеха внедрила BPMS, часть 2
Продолжаем делиться опытом консолидации IT-инфраструктуры Академии Ростеха и переходом на единую систему, объединяющую CRM, бюджетирование проектов, управление закупками и другие процессы. В этой статье поговорим о цифровизации HR-процессов и управления финансами.
https://habr.com/ru/companies/1forma/articles/901318/
#hrm #управление_людьми #финансовый_учет #bpmсистема #госкорпорация #образовательные_учреждения #бюджетирование #выгрузка_данных #миграция_данных #импортозамещение