#data_analysis — Public Fediverse posts

Что в работе аналитика поменялось за пять лет, а что только в вакансиях

Открываешь вакансию аналитика в 2026 и видишь ML, LLM, дата-инженерию, облака и пятнадцать инструментов, а SQL с Excel где-то внизу, будто это само собой. Кажется, что профессия ушла далеко вперёд и, если ты только вкатываешься, ты опоздал на пять лет. Я в аналитике с 2020 года и вижу оба конца отрезка: и с чего начинала сама, и с чем приходит новый поток. Так вот, если смотреть не на список требований, а на то, чем аналитик реально занят в течение дня, окажется, что поменялось куда меньше, чем обещано. Делюсь мнением, что изменилось, а что раздулось только в описаниях вакансий, а что не сдвинулось с 2020 года вообще и по-прежнему отличает сильного аналитика от среднего.

https://habr.com/ru/articles/1064500/

#анализ_данных #карьера_аналитика #карьера_итспециалиста #карьера_аналитика_данных #карьера_в_it #data_analysis #junior #как_стать_аналитиком #как_стать_аналитиком_данных #итиндустрия

Что в работе аналитика поменялось за пять лет, а что только в вакансиях

Открываешь вакансию аналитика в 2026 и видишь ML, LLM, дата-инженерию, облака и пятнадцать инструментов, а SQL с Excel где-то внизу, будто это само собой. Кажется, что профессия ушла далеко вперёд и, если ты только вкатываешься, ты опоздал на пять лет. Я в аналитике с 2020 года и вижу оба конца отрезка: и с чего начинала сама, и с чем приходит новый поток. Так вот, если смотреть не на список требований, а на то, чем аналитик реально занят в течение дня, окажется, что поменялось куда меньше, чем обещано. Делюсь мнением, что изменилось, а что раздулось только в описаниях вакансий, а что не сдвинулось с 2020 года вообще и по-прежнему отличает сильного аналитика от среднего.

https://habr.com/ru/articles/1064500/

#анализ_данных #карьера_аналитика #карьера_итспециалиста #карьера_аналитика_данных #карьера_в_it #data_analysis #junior #как_стать_аналитиком #как_стать_аналитиком_данных #итиндустрия

Что в работе аналитика поменялось за пять лет, а что только в вакансиях

Открываешь вакансию аналитика в 2026 и видишь ML, LLM, дата-инженерию, облака и пятнадцать инструментов, а SQL с Excel где-то внизу, будто это само собой. Кажется, что профессия ушла далеко вперёд и, если ты только вкатываешься, ты опоздал на пять лет. Я в аналитике с 2020 года и вижу оба конца отрезка: и с чего начинала сама, и с чем приходит новый поток. Так вот, если смотреть не на список требований, а на то, чем аналитик реально занят в течение дня, окажется, что поменялось куда меньше, чем обещано. Делюсь мнением, что изменилось, а что раздулось только в описаниях вакансий, а что не сдвинулось с 2020 года вообще и по-прежнему отличает сильного аналитика от среднего.

https://habr.com/ru/articles/1064500/

#анализ_данных #карьера_аналитика #карьера_итспециалиста #карьера_аналитика_данных #карьера_в_it #data_analysis #junior #как_стать_аналитиком #как_стать_аналитиком_данных #итиндустрия

Оптимизируем Закупки: чеклист топ-10 для формирования потребности с помощью ИИ-аналитика Raft AI4BI

Если зададите «закупщику» вопрос о проблемах, которые ему приходится решать на каждодневной основе, то «пустая рюмка и взгляд полный грусти будет вам ответом». Дальше последует уходящий в бесконечность список с описанием того, что болит, и достается в нем и нашим и вашим. Вспоминают и ненадежных поставщиков, и задержки поставок, и перерасход по контрактам, но в большинстве таких списков фигурирует проблема, настигающая «закупки» еще в самом начале цикла: идентификации потребности и формирования заявки на закупку. Сегодня разберем один из подходов, помогающий снизить градус проблемы с формированием потребностей: внедрение в регламент закупок чек-листа. Покажем на живых примерах, как ИИ-аналитик Raft AI4BI может помочь в имплементации подхода.

https://habr.com/ru/companies/raft/articles/1052562/

#ai4bi #ai_agent #superset #procurement #checklist #demand_planning #bi #insights #predictive_analytics #data_analysis

Оптимизируем Закупки: чеклист топ-10 для формирования потребности с помощью ИИ-аналитика Raft AI4BI

Если зададите «закупщику» вопрос о проблемах, которые ему приходится решать на каждодневной основе, то «пустая рюмка и взгляд полный грусти будет вам ответом». Дальше последует уходящий в бесконечность список с описанием того, что болит, и достается в нем и нашим и вашим. Вспоминают и ненадежных поставщиков, и задержки поставок, и перерасход по контрактам, но в большинстве таких списков фигурирует проблема, настигающая «закупки» еще в самом начале цикла: идентификации потребности и формирования заявки на закупку. Сегодня разберем один из подходов, помогающий снизить градус проблемы с формированием потребностей: внедрение в регламент закупок чек-листа. Покажем на живых примерах, как ИИ-аналитик Raft AI4BI может помочь в имплементации подхода.

https://habr.com/ru/companies/raft/articles/1052562/

#ai4bi #ai_agent #superset #procurement #checklist #demand_planning #bi #insights #predictive_analytics #data_analysis

Оптимизируем Закупки: чеклист топ-10 для формирования потребности с помощью ИИ-аналитика Raft AI4BI

Если зададите «закупщику» вопрос о проблемах, которые ему приходится решать на каждодневной основе, то «пустая рюмка и взгляд полный грусти будет вам ответом». Дальше последует уходящий в бесконечность список с описанием того, что болит, и достается в нем и нашим и вашим. Вспоминают и ненадежных поставщиков, и задержки поставок, и перерасход по контрактам, но в большинстве таких списков фигурирует проблема, настигающая «закупки» еще в самом начале цикла: идентификации потребности и формирования заявки на закупку. Сегодня разберем один из подходов, помогающий снизить градус проблемы с формированием потребностей: внедрение в регламент закупок чек-листа. Покажем на живых примерах, как ИИ-аналитик Raft AI4BI может помочь в имплементации подхода.

https://habr.com/ru/companies/raft/articles/1052562/

#ai4bi #ai_agent #superset #procurement #checklist #demand_planning #bi #insights #predictive_analytics #data_analysis

Внедрили AI-агента в BI-систему — чистая магия в обработке и визуализации терабайтов данных

Привет, это команда Далее . На одном из проектов у нас есть терабайты данных о рекламных кампаниях, которые хранятся на десятках площадок. Это множество таблиц, агрегаций, расчетных метрик и формул. Big Data обрабатывают аналитики и дата-инженеры: приводят в нормальный вид, следят за качеством, рассчитывают дополнительные метрики. В конце концов, все приходит в BI-систему, где менеджеры делают отчеты и визуализируют информацию на дашбордах.

https://habr.com/ru/companies/dalee_group/articles/1051832/

#ai #bi #mcp #big_data #data_analysis #data_structures

Внедрили AI-агента в BI-систему — чистая магия в обработке и визуализации терабайтов данных

Привет, это команда Далее . На одном из проектов у нас есть терабайты данных о рекламных кампаниях, которые хранятся на десятках площадок. Это множество таблиц, агрегаций, расчетных метрик и формул. Big Data обрабатывают аналитики и дата-инженеры: приводят в нормальный вид, следят за качеством, рассчитывают дополнительные метрики. В конце концов, все приходит в BI-систему, где менеджеры делают отчеты и визуализируют информацию на дашбордах.

https://habr.com/ru/companies/dalee_group/articles/1051832/

#ai #bi #mcp #big_data #data_analysis #data_structures

Внедрили AI-агента в BI-систему — чистая магия в обработке и визуализации терабайтов данных

Привет, это команда Далее . На одном из проектов у нас есть терабайты данных о рекламных кампаниях, которые хранятся на десятках площадок. Это множество таблиц, агрегаций, расчетных метрик и формул. Big Data обрабатывают аналитики и дата-инженеры: приводят в нормальный вид, следят за качеством, рассчитывают дополнительные метрики. В конце концов, все приходит в BI-систему, где менеджеры делают отчеты и визуализируют информацию на дашбордах.

https://habr.com/ru/companies/dalee_group/articles/1051832/

#ai #bi #mcp #big_data #data_analysis #data_structures

Как оценивать ИИ-агентов в проде: нижняя планка, трассы и кодовые проверки

Если агент уже ходит в инструменты, читает документы, меняет состояние системы и принимает часть решений сам, проверка одного промпта почти ничего не говорит о надежности. Нужно смотреть на весь путь: вход, найденный контекст, вызовы инструментов, промежуточные состояния, итоговый ответ и побочные эффекты. Ниже - рабочая схема, как строить такие проверки до релиза и после выхода в прод.

https://habr.com/ru/articles/1040756/

#eval #ai #aiагенты #llm #тестирование #data_analysis #агенты_в_продакшене #агенты_ии #трассировка #harness_engineering

Как оценивать ИИ-агентов в проде: нижняя планка, трассы и кодовые проверки

Если агент уже ходит в инструменты, читает документы, меняет состояние системы и принимает часть решений сам, проверка одного промпта почти ничего не говорит о надежности. Нужно смотреть на весь путь: вход, найденный контекст, вызовы инструментов, промежуточные состояния, итоговый ответ и побочные эффекты. Ниже - рабочая схема, как строить такие проверки до релиза и после выхода в прод.

https://habr.com/ru/articles/1040756/

#eval #ai #aiагенты #llm #тестирование #data_analysis #агенты_в_продакшене #агенты_ии #трассировка #harness_engineering

Как оценивать ИИ-агентов в проде: нижняя планка, трассы и кодовые проверки

Если агент уже ходит в инструменты, читает документы, меняет состояние системы и принимает часть решений сам, проверка одного промпта почти ничего не говорит о надежности. Нужно смотреть на весь путь: вход, найденный контекст, вызовы инструментов, промежуточные состояния, итоговый ответ и побочные эффекты. Ниже - рабочая схема, как строить такие проверки до релиза и после выхода в прод.

https://habr.com/ru/articles/1040756/

#eval #ai #aiагенты #llm #тестирование #data_analysis #агенты_в_продакшене #агенты_ии #трассировка #harness_engineering

Семантический слой: архитектура, подходы и роль в эпоху AI-аналитики

Привет, Хабр! В последние годы все чаще в разговорах про современные дата-платформы звучит термин «семантический слой». Сама идея семантического слоя не нова: в разные годы под семантикой понимали и витрины данных, и презентационный слой хранилища, и пространства метрик внутри BI-платформ. Но развитие современных дата-платформ и появление AI-агентов заставляют заново переосмыслить этот концепт. Несмотря на очевидный интерес к теме семантического слоя, чёткого понимания, что именно он из себя представляет, как устроен изнутри и зачем вообще нужен, пока нет. В этой статье мы разберемся, что такое семантический слой, какие задачи он решает, какие архитектурные подходы существуют и почему именно семантический слой может стать ключевым драйвером AI-аналитики. Семантический слой представляет собой промежуточный логический слой между областью физического хранения данных и каналами потребления данных: аналитическими приложениями, BI-системами, AI-агентами и бизнес-пользователями. В разных источниках его также называют Metrics Layer или Headless BI. Говоря более строгим языком, семантический слой - это единый исполняемый контракт метрик, измерений, связей между сущностями и правил доступа для всех каналов потребления данных. Одинаковый результат обеспечивается не тем, что описание показателя где-то задокументировано, а тем, что логика его расчета централизована и исполняется самим семантическим слоем . В семантической модели задаются бизнес-термины, метрики, измерения, связи между сущностями, правила фильтрации, агрегации и доступа. Когда BI, Excel или AI-агент обращаются к семантическому слою, расчет собирается на основе метаданных модели внутри самого семантического слоя.

https://habr.com/ru/companies/axenix/articles/1040468/

#семантический_слой #semantic_layer #ai #genai #модель_данных #data_analysis #data_modeling

Семантический слой: архитектура, подходы и роль в эпоху AI-аналитики

Привет, Хабр! В последние годы все чаще в разговорах про современные дата-платформы звучит термин «семантический слой». Сама идея семантического слоя не нова: в разные годы под семантикой понимали и витрины данных, и презентационный слой хранилища, и пространства метрик внутри BI-платформ. Но развитие современных дата-платформ и появление AI-агентов заставляют заново переосмыслить этот концепт. Несмотря на очевидный интерес к теме семантического слоя, чёткого понимания, что именно он из себя представляет, как устроен изнутри и зачем вообще нужен, пока нет. В этой статье мы разберемся, что такое семантический слой, какие задачи он решает, какие архитектурные подходы существуют и почему именно семантический слой может стать ключевым драйвером AI-аналитики. Семантический слой представляет собой промежуточный логический слой между областью физического хранения данных и каналами потребления данных: аналитическими приложениями, BI-системами, AI-агентами и бизнес-пользователями. В разных источниках его также называют Metrics Layer или Headless BI. Говоря более строгим языком, семантический слой - это единый исполняемый контракт метрик, измерений, связей между сущностями и правил доступа для всех каналов потребления данных. Одинаковый результат обеспечивается не тем, что описание показателя где-то задокументировано, а тем, что логика его расчета централизована и исполняется самим семантическим слоем . В семантической модели задаются бизнес-термины, метрики, измерения, связи между сущностями, правила фильтрации, агрегации и доступа. Когда BI, Excel или AI-агент обращаются к семантическому слою, расчет собирается на основе метаданных модели внутри самого семантического слоя.

https://habr.com/ru/companies/axenix/articles/1040468/

#семантический_слой #semantic_layer #ai #genai #модель_данных #data_analysis #data_modeling

Семантический слой: архитектура, подходы и роль в эпоху AI-аналитики

Привет, Хабр! В последние годы все чаще в разговорах про современные дата-платформы звучит термин «семантический слой». Сама идея семантического слоя не нова: в разные годы под семантикой понимали и витрины данных, и презентационный слой хранилища, и пространства метрик внутри BI-платформ. Но развитие современных дата-платформ и появление AI-агентов заставляют заново переосмыслить этот концепт. Несмотря на очевидный интерес к теме семантического слоя, чёткого понимания, что именно он из себя представляет, как устроен изнутри и зачем вообще нужен, пока нет. В этой статье мы разберемся, что такое семантический слой, какие задачи он решает, какие архитектурные подходы существуют и почему именно семантический слой может стать ключевым драйвером AI-аналитики. Семантический слой представляет собой промежуточный логический слой между областью физического хранения данных и каналами потребления данных: аналитическими приложениями, BI-системами, AI-агентами и бизнес-пользователями. В разных источниках его также называют Metrics Layer или Headless BI. Говоря более строгим языком, семантический слой - это единый исполняемый контракт метрик, измерений, связей между сущностями и правил доступа для всех каналов потребления данных. Одинаковый результат обеспечивается не тем, что описание показателя где-то задокументировано, а тем, что логика его расчета централизована и исполняется самим семантическим слоем . В семантической модели задаются бизнес-термины, метрики, измерения, связи между сущностями, правила фильтрации, агрегации и доступа. Когда BI, Excel или AI-агент обращаются к семантическому слою, расчет собирается на основе метаданных модели внутри самого семантического слоя.

https://habr.com/ru/companies/axenix/articles/1040468/

#семантический_слой #semantic_layer #ai #genai #модель_данных #data_analysis #data_modeling

Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

https://habr.com/ru/articles/1039866/

#C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

https://habr.com/ru/articles/1039866/

#C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

https://habr.com/ru/articles/1039866/

#C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

Как и зачем мы писали семантический слой для ИИ аналитики – SLayer

Казалось бы, что может быть проще: даёшь LLM доступ к БД и просишь написать тебе нужный SQL! Но на практике и ИИ, и человек быстро сталкиваются с одинаковыми проблемами – взрывом кардинальности при JOIN’ах, ошибками в гранулярности, сложными подзапросами и отсутствием понятного бизнес-контекста. Рассказываем, зачем и как мы проектировали семантический слой для детерминированной аналитики и адекватной работы ИИ-агентов с данными. Давайте разбираться!

https://habr.com/ru/articles/1033144/

#semantic_layer #python #analytics #data_analysis #mcp #claudecode #gpt #ai #ииагенты #базы_данных

Как и зачем мы писали семантический слой для ИИ аналитики – SLayer

Казалось бы, что может быть проще: даёшь LLM доступ к БД и просишь написать тебе нужный SQL! Но на практике и ИИ, и человек быстро сталкиваются с одинаковыми проблемами – взрывом кардинальности при JOIN’ах, ошибками в гранулярности, сложными подзапросами и отсутствием понятного бизнес-контекста. Рассказываем, зачем и как мы проектировали семантический слой для детерминированной аналитики и адекватной работы ИИ-агентов с данными. Давайте разбираться!

https://habr.com/ru/articles/1033144/

#semantic_layer #python #analytics #data_analysis #mcp #claudecode #gpt #ai #ииагенты #базы_данных

Как и зачем мы писали семантический слой для ИИ аналитики – SLayer

Казалось бы, что может быть проще: даёшь LLM доступ к БД и просишь написать тебе нужный SQL! Но на практике и ИИ, и человек быстро сталкиваются с одинаковыми проблемами – взрывом кардинальности при JOIN’ах, ошибками в гранулярности, сложными подзапросами и отсутствием понятного бизнес-контекста. Рассказываем, зачем и как мы проектировали семантический слой для детерминированной аналитики и адекватной работы ИИ-агентов с данными. Давайте разбираться!

https://habr.com/ru/articles/1033144/

#semantic_layer #python #analytics #data_analysis #mcp #claudecode #gpt #ai #ииагенты #базы_данных

NumPy с нуля: понятный гайд для тех, кто хочет в Data Science

Стандартные списки в Python прекрасны своей гибкостью, но когда дело доходит до больших данных и математики, они превращаются в медленных черепах. 🐢 Подготовил для вас максимально практичный гайд: «NumPy с нуля до понимания за 1 статью». Никакой академической воды — только база для быстрого старта в Data Science и аналитике.

https://habr.com/ru/articles/1029440/

#numpy #numpy_datascience #python #python3 #python_для_начинающих #python_tutor #data_science #data_analysis

NumPy с нуля: понятный гайд для тех, кто хочет в Data Science

Стандартные списки в Python прекрасны своей гибкостью, но когда дело доходит до больших данных и математики, они превращаются в медленных черепах. 🐢 Подготовил для вас максимально практичный гайд: «NumPy с нуля до понимания за 1 статью». Никакой академической воды — только база для быстрого старта в Data Science и аналитике.

https://habr.com/ru/articles/1029440/

#numpy #numpy_datascience #python #python3 #python_для_начинающих #python_tutor #data_science #data_analysis

NumPy с нуля: понятный гайд для тех, кто хочет в Data Science

Стандартные списки в Python прекрасны своей гибкостью, но когда дело доходит до больших данных и математики, они превращаются в медленных черепах. 🐢 Подготовил для вас максимально практичный гайд: «NumPy с нуля до понимания за 1 статью». Никакой академической воды — только база для быстрого старта в Data Science и аналитике.

https://habr.com/ru/articles/1029440/

#numpy #numpy_datascience #python #python3 #python_для_начинающих #python_tutor #data_science #data_analysis

Метрики упали в лужу

Метрики могут «упасть» даже если вы ничего не меняли в модели. Разбираемся, как распознать distribution shift и что с ним делать в продакшене.

https://habr.com/ru/articles/1024380/

#eda #анализ_данных #мониторинг #статистика #предобработка_данных #pandas #data_science #machine_learning #data_analysis #production

Метрики упали в лужу

Метрики могут «упасть» даже если вы ничего не меняли в модели. Разбираемся, как распознать distribution shift и что с ним делать в продакшене.

https://habr.com/ru/articles/1024380/

#eda #анализ_данных #мониторинг #статистика #предобработка_данных #pandas #data_science #machine_learning #data_analysis #production

Метрики упали в лужу

Метрики могут «упасть» даже если вы ничего не меняли в модели. Разбираемся, как распознать distribution shift и что с ним делать в продакшене.

https://habr.com/ru/articles/1024380/

#eda #анализ_данных #мониторинг #статистика #предобработка_данных #pandas #data_science #machine_learning #data_analysis #production

Обзор книг для анализа данных

Я аналитик данных и люблю бумажный формат книг (если есть сомнения, сначала пробую электронную версию, но если книга заходит всегда потом беру бумажную). В этой статье честный обзор, без рекламы, тех книг, которые я купила не так давно в бумажном формате.

https://habr.com/ru/articles/1007024/

#анализ_данных #алгоритмы #python #книги_для_аналитика #data_science #data_analysis #обзор_книг #грокаем #грокаем_алгоритмы #аналитика

Обзор книг для анализа данных

Я аналитик данных и люблю бумажный формат книг (если есть сомнения, сначала пробую электронную версию, но если книга заходит всегда потом беру бумажную). В этой статье честный обзор, без рекламы, тех книг, которые я купила не так давно в бумажном формате.

https://habr.com/ru/articles/1007024/

#анализ_данных #алгоритмы #python #книги_для_аналитика #data_science #data_analysis #обзор_книг #грокаем #грокаем_алгоритмы #аналитика

Обзор книг для анализа данных

Я аналитик данных и люблю бумажный формат книг (если есть сомнения, сначала пробую электронную версию, но если книга заходит всегда потом беру бумажную). В этой статье честный обзор, без рекламы, тех книг, которые я купила не так давно в бумажном формате.

https://habr.com/ru/articles/1007024/

#анализ_данных #алгоритмы #python #книги_для_аналитика #data_science #data_analysis #обзор_книг #грокаем #грокаем_алгоритмы #аналитика

Ускоряем pandas, не переписывая код. Мой опыт с FireDucks

Привет! Меня зовут Егор Лукьянов, я старший аналитик данных в Ozon Tech. В своей работе я часто сталкиваюсь с проблемой масштабируемости в pandas . Код, который быстро работает на гигабайте данных, начинает невыносимо тормозить на десяти. Уверен, эта боль знакома многим. Сейчас есть быстрые альтернативы, например, Polars . Я сам пробовал переводить на него свои проекты. Скорость действительно впечатляет, но как в анекдоте есть нюанс: приходится переписывать чуть ли не весь код и привыкать к новому синтаксису. А это большая работа, на которую не всегда есть время. И вот здесь я наткнулся на FireDucks — библиотеку, которая обещает решить эту проблему, просто заменив одну строку импорта. Звучало слишком хорошо, чтобы быть правдой. После опыта с Polars я был уверен, что где-то должен быть подвох. Я решил проверить FireDucks на нескольких типичных задачах. В этой статье я хочу без лишнего хайпа поделиться тем, что у меня получилось. Мы посмотрим на реальные примеры кода, сравним скорость и разберёмся, где эта библиотека действительно хороша, а где могут быть проблемы.

https://habr.com/ru/companies/ozontech/articles/1005590/

#pandas #data_analysis #data_engineering #python

Ускоряем pandas, не переписывая код. Мой опыт с FireDucks

Привет! Меня зовут Егор Лукьянов, я старший аналитик данных в Ozon Tech. В своей работе я часто сталкиваюсь с проблемой масштабируемости в pandas . Код, который быстро работает на гигабайте данных, начинает невыносимо тормозить на десяти. Уверен, эта боль знакома многим. Сейчас есть быстрые альтернативы, например, Polars . Я сам пробовал переводить на него свои проекты. Скорость действительно впечатляет, но как в анекдоте есть нюанс: приходится переписывать чуть ли не весь код и привыкать к новому синтаксису. А это большая работа, на которую не всегда есть время. И вот здесь я наткнулся на FireDucks — библиотеку, которая обещает решить эту проблему, просто заменив одну строку импорта. Звучало слишком хорошо, чтобы быть правдой. После опыта с Polars я был уверен, что где-то должен быть подвох. Я решил проверить FireDucks на нескольких типичных задачах. В этой статье я хочу без лишнего хайпа поделиться тем, что у меня получилось. Мы посмотрим на реальные примеры кода, сравним скорость и разберёмся, где эта библиотека действительно хороша, а где могут быть проблемы.

https://habr.com/ru/companies/ozontech/articles/1005590/

#pandas #data_analysis #data_engineering #python

Ускоряем pandas, не переписывая код. Мой опыт с FireDucks

Привет! Меня зовут Егор Лукьянов, я старший аналитик данных в Ozon Tech. В своей работе я часто сталкиваюсь с проблемой масштабируемости в pandas . Код, который быстро работает на гигабайте данных, начинает невыносимо тормозить на десяти. Уверен, эта боль знакома многим. Сейчас есть быстрые альтернативы, например, Polars . Я сам пробовал переводить на него свои проекты. Скорость действительно впечатляет, но как в анекдоте есть нюанс: приходится переписывать чуть ли не весь код и привыкать к новому синтаксису. А это большая работа, на которую не всегда есть время. И вот здесь я наткнулся на FireDucks — библиотеку, которая обещает решить эту проблему, просто заменив одну строку импорта. Звучало слишком хорошо, чтобы быть правдой. После опыта с Polars я был уверен, что где-то должен быть подвох. Я решил проверить FireDucks на нескольких типичных задачах. В этой статье я хочу без лишнего хайпа поделиться тем, что у меня получилось. Мы посмотрим на реальные примеры кода, сравним скорость и разберёмся, где эта библиотека действительно хороша, а где могут быть проблемы.

https://habr.com/ru/companies/ozontech/articles/1005590/

#pandas #data_analysis #data_engineering #python

BI-аналитик: стартовый пакет необходимых навыков

Расскажу какие навыки потребуются, чтобы начать свой карьерный путь в качестве BI-аналитика, и поделюсь ресурсами, которые помогут прокачать эти навыки. Подборка из статьи будет полезна и начинающим специалистам, и профи - для увеличения кругозора.

https://habr.com/ru/articles/1004298/

#sql #redash #tableau #data #data_analysis #visualization #reporting #визуализация #видео #dashboard

BI-аналитик: стартовый пакет необходимых навыков

Расскажу какие навыки потребуются, чтобы начать свой карьерный путь в качестве BI-аналитика, и поделюсь ресурсами, которые помогут прокачать эти навыки. Подборка из статьи будет полезна и начинающим специалистам, и профи - для увеличения кругозора.

https://habr.com/ru/articles/1004298/

#sql #redash #tableau #data #data_analysis #visualization #reporting #визуализация #видео #dashboard

BI-аналитик: стартовый пакет необходимых навыков

Расскажу какие навыки потребуются, чтобы начать свой карьерный путь в качестве BI-аналитика, и поделюсь ресурсами, которые помогут прокачать эти навыки. Подборка из статьи будет полезна и начинающим специалистам, и профи - для увеличения кругозора.

https://habr.com/ru/articles/1004298/

#sql #redash #tableau #data #data_analysis #visualization #reporting #визуализация #видео #dashboard

Путь в аналитику данных: базовый минимум для старта

📊 Хотите стать аналитиком данных, но не знаете, с какой стороны подойти? Я собрала чек-лист для старта в 2026 году, никакой воды - только то, что реально спросят на собеседовании: 🛠 Что учить: SQL (с оконными функциями), Python (Pandas), BI-системы. 🧠 Важный софт-скилл, о котором молчат курсы — управление ожиданиями заказчика. 🔮 Бонус: что нужно знать про DWH и ML, чтобы выделяться среди других джунов.

https://habr.com/ru/articles/1003704/

#анализ_данных #аналитик_данных #аналитик_данных_обучение #data_analysis #карьера_аналитика_данных #карьера_аналитика #sql #soft_skills #hard_skills #карьера_итспециалиста

Путь в аналитику данных: базовый минимум для старта

📊 Хотите стать аналитиком данных, но не знаете, с какой стороны подойти? Я собрала чек-лист для старта в 2026 году, никакой воды - только то, что реально спросят на собеседовании: 🛠 Что учить: SQL (с оконными функциями), Python (Pandas), BI-системы. 🧠 Важный софт-скилл, о котором молчат курсы — управление ожиданиями заказчика. 🔮 Бонус: что нужно знать про DWH и ML, чтобы выделяться среди других джунов.

https://habr.com/ru/articles/1003704/

#анализ_данных #аналитик_данных #аналитик_данных_обучение #data_analysis #карьера_аналитика_данных #карьера_аналитика #sql #soft_skills #hard_skills #карьера_итспециалиста

Путь в аналитику данных: базовый минимум для старта

📊 Хотите стать аналитиком данных, но не знаете, с какой стороны подойти? Я собрала чек-лист для старта в 2026 году, никакой воды - только то, что реально спросят на собеседовании: 🛠 Что учить: SQL (с оконными функциями), Python (Pandas), BI-системы. 🧠 Важный софт-скилл, о котором молчат курсы — управление ожиданиями заказчика. 🔮 Бонус: что нужно знать про DWH и ML, чтобы выделяться среди других джунов.

https://habr.com/ru/articles/1003704/

#анализ_данных #аналитик_данных #аналитик_данных_обучение #data_analysis #карьера_аналитика_данных #карьера_аналитика #sql #soft_skills #hard_skills #карьера_итспециалиста

[Перевод] Как Uber масштабировал репликацию данных, чтобы ежедневно перемещать петабайты

Uber держит огромные объёмы данных сразу в своих дата-центрах и в облаке, поэтому их нужно постоянно и быстро копировать между регионами для аналитики и аварийного восстановления. Когда объём таких копирований вырос до петабайта в день, оказалось, что система тормозит не на самой передаче данных, а на подготовке задач и служебных накладных расходах. Команда переработала процесс так, чтобы тяжелая подготовительная рутина выполнялась ближе к месту запуска задач, а ключевые этапы шли параллельно. Для маленьких копирований они убрали лишние запуски отдельных процессов/контейнеров, чтобы не тратить время на старт пустой работы. В итоге пропускная способность репликации выросла примерно в 5 раз и стала стабильнее, а перенос данных в облако пошёл заметно быстрее

https://habr.com/ru/articles/996726/

#uber #system_design #it #data #data_analysis #high_performance #performance

[Перевод] Как Uber масштабировал репликацию данных, чтобы ежедневно перемещать петабайты

Uber держит огромные объёмы данных сразу в своих дата-центрах и в облаке, поэтому их нужно постоянно и быстро копировать между регионами для аналитики и аварийного восстановления. Когда объём таких копирований вырос до петабайта в день, оказалось, что система тормозит не на самой передаче данных, а на подготовке задач и служебных накладных расходах. Команда переработала процесс так, чтобы тяжелая подготовительная рутина выполнялась ближе к месту запуска задач, а ключевые этапы шли параллельно. Для маленьких копирований они убрали лишние запуски отдельных процессов/контейнеров, чтобы не тратить время на старт пустой работы. В итоге пропускная способность репликации выросла примерно в 5 раз и стала стабильнее, а перенос данных в облако пошёл заметно быстрее

https://habr.com/ru/articles/996726/

#uber #system_design #it #data #data_analysis #high_performance #performance

[Перевод] Как Uber масштабировал репликацию данных, чтобы ежедневно перемещать петабайты

Uber держит огромные объёмы данных сразу в своих дата-центрах и в облаке, поэтому их нужно постоянно и быстро копировать между регионами для аналитики и аварийного восстановления. Когда объём таких копирований вырос до петабайта в день, оказалось, что система тормозит не на самой передаче данных, а на подготовке задач и служебных накладных расходах. Команда переработала процесс так, чтобы тяжелая подготовительная рутина выполнялась ближе к месту запуска задач, а ключевые этапы шли параллельно. Для маленьких копирований они убрали лишние запуски отдельных процессов/контейнеров, чтобы не тратить время на старт пустой работы. В итоге пропускная способность репликации выросла примерно в 5 раз и стала стабильнее, а перенос данных в облако пошёл заметно быстрее

https://habr.com/ru/articles/996726/

#uber #system_design #it #data #data_analysis #high_performance #performance

MDM: как навести порядок в НСИ и перестать чинить интеграции

В любой компании справочники НСИ сначала выглядят как “ну это же просто таблицы”. Контрагенты, номенклатура, адреса, подразделения, единицы измерения, статусы. Пока людей и систем мало - всё держится на внимательности пары сотрудников и привычке “если что, поправим руками”.

https://habr.com/ru/articles/993368/

#НСИ #мдм #mdm #mdmсистема #нси_и_интеграция #data #data_analysis #data_structures #базы_данных #data_science

MDM: как навести порядок в НСИ и перестать чинить интеграции

В любой компании справочники НСИ сначала выглядят как “ну это же просто таблицы”. Контрагенты, номенклатура, адреса, подразделения, единицы измерения, статусы. Пока людей и систем мало - всё держится на внимательности пары сотрудников и привычке “если что, поправим руками”.

https://habr.com/ru/articles/993368/

#НСИ #мдм #mdm #mdmсистема #нси_и_интеграция #data #data_analysis #data_structures #базы_данных #data_science

MDM: как навести порядок в НСИ и перестать чинить интеграции

В любой компании справочники НСИ сначала выглядят как “ну это же просто таблицы”. Контрагенты, номенклатура, адреса, подразделения, единицы измерения, статусы. Пока людей и систем мало - всё держится на внимательности пары сотрудников и привычке “если что, поправим руками”.

https://habr.com/ru/articles/993368/

#НСИ #мдм #mdm #mdmсистема #нси_и_интеграция #data #data_analysis #data_structures #базы_данных #data_science

Công cụ AZURO Creator: Phát hiện luật từ dữ liệu (Công cụ AI ngoại tuyến)
Tự động phát hiện luật vật lý và toán học từ dữ liệu CSV, dễ sử dụng, ngoại tuyến, riêng tư.
#AZUROCretor #CongCuAI #DuLieu #ToanHoc #VatLy #OfflineAI #CongCuLoc
#AI_Tool #Data_Analysis #Mathematics #Physics #Offline

https://www.reddit.com/r/SideProject/comments/1qp5z8d/zuro_creator_side_project_discover_laws_from_your/

Ред флаги, но не в тиндере: что важно понять data-специалисту ещё до офера

Пятничный вечер, бар, шумные разговоры. Мы - компания из нескольких ML-инженеров, DE и DA из Сбера, Магнита, Озона и Альфа-Банка собрались не ради обсуждения задачек в JIRA. Разговор зашел о наболевшем: как найти своих людей и команду мечты? Обсудили зарплату и плюшки, удалёнку и офис, стартапы и зрелые продукты, переработки, карьерный рост и рабочую культуру. В статье - цитаты из обсуждения и обобщённые выводы. А в конце - список вопросов, которые стоит задать на собеседовании, чтобы не ошибиться с выбором и найти тех людей, с кем не страшно будет выкатить релиз в пятницу вечером.

https://habr.com/ru/articles/988680/

#собеседование #вакансия #редфлаги #ml #data_science #data_analysis #переработки #команда_мечты #команда #плюшки

Ред флаги, но не в тиндере: что важно понять data-специалисту ещё до офера

Пятничный вечер, бар, шумные разговоры. Мы - компания из нескольких ML-инженеров, DE и DA из Сбера, Магнита, Озона и Альфа-Банка собрались не ради обсуждения задачек в JIRA. Разговор зашел о наболевшем: как найти своих людей и команду мечты? Обсудили зарплату и плюшки, удалёнку и офис, стартапы и зрелые продукты, переработки, карьерный рост и рабочую культуру. В статье - цитаты из обсуждения и обобщённые выводы. А в конце - список вопросов, которые стоит задать на собеседовании, чтобы не ошибиться с выбором и найти тех людей, с кем не страшно будет выкатить релиз в пятницу вечером.

https://habr.com/ru/articles/988680/

#собеседование #вакансия #редфлаги #ml #data_science #data_analysis #переработки #команда_мечты #команда #плюшки

Ред флаги, но не в тиндере: что важно понять data-специалисту ещё до офера

Пятничный вечер, бар, шумные разговоры. Мы - компания из нескольких ML-инженеров, DE и DA из Сбера, Магнита, Озона и Альфа-Банка собрались не ради обсуждения задачек в JIRA. Разговор зашел о наболевшем: как найти своих людей и команду мечты? Обсудили зарплату и плюшки, удалёнку и офис, стартапы и зрелые продукты, переработки, карьерный рост и рабочую культуру. В статье - цитаты из обсуждения и обобщённые выводы. А в конце - список вопросов, которые стоит задать на собеседовании, чтобы не ошибиться с выбором и найти тех людей, с кем не страшно будет выкатить релиз в пятницу вечером.

https://habr.com/ru/articles/988680/

#собеседование #вакансия #редфлаги #ml #data_science #data_analysis #переработки #команда_мечты #команда #плюшки

Система мониторинга ML-моделей: превращаем данные в полезный инструмент

В прошлой статье мы разобрали, из каких компонентов собирается система мониторинга, и составили инструкции, чтобы указывать на действительно важные проблемы. Пришло время выстроить их в единую систему. Она должна масштабироваться и давать ясную картину происходящего, чтобы наш мониторинг не был бесполезным потребителем ресурсов. В статье расскажу, как превратить разрозненные компоненты в систему мониторинга, и как она помогла нам сохранить работоспособность моделей.

https://habr.com/ru/companies/tochka/articles/976892/

#monitoring #модель #ml #data_analysis #drift #визуализация_данных #pbi

Система мониторинга ML-моделей: превращаем данные в полезный инструмент

В прошлой статье мы разобрали, из каких компонентов собирается система мониторинга, и составили инструкции, чтобы указывать на действительно важные проблемы. Пришло время выстроить их в единую систему. Она должна масштабироваться и давать ясную картину происходящего, чтобы наш мониторинг не был бесполезным потребителем ресурсов. В статье расскажу, как превратить разрозненные компоненты в систему мониторинга, и как она помогла нам сохранить работоспособность моделей.

https://habr.com/ru/companies/tochka/articles/976892/

#monitoring #модель #ml #data_analysis #drift #визуализация_данных #pbi

Система мониторинга ML-моделей: превращаем данные в полезный инструмент

В прошлой статье мы разобрали, из каких компонентов собирается система мониторинга, и составили инструкции, чтобы указывать на действительно важные проблемы. Пришло время выстроить их в единую систему. Она должна масштабироваться и давать ясную картину происходящего, чтобы наш мониторинг не был бесполезным потребителем ресурсов. В статье расскажу, как превратить разрозненные компоненты в систему мониторинга, и как она помогла нам сохранить работоспособность моделей.

https://habr.com/ru/companies/tochka/articles/976892/

#monitoring #модель #ml #data_analysis #drift #визуализация_данных #pbi

Автоэнкодер: как нейросеть учится понимать норму

Непосвящённому человеку кажется, что нейронная сеть может всё. Средства массовой информации этот миф только подпитывают, а где-то в недрах Голливуда Джеймс Камерон шепчет: «Я не режиссёр — я пророк». В реальной же повседневной работе от нейронной сети мне нужна одна простая и приземлённая вещь — поиск аномалий в данных . И вот с этим нейросети действительно справляются. Более того, для этого у них есть специальный инструмент — автоэнкодер . В этом небольшом опусе я попробую быстро, просто и без магии объяснить, что такое автоэнкодер, как он работает и почему он вообще способен находить аномалии .

https://habr.com/ru/articles/976480/

#автоэнкодер #ии #python #data_science #data_analysis

Автоэнкодер: как нейросеть учится понимать норму

Непосвящённому человеку кажется, что нейронная сеть может всё. Средства массовой информации этот миф только подпитывают, а где-то в недрах Голливуда Джеймс Камерон шепчет: «Я не режиссёр — я пророк». В реальной же повседневной работе от нейронной сети мне нужна одна простая и приземлённая вещь — поиск аномалий в данных . И вот с этим нейросети действительно справляются. Более того, для этого у них есть специальный инструмент — автоэнкодер . В этом небольшом опусе я попробую быстро, просто и без магии объяснить, что такое автоэнкодер, как он работает и почему он вообще способен находить аномалии .

https://habr.com/ru/articles/976480/

#автоэнкодер #ии #python #data_science #data_analysis

Автоэнкодер: как нейросеть учится понимать норму

Непосвящённому человеку кажется, что нейронная сеть может всё. Средства массовой информации этот миф только подпитывают, а где-то в недрах Голливуда Джеймс Камерон шепчет: «Я не режиссёр — я пророк». В реальной же повседневной работе от нейронной сети мне нужна одна простая и приземлённая вещь — поиск аномалий в данных . И вот с этим нейросети действительно справляются. Более того, для этого у них есть специальный инструмент — автоэнкодер . В этом небольшом опусе я попробую быстро, просто и без магии объяснить, что такое автоэнкодер, как он работает и почему он вообще способен находить аномалии .

https://habr.com/ru/articles/976480/

#автоэнкодер #ии #python #data_science #data_analysis

Система мониторинга ML-моделей: что важно контролировать и почему

«Обучил, запустил и забыл» — плохая стратегия работы с ML‑моделями, но она часто встречается после удачного тестирования. Качество моделей может незаметно снижаться, и если пропустить этот момент — последствия могут дорого стоить. Когда мы начали задумываться о системе мониторинга, одна из наших моделей начала выдавать предсказания, которые требовали незамедлительного вмешательства в выстроенную работу. Но разум подсказывал, что проблема не в процессе, а в модели. О том, каким трудоемким оказалось наше расследование, и как мы восстанавливали и изучали каждую составляющую процесса почти вслепую, читайте по ссылке . Быть детективами нам понравилось, но вкладывать столько усилий в каждый подобный случай не хочется. Мы поняли, что нужно научиться контролировать работу модели так, чтобы своевременно находить проблему и чинить ее, используя минимальное количество ресурсов. В серии из двух статей расскажу, как мы построили систему мониторинга ML‑моделей силами одного человека за несколько месяцев.

https://habr.com/ru/companies/tochka/articles/973290/

#ml #monitoring #drift #data_analysis #модель

Система мониторинга ML-моделей: что важно контролировать и почему

«Обучил, запустил и забыл» — плохая стратегия работы с ML‑моделями, но она часто встречается после удачного тестирования. Качество моделей может незаметно снижаться, и если пропустить этот момент — последствия могут дорого стоить. Когда мы начали задумываться о системе мониторинга, одна из наших моделей начала выдавать предсказания, которые требовали незамедлительного вмешательства в выстроенную работу. Но разум подсказывал, что проблема не в процессе, а в модели. О том, каким трудоемким оказалось наше расследование, и как мы восстанавливали и изучали каждую составляющую процесса почти вслепую, читайте по ссылке . Быть детективами нам понравилось, но вкладывать столько усилий в каждый подобный случай не хочется. Мы поняли, что нужно научиться контролировать работу модели так, чтобы своевременно находить проблему и чинить ее, используя минимальное количество ресурсов. В серии из двух статей расскажу, как мы построили систему мониторинга ML‑моделей силами одного человека за несколько месяцев.

https://habr.com/ru/companies/tochka/articles/973290/

#ml #monitoring #drift #data_analysis #модель

Система мониторинга ML-моделей: что важно контролировать и почему

«Обучил, запустил и забыл» — плохая стратегия работы с ML‑моделями, но она часто встречается после удачного тестирования. Качество моделей может незаметно снижаться, и если пропустить этот момент — последствия могут дорого стоить. Когда мы начали задумываться о системе мониторинга, одна из наших моделей начала выдавать предсказания, которые требовали незамедлительного вмешательства в выстроенную работу. Но разум подсказывал, что проблема не в процессе, а в модели. О том, каким трудоемким оказалось наше расследование, и как мы восстанавливали и изучали каждую составляющую процесса почти вслепую, читайте по ссылке . Быть детективами нам понравилось, но вкладывать столько усилий в каждый подобный случай не хочется. Мы поняли, что нужно научиться контролировать работу модели так, чтобы своевременно находить проблему и чинить ее, используя минимальное количество ресурсов. В серии из двух статей расскажу, как мы построили систему мониторинга ML‑моделей силами одного человека за несколько месяцев.

https://habr.com/ru/companies/tochka/articles/973290/

#ml #monitoring #drift #data_analysis #модель

Куда исчезают пользователи: современные фреймворки аналитики retention в 2025 году

В 2025 году retention снова стал главной метрикой рынка. Трафик дорожает, конкуренция растет, AI-продукты выходят быстрее, чем я успеваю их тестировать, — и единственный способ выжить в этой гонке: удерживать пользователей, а не просто радоваться скачкам трафика по праздникам. Но есть проблема: большинство команд все еще думают, что retention — это «график, на который мы будем смотреть, пока CFO грустит».

https://habr.com/ru/articles/973922/

#retention #product_analytics #user_behavior #cohort_analysis #ai #data_analysis #llm #customer_journey_map #metrics #product

Куда исчезают пользователи: современные фреймворки аналитики retention в 2025 году

В 2025 году retention снова стал главной метрикой рынка. Трафик дорожает, конкуренция растет, AI-продукты выходят быстрее, чем я успеваю их тестировать, — и единственный способ выжить в этой гонке: удерживать пользователей, а не просто радоваться скачкам трафика по праздникам. Но есть проблема: большинство команд все еще думают, что retention — это «график, на который мы будем смотреть, пока CFO грустит».

https://habr.com/ru/articles/973922/

#retention #product_analytics #user_behavior #cohort_analysis #ai #data_analysis #llm #customer_journey_map #metrics #product