#data_analyst — Public Fediverse posts

Пока все смотрят на LLM: почему классический ML годами зарабатывает сотни миллионов?

Пока лента обсуждает LLM и агентов, а инвесторы спорят про окупаемость GenAI, «скучный» классический ML тихо зарабатывает реальные деньги. Я Senior Data Scientist в финтехе, выступаю с лекциями по карьере и ML в ИТМО и ВШЭ. Разберем в статье на цифрах пять компаний из четырех разных областей и почему классику рано списывать со счетов.

https://habr.com/ru/articles/1043056/

#data_science #машинное_обучение #machine_learning #data_analyst #junior #карьера_в_it #как_стать_data_scientist #классический_ML #собеседование #собеседование_data_scientist

Apache Superset 2026. Как работает Drill Down и Drill By

Работая с аналитикой, мы часто сталкиваемся с одной и той же проблемой: данные есть, но исследовать их неудобно. Представим типичную ситуацию. Есть таблица с десятками колонок и миллионами строк. Нужно понять, почему изменился какой-то показатель — например, выручка или конверсия. Обычно это превращается в цепочку SQL-запросов: сначала агрегируем данные по стране, потом по городу, потом по конкретному сегменту пользователей и тд. Если таких гипотез несколько, количество запросов быстро растёт с геометрической прогрессией. Каждый новый уровень детализации требует отдельного SQL. В какой-то момент хочется просто кликнуть по графику и мгновенно увидеть более детальные данные. Без написания нового запроса. Именно здесь на помощь приходят BI-инструменты. Один из самых популярных open-source инструментов для аналитики — Apache Superset .

https://habr.com/ru/articles/1010132/

#data_analyst #data_engineer #bi #sql #python #superset #apache

Хороший, плохой, злой: База данных, data catalog и AI

Всех приветствую! Меня зовут Павел, работаю в компании Lasmart. Одно из направлений деятельности всегда было внедрение и развитие DWH. В какой-то момент задумались о том, чтобы оптимизировать прежде всего свою работу в некоторых аспектах. И первым инструментом сделали генерацию бизнес-описания на основе AI. Назвали Datadesc (data + description). Об этом опыте и пойдет речь в этой статье.

https://habr.com/ru/articles/996288/

#dwh #sql #data_catalog #openmetadata #datahub #data_engineering #data_analyst #semantic #arenadata_catalog #ai

Личный топ методов Pandas

Pandas — это изумительная библиотека на Python для анализа и обработки данных. Она настолько хороша, что проще сказать, чего она не умеет , чем перечислить все её возможности. В мире аналитики это настоящий швейцарский нож . В этой статье я хочу поделиться личным топом методов, которые помогают в первичной обработке больших данных .

https://habr.com/ru/articles/940028/

#pandas #python #data_science #data_analyst

Вопросы и задачи по SQL на собеседованиях 2024: готовьтесь эффективно

В 2024 году вопросы и тестовые задания на собеседованиях не потеряли своей актуальности и продолжают вызывать огромный интерес у соискателей. Если вы сейчас погружены в процесс прохождения интервью, то наверняка сталкиваетесь с множеством непростых, но захватывающих задач. Давайте вместе рассмотрим некоторые из новых вопросов и задач, которые реально задаются на собеседованиях в различных командах. Эти примеры основаны на моем собственном опыте и актуальны на сегодняшний день. Новые вопросы и задачи будут публиковаться по мере их поступления и прохождения собеседований.

https://habr.com/ru/articles/816537/

#sql #data_analyst #bigdata #собеседование_вопросы #задачи_на_собеседованиях #вопросы_на_собеседование #data_science #data_scientist

Как мы упростили процесс интерактивной визуализации данных в веб-приложении, используя HoloViews

Идея этой статьи родилась, когда наша команда занималась разработкой минимально жизнеспособного продукта (MVP) внутренней веб-системы, важной составляющей которой было визуальное представление данных, а именно результатов работы различных анализаторов исходного кода программного обеспечения. Из всего разнообразия библиотек визуализации в веб мы выбрали HoloViews, поскольку она в наибольшей степени соответствовала компетенциям нашей команды, костяк которой в силу специфики проекта составляли специалисты по анализу данных. Однако для успешной интеграции HoloViews в веб-приложение нам, как разработчикам, пришлось проявить и некоторую изобретательность. Мы посчитали, что имеет смысл поделиться этим опытом, поскольку в одном месте подобный материал до сих пор нигде не был собран.

https://habr.com/ru/companies/astralinux/articles/814881/

#data_analyst #визуализация_данных #графики #датааналитик #вебприложения #датасайентист #data_scientist #интерактивная_визуализация #HoloViews