#анализ_данных — Public Fediverse posts

Что там вообще с квартирами и ипотекой? Большой разбор

В далеком 2011 году квадратный метр в российской новостройке стоил в среднем 43,7 тыс. рублей, а к 2026 году стал стоить уже 215,3 тыс. рублей - это почти пятикратный рост за 15 лет. И казалось бы, вывод очевиден: квартиры стали значительно менее доступными, а зарплаты отстали от цен, и примерно с этой мысли я и начинал исследование, но решил копнуть глубже и посмотреть, как за это время изменились зарплаты, сравнил средние цены с официальными индексами Росстата, разложил изменение доступности на составляющие и рассчитал ипотечную нагрузку по данным осени 2026 года. И вот тут выяснилось, что история с доступностью жилья гораздо интереснее, чем кажется по первым двум цифрам.

https://habr.com/ru/articles/1098886/

#ипотека #анализ_данных #недвижимость #росстат #доступность_жилья #рынок_жилья #ставки_по_ипотеке #цены_на_квартиры

Свёрточные сети в финансовом анализе: от компьютерного зрения к прогнозированию рынков

Свёрточные нейросети умеют находить закономерности в данных, но на финансовых рынках легко принять особенности волатильности за сигнал и получить модель, которая хорошо работает только на исторических котировках. Разберём, как применять CNN к временным рядам и данным ордербука, избегать утечки будущего и проверять качество прогнозов, чтобы понять, когда свёрточные архитектуры действительно полезны в финансовом анализе. Изучить метод

https://habr.com/ru/companies/otus/articles/1096898/

#анализ_данных #финансовый_анализ #нейросети #машинное_обучение #биткоин #временные_ряды #алгоритмическая_торговля #прогнозирование_цен #lightgbm #сверточные_нейросети

ИИ в 1С: цена ошибок, скрытые расходы и инструменты, которые упрощают работу

ИИ-агенты уже пишут код, анализируют базы 1С и помогают разработчикам работать даже со смартфона. Но сколько на самом деле стоит такая автоматизация, что происходит, когда агент получает слишком много полномочий, и какие инструменты действительно экономят время? В нашей новой подборке приведен расчет реальной стоимости ИИ-разработки, опыт создания агента-аналитика и мобильного редактора запросов, история опасного сбоя в продуктивной базе и коллекция из 2400+ иконок для современных интерфейсов 1С.

https://habr.com/ru/companies/infostart/articles/1096158/

#анализ_данных #1с_предприятие #ииагенты #claude_code #оптимизация_контекста #стоимость_ииразработки #мобильный_конструктор_запросов #безопасность_автоматизации #восстановление_базы #svgиконки

Почему автобус никогда не приходит вовремя, или Теорема о том, что вам не повезло

Скажу сразу: автобус приходит вовремя. Просто не для вас. Звучит как обида на мироздание, но это математика, и довольно простая. Ей лет сто, у неё есть название (inspection paradox, парадокс инспекции, или, если по-нашему, парадокс времени ожидания). При этом она почти никогда не всплывает в разговоре на остановке. А зря: она объясняет, почему табличка «интервал 10 минут» и ваши реальные пятнадцать минут на ветру — не взаимоисключающие вещи. Я полезла в это после одного утра в феврале. Стою на остановке, на табличке гордо написано «интервал в часы пик — 10 минут», в приложении автобус то «через 4 минуты», то «через 7», то вообще пропадает. Через 22 минуты из-за поворота выезжают три автобуса подряд, бампер в бампер. Первый битком, второй полупустой, третий вообще пустой и обгоняет первые два, не останавливаясь. На работу я опоздала пришла с готовой идеей для исследования. Стоять и злиться было неконструктивно, поэтому я начала считать.

https://habr.com/ru/articles/1093320/

#статистика #математика #анализ_данных #теория_вероятностей #общественный_транспорт #урбанистика #bus_bunching #пуассоновский_поток

Квант трейдинг для каждого и ловушка красивого графика

Стратегия заработала 57% за год, её коэффициент Шарпа превысил три. Такой результат удалось получить на случайных числах: достаточно сгенерировать 2000 вариантов и выбрать победителя. На следующем отрезке он уже теряет деньги. Собрать торгового робота сегодня можно за вечер. Сложнее понять, есть ли у него преимущество перед рынком и откуда взялась прибыль в отчёте. Ошибки в данных, перебор настроек и слишком удобные правила исполнения способны превратить слабую идею в убедительный график. Разберём, как возникают такие результаты, сколько прибыли съедают расходы и что происходит между сигналом и настоящей сделкой. На примерах Freqtrade, LEAN, vectorbt и других систем посмотрим, какую работу выполняет софт и что его владельцу придётся проверять самому.

https://habr.com/ru/articles/1095592/

#автоматизация #финансы #алгоритмы #анализ_данных #рынки #торговые_роботы #алготрейдинг #автоматизированные_торговые_системы #квант_трейдинг #quant_trading

Как читать вакансии аналитика

Открываешь вакансию аналитика, а там двенадцать требований, из которых знаешь четыре, раазбираю: что стоит за «уверенным SQL» и «опытом A/B», что из этого спросят на собеседовании, как отвечать про незнакомое и почему одни и те же слова в продуктовой компании и в агентстве означают разную работу.

https://habr.com/ru/articles/1095266/

#поиск_работы #аналитика #junior #анализ_данных #собеседование #работа_в_ит #поиск_работы_в_it #аналитика_данных #аналитик_данных #работа_в_аналитике

155 000 вакансий: полный анализ IT-рынка России. Как описание вакансии влияет на зарплату

Привет, Хабр! (И тебе, IT‑шник, который хочет разобраться, что в 2026 вообще здесь происходит? Сейчас разберёмся, но легче тебе от этого не станет). Говорят, вакансию надо уметь читать между строк. Я решил проверить это буквально: взял 155 тысяч вакансий и прочитал их все. Не заголовки, а сами тексты, со всеми «дружными семьями» , «молодыми коллективами» и «опытом от 3 лет» . А потом посчитал, сколько каждая такая фраза стоит в рублях . И научил этому алгоритм... Спойлер: некоторые стоят вам реальных денег. В этой статье будет всё, зарплаты, ред флаги, лайфхаки, декодер вакансий. Будет интересно…

https://habr.com/ru/articles/1092104/

#it #графики #найм #python #аналитика #анализ_данных #hr #парсинг #рынок_труда #российский_рынок

[Перевод] Qwen3.8 27B обошла GPT-5.6 в SQL-бенчмарке. И всё это — локально на ноутбуке

Локальная Qwen3.8 27B обошла GPT-5.6 в SQL-бенчмарке, причём для её запуска хватило обычного MacBook. Стоимость запросов оказалась почти нулевой, но есть нюанс: на один ответ уходило несколько минут. Разбираемся, на что способен такой SQL-агент, где локальный запуск действительно выгоден и как настроить связку Qwen с DuckDB на своём ноутбуке.

https://habr.com/ru/companies/otus/articles/1092466/

#анализ_данных #duckdb #большие_языковые_модели #ииагенты #бенчмарки_llm #qwen38_27b #квантование_моделей #локальные_языковые_модели #локальный_запуск_ии

[Перевод] Новые агрегации перцентилей и медианного абсолютного отклонения в Manticore Search

Новые агрегации перцентилей и MAD в Manticore Search: как анализировать поведение хвостов распределения и выбросы в SQL и JSON с настраиваемой точностью через compression.

https://habr.com/ru/articles/1091346/

#Manticore_Search #SQL #перцентили #перцентильные_ранги #MAD #анализ_данных

Как я стала аналитиком данных после 10 лет работы в другой сфере — и что помогло мне строить осознанную карьеру

Меня зовут Элина Чусова, я работаю аналитиком данных в крупном банке. Я окончила курс

https://habr.com/ru/companies/yandex_praktikum/articles/1085910/

#анализ_данных #аналитика #аналитика_данных #аналитик #карьера_в_ит

«Переходи на Spark», говорили они. Сравнил pandas, Polars, DuckDB и PySpark на слабой машине

Сценарий знакомый: открываешь в pandas файл побольше, ноутбук задумывается, и через минуту всё падает с MemoryError. Следом обычно звучит совет: для больших данных есть Spark. Я решил проверить его цифрами, но не на кластере, а на слабой машине с двумя ядрами и 5,8 ГБ памяти. Сравнил шесть вариантов: pandas, pandas с pyarrow, Polars, Polars в потоковом режиме, DuckDB и PySpark. Пять типовых операций, объёмы от 6 до 180 млн строк, контроль памяти и автоматическая сверка результатов между библиотеками. Эта сверка по дороге нашла баг, из-за которого Spark терял целый день данных. Кто сдался первым, кто удивил и почему переход на Spark часто не лучший выход, рассказываю под катом. Смотреть результаты

https://habr.com/ru/articles/1087386/

#pandas #polars #duckdb #pyspark #бенчмарк #анализ_данных #обработка_данных #parquet #python #производительность

Две недели я собирал данные с трёх маркетплейсов Telegram-подарков, чтобы доказать, что на них нельзя заработать

Идея выглядела очевидной: на маркетплейсах Telegram-подарков постоянно появляются лоты дешевле рынка, купил дешевле — продал по рынку. Две недели сбора данных с Portals, Tonnel и MRKT: 54 447 лотов, 1.8 млн изменений цен, 4420 подтверждённых сделок с ценой. Ответ: заработать нельзя — и это видно по цифрам. Данные и код открыты. Как это измерено

https://habr.com/ru/articles/1086736/

#telegram #nft #telegram_gifts #анализ_данных #ton #python #маркетплейсы #ликвидность #отрицательный_результат #парсинг

Гайд по switchback‑экспериментам: длина окна, кластеризация ошибок и мощность

Новый алгоритм может уверенно выигрывать A/B‑тест и не показывать ожидаемого эффекта после запуска, если эксперимент учитывает только пользователей, но игнорирует общий ресурс. В статье разбираемся, как работают switchback‑эксперименты, почему стандартный анализ даёт ложные выводы и как корректно оценивать результаты. Разобрать подход

https://habr.com/ru/companies/otus/articles/1081848/

#эксперименты #статистический_анализ #анализ_данных #рандомизация #проверка_гипотез #метрики #машинное_обучение #кластеризация #аналитика_данных #A_Bтестирование

ИИ делает аналитику доступной каждому, но значит ли это, что аналитиков станет меньше?

Аналитика сейчас изменяется, если раньше чтобы понять в каких регионах сильнее всего снизились те же продажи, либо выросла текучесть нужно было неплохо так шарить за сбор данных, их обработку и статистику, то сейчас всё намного проще. Мало того, что ИИ позволяет обрабатывать и разбирать данные намного быстрее, чем это делалось вручную, так еще и современные BI системы уже позволяют внутри себя задавать вопросы к данным. Это я узнал не так давно, так как сам с этим не сталкивался еще, но это натолкнуло меня на размышления аналитического бытия.

https://habr.com/ru/articles/1081690/

#искусственный_интеллект #аналитика #аналитики #BI #анализ_данных #автоматизация_аналитики #selfservice_BI #профессия_аналитика #ИИ_в_аналитике #будущее_аналитики

Почему пообъектный скоринг банков не защищает от дефолта контрагента: ретроспективный Due Diligence скам-сделки

Кейс о том, почему нельзя слепо доверять автоматической проверке контрагентов от крупных банков. Проводим ретроспективный Due Diligence скам-сделки и разбираем 4 критических маркера аффилированности и финансового кризиса бенефициара, которые полностью проспали роботы.

https://habr.com/ru/articles/1082640/

#osint #информационная_безопасность #due_diligence #проверка_контрагентов #системный_анализ #анализ_данных #комплаенс #управление_бизнесом #финтех

Фича популярна у самых ценных пользователей. Стоит ли делать её центральной частью продукта?

Фича популярна у самых ценных клиентов и связана с высоким удержанием — но достаточно ли этого, чтобы сделать её основой продукта? Разбираем, почему корреляция в метриках может вводить в заблуждение, какие данные нужны для проверки гипотезы и как принимать продуктовые решения на основе экспериментов.

https://habr.com/ru/companies/otus/articles/1079624/

#продуктовая_аналитика #управление_продуктом #проверка_гипотез #метрики_продукта #анализ_данных #продуктовые_решения #удержание_пользователей #эксперименты #пользовательский_опыт

OSINT‑расследование: как посыпалась чесночная легенда…

Задалась я целью найти баговый инвестпроект, чтобы посмотреть сколько скама появляется в настоящее время в сфере приземленных инвестиций. Для поиска такого проекта я отправилась на одну из очевидных, самых популярных и доступных площадок для простых смертных. Ключевое слово поиска — «франшиза», так как именно тут, как правило, зашит скрытый смысл, который не читается в возбуждающих умы инвесторов презентациях. Меня как землевладельца, инвестора и ЗОЖника заинтересовал проект в агросекторе, в котором предлагалось выращивать наш российский чеснок наперекор азиатскому засилью. Сюрприз в конце для тех, кто дочитает. Увидеть сюрприз

https://habr.com/ru/articles/1081514/

#osint #due_diligence #анализ_данных #франшиза #инвестиции #масспостинг #агростартап #расследование

Отбор акций на .NET: 14,5 млн баров в SQLite, фильтр, который мерил не в тех единицах, и перестановочный тест

Каждый вечер мне нужно ответить на один вопрос: на какие бумаги из примерно тринадцати тысяч имеет смысл потратить время сегодня. Не «какие вырастут» — этого никто не знает, — а на каких стоит нарисовать уровень и поставить заявку. Год назад я написал под эту задачу программу и с тех пор работаю только через неё. Ниже — её устройство: как читаются 14,5 миллиона баров, как считается ранг относительной силы, как устроена воронка фильтров, какой из них год работал неправильно и почему, чем разбирается исход сделки и чем я проверяю, что отбор вообще чего-то стоит. Кода будет много: половина статьи именно про то, где решения оказались не такими, как выглядели на бумаге. Стек, чтобы дальше не отвлекаться: .NET 10, C#, WinForms для окна, SQLite (Microsoft.Data.Sqlite) вместо сервера, ScottPlot для графиков, xUnit — 867 тестов на три проекта. Ни одного внешнего сервиса, кроме поставщика котировок, ключ к которому вводит пользователь.

https://habr.com/ru/articles/1081206/

#c# #net #sqlite #временные_ряды #оптимизация #параллельные_вычисления #бэктест #перестановочный_тест #анализ_данных #отбор_акций

Ссылку засчитали, компанию не рекомендовали: как проверить видимость бренда в ответах ИИ

В отчёте по видимости бренда в ответах ИИ компания нашлась по трём из двадцати вопросов. Открыли сами ответы — и оказалось, что за этим числом стоят разные вещи. В одном случае компанию предложили как исполнителя. В другом поставили ссылку на её статью, но назвали чужую компанию. В третьем название бренда уже было в вопросе. Представим, что вы хотите попасть в список компаний, из которых выбирает клиент. В отчёте появляется плюс за ссылку на сайт. А в самом ответе заказчик читает о другом бренде. Если смотреть только на процент видимости, разницу можно пропустить.

https://habr.com/ru/articles/1080516/

#нейросети #Python #ChatGPT #Алиса_AI #GEO #AEO #вебаналитика #анализ_данных #мониторинг_бренда #продвижение_бренда_в_ответах_ИИ

ИИ-агент спешит на помощь: как мы автоматизировали более 70% рутины аналитика и увеличили эффективность команды

Привет! Меня зовут Дмитрий Гаврилов, я руководитель центра компетенции аналитики в MWS. Моя команда внедряет ИИ-скиллы в работу дата-аналитиков. Мы посмотрели на типичный рабочий день и поняли: рутина съедает до 75% времени аналитика. А можно ли это передать ИИ-агенту без потери качества? Эту гипотезу проверили на реальных задачах и получили конкретные результаты — делюсь в этом материале.

https://habr.com/ru/companies/ru_mts/articles/1077194/

#табс #ИИагенты #автоматизация #анализ_данных #DDL #MCPсервер #Jira #датаинженерия #скилы #бизнесаналитика

Компания «Фалькон Тех» стала партнером хакатона Мэра Москвы «Лидеры цифровой трансформации»

«Лидеры цифровой трансформации» — международный хакатон Мэра Москвы, где разработчики, аналитики, дизайнеры и другие ИТ-специалисты объединяются в команды, чтобы за ограниченное время создать прототипы цифровых решений для реальных задач города, бизнеса и государственных организаций.

https://habr.com/ru/companies/falcontech/articles/1077254/

#product #ml #backend #разработка #анализ_данных #data_analys #machine_learning

Тренды Telegram-ботов и Mini Apps: казино на подарках, откат звёзд и дорвеи на 20 миллионов

Телеграм показывает число юзеров бота, если им пользуются больше 10 тысяч человек в месяц. Как и в прошлом месяце , я погрузился в датку, чтобы найти тренды экосистемы Телеграм августа 2026. Погрузиться в детали

https://habr.com/ru/articles/1077170/

#telegram #телеграм #миниапп #маркетинг #анализ_данных #тренды #казино #ии #ииагенты #ииассистент

Снова хороним BI. Из гроба стучит

BI снова хоронят: подключаем LLM к хранилищу и аналитики больше не нужны, деньги тратить на лицензии не нужно. По крайней мере, так выглядит обещание. На практике дата-агент может написать корректный SQL, получить верные цифры и всё равно уверенно ответить не на тот бизнес-вопрос. Он путается в определениях метрик, теряет права пользователя, дорого ходит по кругу и иногда рассуждает хуже, когда ему дают больше времени. Я разобрал свежие кейсы OpenAI, Anthropic и Hex: что действительно улучшает ответы, какие очевидные подходы уже провалились, из чего складывается реальная стоимость и как за шесть шагов проверить

https://habr.com/ru/articles/1075946/

#data_agents #BI #texttoSQL #семантический_слой #LLM #DataBench #Spider_20 #governance #аналитика_данных #анализ_данных

Соревнование замерло 16 августа, а таблица поехала дальше. Разбираю, что из этого настоящее

Я полез в данные соревнования Pokemon TCG AI Battle посмотреть, кто там выигрывает, и залип на другом. На публичной таблице 6806 команд. Самая поздняя отправка решения датирована 16 августа, 23:58:53. После этой секунды не отправил никто 1668 команд из 6806, почти четверть поля, сделали финальную отправку именно в этот день: 824 из них после шести вечера, 350 в последний час. Похоже, немалая часть узнала про срок в тот же день, когда он истекал

https://habr.com/ru/articles/1074532/

#kaggle #соревнования #анализ_данных #статистика #метрики #лидерборд #визуализация_данных #ошибки_анализа #значимость #байтовая_квота

Более 100 000 вакансий: полная анализ IT-рынка России в 2026 году. Кто нас на самом деле нанимает?

Привет, Хабр! (И тебе, IT-шник, который хочет разобраться, что в 2026 вообще здесь происходит? И тебе кто уже прочёл первую часть. Сейчас разберёмся, но легче тебе от этого не станет). Сегодня продолжим препарировать весь IT рынок России на более чем 100 тысяч вакансий со всевозможных площадок . По-настоящему, полная и честная аналитика. С графиками, цифрами и верой в светлое будущее... Здесь будет всё, зарплаты, актуальные стеки и то что уже никому не нужно, прогнозы, тренды, и многое другое, будет интересно...

https://habr.com/ru/articles/1073408/

#аналитика #анализ_данных #графики #python #1c #hr #найм #российский_рынок #парсинг #рынок_труда

476 000 новостей против нейронки: пять попыток заставить текст предсказывать цену

Гипотеза «новости двигают рынок» — самая интуитивная в трейдинге. Настолько интуитивная, что я потратил на её проверку недели GPU-часов, полный архив финансовых телеграм-каналов с 2021 года и пять принципиально разных постановок задачи — от простых счётчиков упоминаний до NLP-разметки и пер-минутного event study. Результат: ноль из пяти . Ни одна постановка не улучшила боевую модель (с одной унизительной для NLP оговоркой — она в конце). Но интересен не сам ноль — интересно, как именно проваливалась каждая попытка . Две из пяти сначала показали «улучшение» в бэктесте, и если бы я остановился на агрегатной цифре, сейчас бы искренне рассказывал вам, что нейронка с новостями торгует лучше. Эта статья — подробный разбор всех пяти механизмов: что строил, какие признаки считал, какие цифры получил и где именно каждая версия обманывала. Это обещанное продолжение статьи про сидовый шум ±10 п.п. — протокол проверки оттуда, здесь он работает на живом сквозном примере.

https://habr.com/ru/articles/1072382/

#алготрейдинг #машинное+обучение #nlp #анализ_данных #sentiment_analysis #бэктестинг #нейронные_сети #мосбиржа

Какие профессии создал ИИ: разбор с цифрами

Всем привет! Я Ольга Матушевич, преподаватель курса

https://habr.com/ru/companies/yandex_praktikum/articles/1070046/

#нейросети #искусственный_интеллект #ai #профессии_будущего #профессии_в_it #ai_профессии #анализ_данных #data_science #аналитик_данных

Более 100 000 вакансий: полная анализ IT-рынка России в 2026 году. И почему hh.ru нас обманывает?

Привет, Хабр! (И тебе, IT-шник, который хочет разобраться, что в 2026 вообще здесь происходит? Сейчас разберёмся, но легче тебе от этого не станет). Сегодня будем препарировать весь IT рынок России на более чем 100 тысяч вакансий со всевозможных площадок . По-настоящему полная и честная аналитика. С графиками, цифрами и верой в светлое будущее... Здесь будет всё, зарплаты, актуальные стеки и то что уже никому не нужно, прогнозы, тренды, и многое другое, будет интересно...

https://habr.com/ru/articles/1069376/

#аналитика #анализ_данных #графики #python #1c #hr #найм #российский_рынок #парсинг #рынок_труда

Как мороженое заставляет людей тонуть: главная ошибка корреляционного анализа

Взгляните на графики: они показывают, что существует некая зависимость между количеством проданного мороженого и количеством утонувших людей в определенном регионе мира. Этот и подобные карикатурные примеры ошибки корреляции можно найти на ресурсе Spurious Correlations .

https://habr.com/ru/articles/1069268/

#корреляция #статистика #анализ_данных #коэффициент_корреляции #регрессия #causal_inference #статистический_анализ #корреляции #кейсы #ковариация

Почему цена Bitcoin «сломалась»: разбор аномалий 2022–2026 с WhyTrend

Увидел провал на графике → открыл Google или Twitter → полдня собираешь версии "почему". Знакомо? Детектор аномалий сам по себе даёт только точки на оси времени, а вопрос "почему" как был ручным, так и остаётся. В этот раз я прогнал WhyTrend не на паре аккуратных точек из Google Trends, а на полном ряде BTC за 4.5 года — и заодно на двух разных LLM. Результат оказался неожиданным: модель меньшего размера дала в три раза больше настоящих объяснений, чем более крупная . Расскажу, что случилось и почему.

https://habr.com/ru/articles/1069150/

#python #opensource #timeseries #анализ_данных #anomaly_detection #llm #программирование #data_mining #поиск_информации #data_science