#data_scientist — Public Fediverse posts

Сравниваю Jupyter Notebook, Google Colab, Kaggle и Marimo глазами исследователя и начинающего Data Scientist

Я пришел в Data Science не сразу. Учился в магистратуре по вечерам, работая в совершенно другой сфере (строительство). Осваивать машинное обучение и анализ данных было интересно, но один из самых неожиданных вопросов, который возник буквально сразу - в какой среде писать код? На первый взгляд кажется, что Jupyter Notebook, Google Colab, Kaggle и сравнительно новая Marimo - это одно и то же, ноутбук с ячейками и Python (так же поддерживаются другие языки программирования). Но на практике каждая из этих сред подходит для разных задач, где-то удобнее учиться, а где-то работать командой. Эта статья - результат моего практического сравнения сред, которое я проводил во время обучения и выполнения исследовательских задач, связанных с анализом и подготовкой данных, моделированием и машинным обучением. Статья будет полезна:

https://habr.com/ru/articles/969090/

#jupyter_notebook #google_colab #kaggle #data_scientist #сравнение #исследователь #опыт

РосНОУ повысил свои позиции в рейтинге вузов-лидеров ИИ

Альянс в сфере искусственного интеллекта опубликовал третий ежегодный рейтинг российских университетов, готовящих специалистов для ИИ-отрасли. В этом году в список вошли 203 вуза из 68 регионов страны.

https://habr.com/ru/articles/934646/

#высшее_образование #рейтинги_вузов #российский_новый_университет #itтехнологии #подготовка_кадров #образовательные_программы #образовательные_ресурсы #data_engineering #data_analysis #data_scientist

Со скоростью кометы: ускоряем Spark без переписывания кода

Привет, Хабр! Меня зовут Лев Маковеев. Я младший инженер по обработке данных в компании «Криптонит». В этой статье хочу поделиться с вами результатами небольшого исследования, в ходе которого мы протестировали ускоритель запросов Apache DataFusion Comet и пришли к довольно впечатляющим результатам. Забегая вперёд, отмечу, что в отдельных тестах ускорение было более чем десятикратным!

https://habr.com/ru/companies/kryptonite/articles/902872/

#spark #apache #comet #DataFusion #большие_данные #анализ_данных #data_engineering #data_scientist #big_data #оптимизация

Введение в синтетические данные для ML: зачем они нужны?

Генерация документов, лиц и даже симуляция целых атак: как далеко можно зайти в создании и использовании синтетических данных? В этой статье Артур Казукевич, Data Science Engineer в Data Light, расскажет, почему синтетика становится крупнейшей тенденцией в сфере ML, как такие данные можно использовать и какие ограничения для генерации существуют, а также поделится своим опытом.

https://habr.com/ru/companies/data_light/articles/860310/

#data_science #generative_models #data_scientist #data_engineering

Procrastination and the fear of not being good enough
https://swapnilchauhan.com/blog/procrastination-and-the-fear-of-not-being-good-enough
#ycombinator #Swapnil #Swapnil_Chauhan #Queen_Mary_University_of_London #iOS_Engineer #Software_Developer #Software_Engineer #Data_Scientist #Data_Analytics #Mobile_App_Developer

Procrastination and the fear of not being good enough
https://swapnilchauhan.com/blog/procrastination-and-the-fear-of-not-being-good-enough
#ycombinator #Swapnil #Swapnil_Chauhan #Queen_Mary_University_of_London #iOS_Engineer #Software_Developer #Software_Engineer #Data_Scientist #Data_Analytics #Mobile_App_Developer

Procrastination and the fear of not being good enough
https://swapnilchauhan.com/blog/procrastination-and-the-fear-of-not-being-good-enough
#ycombinator #Swapnil #Swapnil_Chauhan #Queen_Mary_University_of_London #iOS_Engineer #Software_Developer #Software_Engineer #Data_Scientist #Data_Analytics #Mobile_App_Developer

Procrastination and the fear of not being good enough
https://swapnilchauhan.com/blog/procrastination-and-the-fear-of-not-being-good-enough
#ycombinator #Swapnil #Swapnil_Chauhan #Queen_Mary_University_of_London #iOS_Engineer #Software_Developer #Software_Engineer #Data_Scientist #Data_Analytics #Mobile_App_Developer

Дата-сайентистам: рецензия на книгу “Машинное обучение с PyTorch и Scikit-Learn”

Это наконец случилось: в русском переводе вышла самая объемная из когда-либо издававшихся книг по машинному и глубокому обучению. "Machine Learning with PyTorch and Scikit-Learn" Себастьяна Рашки и его соавторов — это огромное, почти на 800 страниц, руководство по практическому применению Python в сфере Data Science. Книга изначально планировалась как 4-е издание "Python Machine Learning", но из-за множества изменений авторы решили выпустить его под новым названием. Ввиду достаточно высокой цены, вам пригодится наш промокод SSPSOFT для покупки этой книги со скидкой 25%.

https://habr.com/ru/companies/ssp-soft/articles/830004/

#data_science #data_mining #data_analysis #data_engineering #data_scientist #dataset #python #pytorch #scikitlearn

Вопросы и задачи по SQL на собеседованиях 2024: готовьтесь эффективно

В 2024 году вопросы и тестовые задания на собеседованиях не потеряли своей актуальности и продолжают вызывать огромный интерес у соискателей. Если вы сейчас погружены в процесс прохождения интервью, то наверняка сталкиваетесь с множеством непростых, но захватывающих задач. Давайте вместе рассмотрим некоторые из новых вопросов и задач, которые реально задаются на собеседованиях в различных командах. Эти примеры основаны на моем собственном опыте и актуальны на сегодняшний день. Новые вопросы и задачи будут публиковаться по мере их поступления и прохождения собеседований.

https://habr.com/ru/articles/816537/

#sql #data_analyst #bigdata #собеседование_вопросы #задачи_на_собеседованиях #вопросы_на_собеседование #data_science #data_scientist

Как мы упростили процесс интерактивной визуализации данных в веб-приложении, используя HoloViews

Идея этой статьи родилась, когда наша команда занималась разработкой минимально жизнеспособного продукта (MVP) внутренней веб-системы, важной составляющей которой было визуальное представление данных, а именно результатов работы различных анализаторов исходного кода программного обеспечения. Из всего разнообразия библиотек визуализации в веб мы выбрали HoloViews, поскольку она в наибольшей степени соответствовала компетенциям нашей команды, костяк которой в силу специфики проекта составляли специалисты по анализу данных. Однако для успешной интеграции HoloViews в веб-приложение нам, как разработчикам, пришлось проявить и некоторую изобретательность. Мы посчитали, что имеет смысл поделиться этим опытом, поскольку в одном месте подобный материал до сих пор нигде не был собран.

https://habr.com/ru/companies/astralinux/articles/814881/

#data_analyst #визуализация_данных #графики #датааналитик #вебприложения #датасайентист #data_scientist #интерактивная_визуализация #HoloViews