home.social

#дата_сайенс — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #дата_сайенс, aggregated by home.social.

  1. Как мы обучили Next Edit Suggestions модель

    Next Edit Suggestions (NES) это режим автодополнения, который предсказывает следующее редактирование программиста: что он изменит, где и как. Модель смотрит не только на код, но и на последнюю серию правок и предсказывает следующее действие в той же логике. Образно говоря, это модель которая работает в пространстве действий и намерений программиста.

    habr.com/ru/companies/koda/art

    #ai_агенты #ml #искусственный_интеллект #программирование #вайбкодинг #дата_сайенс #ai

  2. Как мы обучили Next Edit Suggestions модель

    Next Edit Suggestions (NES) это режим автодополнения, который предсказывает следующее редактирование программиста: что он изменит, где и как. Модель смотрит не только на код, но и на последнюю серию правок и предсказывает следующее действие в той же логике. Образно говоря, это модель которая работает в пространстве действий и намерений программиста.

    habr.com/ru/companies/koda/art

    #ai_агенты #ml #искусственный_интеллект #программирование #вайбкодинг #дата_сайенс #ai

  3. Как мы обучили Next Edit Suggestions модель

    Next Edit Suggestions (NES) это режим автодополнения, который предсказывает следующее редактирование программиста: что он изменит, где и как. Модель смотрит не только на код, но и на последнюю серию правок и предсказывает следующее действие в той же логике. Образно говоря, это модель которая работает в пространстве действий и намерений программиста.

    habr.com/ru/companies/koda/art

    #ai_агенты #ml #искусственный_интеллект #программирование #вайбкодинг #дата_сайенс #ai

  4. Как мы обучили Next Edit Suggestions модель

    Next Edit Suggestions (NES) это режим автодополнения, который предсказывает следующее редактирование программиста: что он изменит, где и как. Модель смотрит не только на код, но и на последнюю серию правок и предсказывает следующее действие в той же логике. Образно говоря, это модель которая работает в пространстве действий и намерений программиста.

    habr.com/ru/companies/koda/art

    #ai_агенты #ml #искусственный_интеллект #программирование #вайбкодинг #дата_сайенс #ai

  5. Победить дракона: что общего между Data Science и игрой Dungeons & Dragons

    Что общего между броском d20 и проверкой гипотезы? Между походом в таверну за информацией и сбором данных от заказчика? Оказывается, довольно много. Хабр, привет! Меня зовут Вячеслав Демин, я больше пяти лет работаю в сфере Data Science. Сейчас я руководитель направления аналитики данных в Сбере и эксперт на курсе

    habr.com/ru/companies/yandex_p

    #днд #dungeons_and_dragons #подземелья_и_драконы #data_science #data_scientist #работа_с_данными #дата_сайенс #анализ_данных

  6. Победить дракона: что общего между Data Science и игрой Dungeons & Dragons

    Что общего между броском d20 и проверкой гипотезы? Между походом в таверну за информацией и сбором данных от заказчика? Оказывается, довольно много. Хабр, привет! Меня зовут Вячеслав Демин, я больше пяти лет работаю в сфере Data Science. Сейчас я руководитель направления аналитики данных в Сбере и эксперт на курсе

    habr.com/ru/companies/yandex_p

    #днд #dungeons_and_dragons #подземелья_и_драконы #data_science #data_scientist #работа_с_данными #дата_сайенс #анализ_данных

  7. Победить дракона: что общего между Data Science и игрой Dungeons & Dragons

    Что общего между броском d20 и проверкой гипотезы? Между походом в таверну за информацией и сбором данных от заказчика? Оказывается, довольно много. Хабр, привет! Меня зовут Вячеслав Демин, я больше пяти лет работаю в сфере Data Science. Сейчас я руководитель направления аналитики данных в Сбере и эксперт на курсе

    habr.com/ru/companies/yandex_p

    #днд #dungeons_and_dragons #подземелья_и_драконы #data_science #data_scientist #работа_с_данными #дата_сайенс #анализ_данных

  8. Победить дракона: что общего между Data Science и игрой Dungeons & Dragons

    Что общего между броском d20 и проверкой гипотезы? Между походом в таверну за информацией и сбором данных от заказчика? Оказывается, довольно много. Хабр, привет! Меня зовут Вячеслав Демин, я больше пяти лет работаю в сфере Data Science. Сейчас я руководитель направления аналитики данных в Сбере и эксперт на курсе

    habr.com/ru/companies/yandex_p

    #днд #dungeons_and_dragons #подземелья_и_драконы #data_science #data_scientist #работа_с_данными #дата_сайенс #анализ_данных

  9. Совместимость (или нет?) MLOps-инструментов

    Как и любой уважающий себя инженер, в детстве я любил конструкторы и всякого рода головоломки. Не растерял я эту любовь и сейчас, правда, на смену простеньким детским головоломкам пришли сложные программные системы. Как Lead Data Scientist я решил автоматизировать процессы в разработке для себя и своей команды. Изучил десяток различных MLOps-инструментов, дело оставалось за малым — соединить их в одну общую удобную систему. Вот только этот конструктор отказывался легко собираться… В этом посте я буду говорить в первую очередь об Open Source решениях в мире MLOps. Статья будет в меньшей степени практической, но в конце я разберу существующие открытые MLOps-системы и подведу итоги. Я хочу показать существующую проблему несовместимости, порассуждать, в чем причины ее возникновения, и можно ли ее преодолеть. Мы не будем разбирать полный цикл автоматизации, а задержимся только на вопросах автоматизации пайплайна обучения модели и инструментах организации разработки в команде. ЖМИ

    habr.com/ru/companies/jetinfos

    #искусственный_интеллект #машинное_обучение #дата_сайенс #ml #mlops #mlops_tools #data_science #machinelearning #machinelearning #machine_learning

  10. Совместимость (или нет?) MLOps-инструментов

    Как и любой уважающий себя инженер, в детстве я любил конструкторы и всякого рода головоломки. Не растерял я эту любовь и сейчас, правда, на смену простеньким детским головоломкам пришли сложные программные системы. Как Lead Data Scientist я решил автоматизировать процессы в разработке для себя и своей команды. Изучил десяток различных MLOps-инструментов, дело оставалось за малым — соединить их в одну общую удобную систему. Вот только этот конструктор отказывался легко собираться… В этом посте я буду говорить в первую очередь об Open Source решениях в мире MLOps. Статья будет в меньшей степени практической, но в конце я разберу существующие открытые MLOps-системы и подведу итоги. Я хочу показать существующую проблему несовместимости, порассуждать, в чем причины ее возникновения, и можно ли ее преодолеть. Мы не будем разбирать полный цикл автоматизации, а задержимся только на вопросах автоматизации пайплайна обучения модели и инструментах организации разработки в команде. ЖМИ

    habr.com/ru/companies/jetinfos

    #искусственный_интеллект #машинное_обучение #дата_сайенс #ml #mlops #mlops_tools #data_science #machinelearning #machinelearning #machine_learning

  11. Перспективы профессии Data Science: ликбез для джунов

    Меня зовут Женя Толстов, я тимлид ML-отдела в группе компаний ФСК и наставник на курсе

    habr.com/ru/companies/yandex_p

    #data_science #data_scientist #дата_сайенс #перспективы_профессии #профессии_в_it

  12. Взгляд разметчика данных

    Дисклеймер: ниже будет описан личный опыт и точка зрения человека-исполнителя. Устройство всей процедуры разметки в статье не раскрывается. Все совпадения сущностей случайны. Названия компаний не упоминаются в целях соблюдения NDA. В статье не будут подниматься вопросы оплаты труда и разбираются только основные рабочие моменты. Всем добрый день! Одно время я работал разметчиком данных на разные компании и довольно долго, примерно 5 лет. Так как компании были разные, то и размечать приходилось разное: сайты, картинки, звуки. Только с видео не довелось поработать. С одной стороны, эта работа довольно рутинная и однообразная. С другой стороны - нет. Потому что на разметку попадались разные документы с разной целью. Однако целью данной статьи не документы, а общие закономерности и подводные камни на этом нудном пути с точки зрения непосредственного исполнителя. Разметка данных используется для обучения различных алгоритмов, чаще всего на основе нейросетей. Она применяется разных отраслях, включая такие сложные, как медицина. Без разметки невозможно обучение моделей, так как нет явной целевой переменной и от качества разметки напрямую зависит качество модели. Я имею опыт работы Data Scientist-ом и даже диплом получил, поэтому понимаю, насколько важна разметка. Более того, сейчас, работая с медицинскими датасетами, я всё чаще задумываюсь: а насколько вообще можно доверять той или иной разметке, даже если её ставит врач? Итак, приступим к теме нашего разговора.

    habr.com/ru/articles/983886/

    #разметка_данных #разметка_изображений #аннотация_данных #качество_данных #опыт_работы #бинарная_классификация #дата_сайенс #data_science

  13. Задача распознавания эмоций. Часть 1. Введение

    Распознавание эмоций. Данная статья была подготовлена на основе презентации моей курсовой работы по компьютерному зрению. Ее цель - это краткий обзор аспектов машинного обучения в контексте задачи распознавания эмоций. То есть, в данной стать мы не будем излишне углубляться в детали, но при этом затронем практически все проблемы, которые так или иначе связаны с одной задачей: построение модели распознавания эмоций. Статья будет состоять из 3 частей: 1. Введение Описание и постановка задачи распознавания эмоций. 2. Три кита качества Данные; Архитектура; Гиперпараметры. 3. Запуск модели Разбор моего ноутбука с работой по шагам. Каждая из частей будет более практическая чем предыдущая и постепенно перейдет от общей теории к реальному коду.

    habr.com/ru/articles/824744/

    #computer_vision #data_science #emotions #emotion_detection #classification #классификация #дата_сайенс #компьютерное_зрение #машинное_зрение #детектирование

  14. Взгляд разметчика данных

    Дисклеймер: ниже будет описан личный опыт и точка зрения человека-исполнителя. Устройство всей процедуры разметки в статье не раскрывается. Все совпадения сущностей случайны. Названия компаний не упоминаются в целях соблюдения NDA. В статье не будут подниматься вопросы оплаты труда и разбираются только основные рабочие моменты. Всем добрый день! Одно время я работал разметчиком данных на разные компании и довольно долго, примерно 5 лет. Так как компании были разные, то и размечать приходилось разное: сайты, картинки, звуки. Только с видео не довелось поработать. С одной стороны, эта работа довольно рутинная и однообразная. С другой стороны - нет. Потому что на разметку попадались разные документы с разной целью. Однако целью данной статьи не документы, а общие закономерности и подводные камни на этом нудном пути с точки зрения непосредственного исполнителя. Разметка данных используется для обучения различных алгоритмов, чаще всего на основе нейросетей. Она применяется разных отраслях, включая такие сложные, как медицина. Без разметки невозможно обучение моделей, так как нет явной целевой переменной и от качества разметки напрямую зависит качество модели. Я имею опыт работы Data Scientist-ом и даже диплом получил, поэтому понимаю, насколько важна разметка. Более того, сейчас, работая с медицинскими датасетами, я всё чаще задумываюсь: а насколько вообще можно доверять той или иной разметке, даже если её ставит врач? Итак, приступим к теме нашего разговора.

    habr.com/ru/articles/983886/

    #разметка_данных #разметка_изображений #аннотация_данных #качество_данных #опыт_работы #бинарная_классификация #дата_сайенс #data_science

  15. Взгляд разметчика данных

    Дисклеймер: ниже будет описан личный опыт и точка зрения человека-исполнителя. Устройство всей процедуры разметки в статье не раскрывается. Все совпадения сущностей случайны. Названия компаний не упоминаются в целях соблюдения NDA. В статье не будут подниматься вопросы оплаты труда и разбираются только основные рабочие моменты. Всем добрый день! Одно время я работал разметчиком данных на разные компании и довольно долго, примерно 5 лет. Так как компании были разные, то и размечать приходилось разное: сайты, картинки, звуки. Только с видео не довелось поработать. С одной стороны, эта работа довольно рутинная и однообразная. С другой стороны - нет. Потому что на разметку попадались разные документы с разной целью. Однако целью данной статьи не документы, а общие закономерности и подводные камни на этом нудном пути с точки зрения непосредственного исполнителя. Разметка данных используется для обучения различных алгоритмов, чаще всего на основе нейросетей. Она применяется разных отраслях, включая такие сложные, как медицина. Без разметки невозможно обучение моделей, так как нет явной целевой переменной и от качества разметки напрямую зависит качество модели. Я имею опыт работы Data Scientist-ом и даже диплом получил, поэтому понимаю, насколько важна разметка. Более того, сейчас, работая с медицинскими датасетами, я всё чаще задумываюсь: а насколько вообще можно доверять той или иной разметке, даже если её ставит врач? Итак, приступим к теме нашего разговора.

    habr.com/ru/articles/983886/

    #разметка_данных #разметка_изображений #аннотация_данных #качество_данных #опыт_работы #бинарная_классификация #дата_сайенс #data_science

  16. Взгляд разметчика данных

    Дисклеймер: ниже будет описан личный опыт и точка зрения человека-исполнителя. Устройство всей процедуры разметки в статье не раскрывается. Все совпадения сущностей случайны. Названия компаний не упоминаются в целях соблюдения NDA. В статье не будут подниматься вопросы оплаты труда и разбираются только основные рабочие моменты. Всем добрый день! Одно время я работал разметчиком данных на разные компании и довольно долго, примерно 5 лет. Так как компании были разные, то и размечать приходилось разное: сайты, картинки, звуки. Только с видео не довелось поработать. С одной стороны, эта работа довольно рутинная и однообразная. С другой стороны - нет. Потому что на разметку попадались разные документы с разной целью. Однако целью данной статьи не документы, а общие закономерности и подводные камни на этом нудном пути с точки зрения непосредственного исполнителя. Разметка данных используется для обучения различных алгоритмов, чаще всего на основе нейросетей. Она применяется разных отраслях, включая такие сложные, как медицина. Без разметки невозможно обучение моделей, так как нет явной целевой переменной и от качества разметки напрямую зависит качество модели. Я имею опыт работы Data Scientist-ом и даже диплом получил, поэтому понимаю, насколько важна разметка. Более того, сейчас, работая с медицинскими датасетами, я всё чаще задумываюсь: а насколько вообще можно доверять той или иной разметке, даже если её ставит врач? Итак, приступим к теме нашего разговора.

    habr.com/ru/articles/983886/

    #разметка_данных #разметка_изображений #аннотация_данных #качество_данных #опыт_работы #бинарная_классификация #дата_сайенс #data_science

  17. Математика и софтскилы: какие навыки нужны начинающему дата-сайентисту

    Хабр, привет! Меня зовут Вячеслав Демин, я больше четырёх лет работаю в сфере Data Science. Сейчас руковожу направлением аналитики данных в Сбере и преподаю на курсе

    habr.com/ru/companies/yandex_p

    #data_science #анализ_данных #аналитика_данных #дата_сайенс

  18. Математика и софтскилы: какие навыки нужны начинающему дата-сайентисту

    Хабр, привет! Меня зовут Вячеслав Демин, я больше четырёх лет работаю в сфере Data Science. Сейчас руковожу направлением аналитики данных в Сбере и преподаю на курсе

    habr.com/ru/companies/yandex_p

    #data_science #анализ_данных #аналитика_данных #дата_сайенс

  19. Математика и софтскилы: какие навыки нужны начинающему дата-сайентисту

    Хабр, привет! Меня зовут Вячеслав Демин, я больше четырёх лет работаю в сфере Data Science. Сейчас руковожу направлением аналитики данных в Сбере и преподаю на курсе

    habr.com/ru/companies/yandex_p

    #data_science #анализ_данных #аналитика_данных #дата_сайенс

  20. Математика и софтскилы: какие навыки нужны начинающему дата-сайентисту

    Хабр, привет! Меня зовут Вячеслав Демин, я больше четырёх лет работаю в сфере Data Science. Сейчас руковожу направлением аналитики данных в Сбере и преподаю на курсе

    habr.com/ru/companies/yandex_p

    #data_science #анализ_данных #аналитика_данных #дата_сайенс

  21. Задача распознавания эмоций. Часть 1. Введение

    Распознавание эмоций. Данная статья была подготовлена на основе презентации моей курсовой работы по компьютерному зрению. Ее цель - это краткий обзор аспектов машинного обучения в контексте задачи распознавания эмоций. То есть, в данной стать мы не будем излишне углубляться в детали, но при этом затронем практически все проблемы, которые так или иначе связаны с одной задачей: построение модели распознавания эмоций. Статья будет состоять из 3 частей: 1. Введение Описание и постановка задачи распознавания эмоций. 2. Три кита качества Данные; Архитектура; Гиперпараметры. 3. Запуск модели Разбор моего ноутбука с работой по шагам. Каждая из частей будет более практическая чем предыдущая и постепенно перейдет от общей теории к реальному коду.

    habr.com/ru/articles/824744/

    #computer_vision #data_science #emotions #emotion_detection #classification #классификация #дата_сайенс #компьютерное_зрение #машинное_зрение #детектирование

  22. Задача распознавания эмоций. Часть 1. Введение

    Распознавание эмоций. Данная статья была подготовлена на основе презентации моей курсовой работы по компьютерному зрению. Ее цель - это краткий обзор аспектов машинного обучения в контексте задачи распознавания эмоций. То есть, в данной стать мы не будем излишне углубляться в детали, но при этом затронем практически все проблемы, которые так или иначе связаны с одной задачей: построение модели распознавания эмоций. Статья будет состоять из 3 частей: 1. Введение Описание и постановка задачи распознавания эмоций. 2. Три кита качества Данные; Архитектура; Гиперпараметры. 3. Запуск модели Разбор моего ноутбука с работой по шагам. Каждая из частей будет более практическая чем предыдущая и постепенно перейдет от общей теории к реальному коду.

    habr.com/ru/articles/824744/

    #computer_vision #data_science #emotions #emotion_detection #classification #классификация #дата_сайенс #компьютерное_зрение #машинное_зрение #детектирование

  23. Перспективы профессии Data Science: ликбез для джунов

    Меня зовут Женя Толстов, я тимлид ML-отдела в группе компаний ФСК и наставник на курсе

    habr.com/ru/companies/yandex_p

    #data_science #data_scientist #дата_сайенс #перспективы_профессии #профессии_в_it

  24. Перспективы профессии Data Science: ликбез для джунов

    Меня зовут Женя Толстов, я тимлид ML-отдела в группе компаний ФСК и наставник на курсе

    habr.com/ru/companies/yandex_p

    #data_science #data_scientist #дата_сайенс #перспективы_профессии #профессии_в_it

  25. Классификация экзопланет (часть I обработка данных)

    В космосе есть нечто завораживающее и прекрасное, в то же время человек устроен так, что ему если ему что то не известно, то стоит этого бояться (спасибо нашим мамам папам в n-ном поколении за столь широкий диапазон восприятия информации и реагирования на неё), тем не менее всегда находились безумцы исследователи, мечтатели и просто люди, которым в лом заниматься тем, что уже итак без них придумали и хорошо работает, поэтому они стремились придумать что то новое. Кто то занимается курсами по бесконечным саморазвитиям, открывает новые виды дыхания, а также наполняет свои чакры и чувствует прилив сил, а кто-то действительно пытается обнаружить то, что обычному человеку скорее всего в ближайшие лет 50 (а может и больше) не понадобится, ведь вряд-ли мы сможем покинуть нашу солнечную систему раньше этого срока. Однако в том чтобы смотреть в ночное небо и пытаться нарисовать у себя в голове линии, которые называют большой медведицей или тот же ковш, а может и повезет увидеть млечный путь во всей своей красе, есть нечто притягательное и необычное, то что заставляет одновременно почувствовать себя, как говорят некоторые маленькой точкой, но в то же время не забываем что у нас есть микромир, для которого человек, грубо говоря уже сам является целой вселенной. Как писала Лиза Рэндалл в 'достучаться до небес', человек, он где то посередине всего этого мира. В машинном обучении есть один неоспоримый плюс- возможность заниматься чем угодно, если об это 'что угодно', есть данные. В данной статье мы обработаем данные с орбитального телескопа Kepler, сделаем отбор признаков и построим ml модель для классификации экзопланет. Это первая часть статьи с этими данным. В ближайшем будущем выйдет вторая часть, где будут построены новый модели, в том числе нейросети для данных с Kepler.

    habr.com/ru/articles/800999/

    #машинное_обучение #python #machinelearning #экзопланеты #космос #обработка_данных #дата_сайенс

  26. Классификация экзопланет (часть I обработка данных)

    В космосе есть нечто завораживающее и прекрасное, в то же время человек устроен так, что ему если ему что то не известно, то стоит этого бояться (спасибо нашим мамам папам в n-ном поколении за столь широкий диапазон восприятия информации и реагирования на неё), тем не менее всегда находились безумцы исследователи, мечтатели и просто люди, которым в лом заниматься тем, что уже итак без них придумали и хорошо работает, поэтому они стремились придумать что то новое. Кто то занимается курсами по бесконечным саморазвитиям, открывает новые виды дыхания, а также наполняет свои чакры и чувствует прилив сил, а кто-то действительно пытается обнаружить то, что обычному человеку скорее всего в ближайшие лет 50 (а может и больше) не понадобится, ведь вряд-ли мы сможем покинуть нашу солнечную систему раньше этого срока. Однако в том чтобы смотреть в ночное небо и пытаться нарисовать у себя в голове линии, которые называют большой медведицей или тот же ковш, а может и повезет увидеть млечный путь во всей своей красе, есть нечто притягательное и необычное, то что заставляет одновременно почувствовать себя, как говорят некоторые маленькой точкой, но в то же время не забываем что у нас есть микромир, для которого человек, грубо говоря уже сам является целой вселенной. Как писала Лиза Рэндалл в 'достучаться до небес', человек, он где то посередине всего этого мира. В машинном обучении есть один неоспоримый плюс- возможность заниматься чем угодно, если об это 'что угодно', есть данные. В данной статье мы обработаем данные с орбитального телескопа Kepler, сделаем отбор признаков и построим ml модель для классификации экзопланет. Это первая часть статьи с этими данным. В ближайшем будущем выйдет вторая часть, где будут построены новый модели, в том числе нейросети для данных с Kepler.

    habr.com/ru/articles/800999/

    #машинное_обучение #python #machinelearning #экзопланеты #космос #обработка_данных #дата_сайенс

  27. Классификация экзопланет (часть I обработка данных)

    В космосе есть нечто завораживающее и прекрасное, в то же время человек устроен так, что ему если ему что то не известно, то стоит этого бояться (спасибо нашим мамам папам в n-ном поколении за столь широкий диапазон восприятия информации и реагирования на неё), тем не менее всегда находились безумцы исследователи, мечтатели и просто люди, которым в лом заниматься тем, что уже итак без них придумали и хорошо работает, поэтому они стремились придумать что то новое. Кто то занимается курсами по бесконечным саморазвитиям, открывает новые виды дыхания, а также наполняет свои чакры и чувствует прилив сил, а кто-то действительно пытается обнаружить то, что обычному человеку скорее всего в ближайшие лет 50 (а может и больше) не понадобится, ведь вряд-ли мы сможем покинуть нашу солнечную систему раньше этого срока. Однако в том чтобы смотреть в ночное небо и пытаться нарисовать у себя в голове линии, которые называют большой медведицей или тот же ковш, а может и повезет увидеть млечный путь во всей своей красе, есть нечто притягательное и необычное, то что заставляет одновременно почувствовать себя, как говорят некоторые маленькой точкой, но в то же время не забываем что у нас есть микромир, для которого человек, грубо говоря уже сам является целой вселенной. Как писала Лиза Рэндалл в 'достучаться до небес', человек, он где то посередине всего этого мира. В машинном обучении есть один неоспоримый плюс- возможность заниматься чем угодно, если об это 'что угодно', есть данные. В данной статье мы обработаем данные с орбитального телескопа Kepler, сделаем отбор признаков и построим ml модель для классификации экзопланет. Это первая часть статьи с этими данным. В ближайшем будущем выйдет вторая часть, где будут построены новый модели, в том числе нейросети для данных с Kepler.

    habr.com/ru/articles/800999/

    #машинное_обучение #python #machinelearning #экзопланеты #космос #обработка_данных #дата_сайенс