#машинное_обучениe — Public Fediverse posts

Использование машинного обучения в работе с SolidWorks (1 часть)

Работа инженера-конструктора, помимо творчества, порой заставляет заниматься рутинными задачами, которые отнимают время, силы. Столкнувшись с постоянным формированием необходимых архивов с деталями, я решил автоматизировать этот процесс и для себя, и для коллег, написав простенькую программку. В этой статье поделюсь своим опытом и намеченными планами.

https://habr.com/ru/articles/1033876/

#solidworks #python #pytorch #машинное_обучениe #ml #api

Использование машинного обучения в работе с SolidWorks (1 часть)

Работа инженера-конструктора, помимо творчества, порой заставляет заниматься рутинными задачами, которые отнимают время, силы. Столкнувшись с постоянным формированием необходимых архивов с деталями, я решил автоматизировать этот процесс и для себя, и для коллег, написав простенькую программку. В этой статье поделюсь своим опытом и намеченными планами.

https://habr.com/ru/articles/1033876/

#solidworks #python #pytorch #машинное_обучениe #ml #api

Использование машинного обучения в работе с SolidWorks (1 часть)

Работа инженера-конструктора, помимо творчества, порой заставляет заниматься рутинными задачами, которые отнимают время, силы. Столкнувшись с постоянным формированием необходимых архивов с деталями, я решил автоматизировать этот процесс и для себя, и для коллег, написав простенькую программку. В этой статье поделюсь своим опытом и намеченными планами.

https://habr.com/ru/articles/1033876/

#solidworks #python #pytorch #машинное_обучениe #ml #api

Использование машинного обучения в работе с SolidWorks (1 часть)

Работа инженера-конструктора, помимо творчества, порой заставляет заниматься рутинными задачами, которые отнимают время, силы. Столкнувшись с постоянным формированием необходимых архивов с деталями, я решил автоматизировать этот процесс и для себя, и для коллег, написав простенькую программку. В этой статье поделюсь своим опытом и намеченными планами.

https://habr.com/ru/articles/1033876/

#solidworks #python #pytorch #машинное_обучениe #ml #api

Обучение нейросетей как алхимия

Современное машинное обучение — это алхимия: есть рабочие рецепты, но нет строгой теории. Мы знаем, что dropout помогает, batch norm стабилизирует, а learning rate = 3e-4 часто работает лучше всего — но почему? Разбираемся, что происходит в обучении нейросетей, и почему путь от алхимии к науке лежит через эксперименты С каждым месяцем нейросети становятся всё умнее, но каждый шаг, такое ощущение, даётся всё сложнее и сложнее. Попробуем посмотреть со стороны, что происходит в обучении нейросетей. Сегодня даже школьники легко оперируют такими понятиями как pretrain, fine-tuning, gradient descent, loss function. Забавно, что для практических опытов им, да и многим другим, необязательно понимать теоретическую суть процессов, происходящих в нейросетях. Достаточно примерного понимания того, что обычно происходит, какие риски и возможности. По этому поводу, кстати очень ёмко высказался Али Рахими ещё в 2017 году, назвав современное машинное обучение алхимией. Думаю, это определение до сих пор справедливо. Что это значит?

https://habr.com/ru/companies/timeweb/articles/984114/

#искусственный_интеллект #машинное_обучениe #ии #нейросети

За пределами LLM: детерминированный движок рассуждения на конечном алфавите

В статье я показываю альтернативу LLM в роли решателя внутри продукта: детерминированное ядро, работающее на конечном алфавите состояний с таблично заданной бинарной операцией — lookup/transition table . Вместо вероятностных ответов — воспроизводимые вычисления с замыканием (фикс-точка или цикл), учётом симметрий (автоморфизмов) для факторизации перебора и со строгим контуром проверки: спецификации, валидаторы, регрессия и публичный отчёт в стабильном JSON-формате. Систему можно запустить локально одной командой — или прогнать прямо в ChatGPT, если включён режим выполнения кода: вы получите PASS/FAIL и полный комплект артефактов прогона.

https://habr.com/ru/articles/988698/

#ai #llmмодели #llm #llmархитектура #искусственный_интеллект #искусственный_разум #машинное+обучение #машинное_обучениe #машинное_творчество #алгоритмы

За пределами LLM: детерминированный движок рассуждения на конечном алфавите

В статье я показываю альтернативу LLM в роли решателя внутри продукта: детерминированное ядро, работающее на конечном алфавите состояний с таблично заданной бинарной операцией — lookup/transition table . Вместо вероятностных ответов — воспроизводимые вычисления с замыканием (фикс-точка или цикл), учётом симметрий (автоморфизмов) для факторизации перебора и со строгим контуром проверки: спецификации, валидаторы, регрессия и публичный отчёт в стабильном JSON-формате. Систему можно запустить локально одной командой — или прогнать прямо в ChatGPT, если включён режим выполнения кода: вы получите PASS/FAIL и полный комплект артефактов прогона.

https://habr.com/ru/articles/988698/

#ai #llmмодели #llm #llmархитектура #искусственный_интеллект #искусственный_разум #машинное+обучение #машинное_обучениe #машинное_творчество #алгоритмы

За пределами LLM: детерминированный движок рассуждения на конечном алфавите

В статье я показываю альтернативу LLM в роли решателя внутри продукта: детерминированное ядро, работающее на конечном алфавите состояний с таблично заданной бинарной операцией — lookup/transition table . Вместо вероятностных ответов — воспроизводимые вычисления с замыканием (фикс-точка или цикл), учётом симметрий (автоморфизмов) для факторизации перебора и со строгим контуром проверки: спецификации, валидаторы, регрессия и публичный отчёт в стабильном JSON-формате. Систему можно запустить локально одной командой — или прогнать прямо в ChatGPT, если включён режим выполнения кода: вы получите PASS/FAIL и полный комплект артефактов прогона.

https://habr.com/ru/articles/988698/

#ai #llmмодели #llm #llmархитектура #искусственный_интеллект #искусственный_разум #машинное+обучение #машинное_обучениe #машинное_творчество #алгоритмы

За пределами LLM: детерминированный движок рассуждения на конечном алфавите

В статье я показываю альтернативу LLM в роли решателя внутри продукта: детерминированное ядро, работающее на конечном алфавите состояний с таблично заданной бинарной операцией — lookup/transition table . Вместо вероятностных ответов — воспроизводимые вычисления с замыканием (фикс-точка или цикл), учётом симметрий (автоморфизмов) для факторизации перебора и со строгим контуром проверки: спецификации, валидаторы, регрессия и публичный отчёт в стабильном JSON-формате. Систему можно запустить локально одной командой — или прогнать прямо в ChatGPT, если включён режим выполнения кода: вы получите PASS/FAIL и полный комплект артефактов прогона.

https://habr.com/ru/articles/988698/

#ai #llmмодели #llm #llmархитектура #искусственный_интеллект #искусственный_разум #машинное+обучение #машинное_обучениe #машинное_творчество #алгоритмы

Machine Unlearning. Часть 1: Почему моделям нужно уметь забывать

Большие языковые модели (LLM) сегодня умеют невероятно много — от генерации текста до сложного анализа данных. Но что происходит, если часть информации, на которой они обучались, нужно удалить? Просто убрать лишние данные и переобучить модель может быть слишком накладно и дорого. Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft. В этой статье я расскажу о достаточно новом направлении машинного разучивания (Machine Unlearning), которое позволяет моделям “забывать” не нужные знания без полного их переобучения.

https://habr.com/ru/companies/raft/articles/981858/

#ai #machine_unlearning #machine_unlearning_для_llm #сезон_ии_в_разработке #машинное_обучениe #opensourse

Machine Unlearning. Часть 1: Почему моделям нужно уметь забывать

Большие языковые модели (LLM) сегодня умеют невероятно много — от генерации текста до сложного анализа данных. Но что происходит, если часть информации, на которой они обучались, нужно удалить? Просто убрать лишние данные и переобучить модель может быть слишком накладно и дорого. Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft. В этой статье я расскажу о достаточно новом направлении машинного разучивания (Machine Unlearning), которое позволяет моделям “забывать” не нужные знания без полного их переобучения.

https://habr.com/ru/companies/raft/articles/981858/

#ai #machine_unlearning #machine_unlearning_для_llm #сезон_ии_в_разработке #машинное_обучениe #opensourse

Machine Unlearning. Часть 1: Почему моделям нужно уметь забывать

Большие языковые модели (LLM) сегодня умеют невероятно много — от генерации текста до сложного анализа данных. Но что происходит, если часть информации, на которой они обучались, нужно удалить? Просто убрать лишние данные и переобучить модель может быть слишком накладно и дорого. Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft. В этой статье я расскажу о достаточно новом направлении машинного разучивания (Machine Unlearning), которое позволяет моделям “забывать” не нужные знания без полного их переобучения.

https://habr.com/ru/companies/raft/articles/981858/

#ai #machine_unlearning #machine_unlearning_для_llm #сезон_ии_в_разработке #машинное_обучениe #opensourse

Machine Unlearning. Часть 1: Почему моделям нужно уметь забывать

Большие языковые модели (LLM) сегодня умеют невероятно много — от генерации текста до сложного анализа данных. Но что происходит, если часть информации, на которой они обучались, нужно удалить? Просто убрать лишние данные и переобучить модель может быть слишком накладно и дорого. Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft. В этой статье я расскажу о достаточно новом направлении машинного разучивания (Machine Unlearning), которое позволяет моделям “забывать” не нужные знания без полного их переобучения.

https://habr.com/ru/companies/raft/articles/981858/

#ai #machine_unlearning #machine_unlearning_для_llm #сезон_ии_в_разработке #машинное_обучениe #opensourse

Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность

Установка и эксплуатация приложений Spark в облаке зачастую становятся препятствием для дата-инженеров (Data Engineer, DE): сложная работа с Helm-конфигурациями отвлекает внимание от анализа данных и замедляет подготовку среды. Но полностью отказываться от Spark зачастую нерационально, поэтому многие команды стремятся найти свое решение для обхода существующих сложностей. Привет, Хабр. Меня зовут Юрий Орлов. Я руководитель команды разработки ML Platform в VK Tech. В этой статье я расскажу о том, как мы автоматизировали развертывание Spark в облаке и создали клиент на Python, который снижает требования к знаниям в области DevOps и Kubernetes, необходимым для начала работы со Spark.

https://habr.com/ru/companies/vktech/articles/966586/

#vk_cloud #spark #ml_platform #vk_tech #k8s #kubernetes #машинное_обучениe #python #Apache_Livy #apache

Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность

Установка и эксплуатация приложений Spark в облаке зачастую становятся препятствием для дата-инженеров (Data Engineer, DE): сложная работа с Helm-конфигурациями отвлекает внимание от анализа данных и замедляет подготовку среды. Но полностью отказываться от Spark зачастую нерационально, поэтому многие команды стремятся найти свое решение для обхода существующих сложностей. Привет, Хабр. Меня зовут Юрий Орлов. Я руководитель команды разработки ML Platform в VK Tech. В этой статье я расскажу о том, как мы автоматизировали развертывание Spark в облаке и создали клиент на Python, который снижает требования к знаниям в области DevOps и Kubernetes, необходимым для начала работы со Spark.

https://habr.com/ru/companies/vktech/articles/966586/

#vk_cloud #spark #ml_platform #vk_tech #k8s #kubernetes #машинное_обучениe #python #Apache_Livy #apache

Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность

Установка и эксплуатация приложений Spark в облаке зачастую становятся препятствием для дата-инженеров (Data Engineer, DE): сложная работа с Helm-конфигурациями отвлекает внимание от анализа данных и замедляет подготовку среды. Но полностью отказываться от Spark зачастую нерационально, поэтому многие команды стремятся найти свое решение для обхода существующих сложностей. Привет, Хабр. Меня зовут Юрий Орлов. Я руководитель команды разработки ML Platform в VK Tech. В этой статье я расскажу о том, как мы автоматизировали развертывание Spark в облаке и создали клиент на Python, который снижает требования к знаниям в области DevOps и Kubernetes, необходимым для начала работы со Spark.

https://habr.com/ru/companies/vktech/articles/966586/

#vk_cloud #spark #ml_platform #vk_tech #k8s #kubernetes #машинное_обучениe #python #Apache_Livy #apache

Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность

Установка и эксплуатация приложений Spark в облаке зачастую становятся препятствием для дата-инженеров (Data Engineer, DE): сложная работа с Helm-конфигурациями отвлекает внимание от анализа данных и замедляет подготовку среды. Но полностью отказываться от Spark зачастую нерационально, поэтому многие команды стремятся найти свое решение для обхода существующих сложностей. Привет, Хабр. Меня зовут Юрий Орлов. Я руководитель команды разработки ML Platform в VK Tech. В этой статье я расскажу о том, как мы автоматизировали развертывание Spark в облаке и создали клиент на Python, который снижает требования к знаниям в области DevOps и Kubernetes, необходимым для начала работы со Spark.

https://habr.com/ru/companies/vktech/articles/966586/

#vk_cloud #spark #ml_platform #vk_tech #k8s #kubernetes #машинное_обучениe #python #Apache_Livy #apache

Сказ о том, как сделать самый большой флот автономных грузовиков в России с нуля…

Сегодня достаточно скачать с GitHub-a открытый стек автопилота, прикрутить пару камер или лидаров с AliExpress к небольшой электрической платформе, прокатить ее по парковке — и проект уже называют «автономным». Но заставить машину без водителя в реальных условиях выполнять задачи бизнеса, например, перевозить тонны груза в -30 °C и +50 °C, и, при этом, зарабатывать деньги — это совсем другая лига, где сходят с дистанции даже стартапы с сотнями миллионов долларов инвестиций. Я — Дмитрий Куликов, последние 2,5 года руковожу разработкой ПО в Evocargo. Мы с нуля разрабатываем, проектируем, производим и внедряем автономные электрогрузовики максимально высокого на сегодня серийно-эксплуатируемого уровня автономности. Уже 5 лет они работают на десятках коммерческих объектов по всей России. Как пробиться в лигу успешных проектов в автономном вождении, как мы приняли решение строить собственную платформу и почему Маск всё ещё не прав — расскажу в этой статье. К сказу...

https://habr.com/ru/companies/evocargo_it/articles/967066/

#автономный_транспорт #автономная_логистика #грузоперевозки #компьютерное_зрение #искусственный_интеллект #машинное_обучениe #робототехника #инженерные_решения

SemantML. Семантическая нейродинамика

Введение: Кризис смысла в эпоху больших данных Начну немножко издалека. Мы живем в парадоксальное время. Искусственный интеллект окружает нас повсюду: он пишет тексты, рисует картины, решает сложные задачи. Но за этим фасадом цифрового всемогущества скрывается фундаментальная, почти метафизическая проблема: наши самые продвинутые модели не понимают ровным счетом ничего. Те, кто сколько-либо погружен в сферу ML, это прекрасно знают. Представьте библиотеку, где каждый книга идеально описана, проиндексирована и взаимосвязана, но нет ни одного читателя, способного понять смысл написанного. Это - точная метафора современного ИИ. GPT-4, Gemini, Claude - это блестящие имитаторы, статистические попугаи, оперирующие символами без малейшего представления об их значении. Они могут рассуждать о физических явлениях, но не понимать их, анализировать метафоры, но не схватывают их суть, генерировать тексты о боли и радости, оставаясь абсолютно пустыми внутри. Этот разрыв между формой и содержанием, между синтаксисом и семантикой, является последним крупным барьером на пути к настоящему искусственному интеллекту. Но, возможно, есть решение как это обойти. Что если вместо того, чтобы заставлять машины имитировать мышление, создать для них среду, где мышление возникает естественно - как возникают волны в океане или мысли в человеческом мозге? SemantML: От статистики к семантической нейродинамике Хочу вас познакомить с проектом под названием SemantML - радикально новый подход к созданию ИИ, который отказывается от парадигмы "обучения на текстах" в пользу "мышления в смыслах". Гипотеза проста и одновременно нова: сознание - это не алгоритм, а динамический процесс в семантическом пространстве, и чтобы создать искусственный разум, нужно сначала создать для него "дом" - среду, где могут рождаться и взаимодействовать смыслы.

https://habr.com/ru/articles/964834/

#ии #семантика #нейросети #машинное_обучениe #python #физическая_модель #волновая_функция #нейродинамика

Вебинары трека Наука о данных Летней цифровой школы Сбера

Привет, коллеги ML инженеры, Data scientist'ы и все, кто интересуется искусственным интеллектом, созданием нейросетей, машинным обучением и анализом данных! Принёс вам пачку вебинаров с интенсива трека Наука о данных курсов повышения квалификации Летней цифровой школы Сбера.

https://habr.com/ru/articles/935564/

#машинное_обучениe #искусственный_интеллект #data_science #data_analysis #ai #artificial_intelligence #ии #нейросети #нейронные_сети #глубокое_обучение

[Перевод] ML Q & AI. Глава 3. Few-Shot Learning

Что такое few-shot learning (обучение, FSL)? Чем оно отличается от традиционной процедуры обучения с учителем? Few-shot обучение представляет собой особый вид обучения с учителем для небольших тренировочных датасетов с очень низким отношением количества примеров на класс. В традиционном обучении с учителем модель тренируется, пробегаясь по тренировочному сету, при этом она всегда видит один и тот же фиксированный набор классов. В few-shot обучении мы работаем с опорным множеством, из которого формируем несколько тренировочных заданий. Из этих заданий мы собираем тренировочные эпизоды, где каждое тренировочное задание состоит из различных классов.

https://habr.com/ru/articles/927868/

#перевод #машинное_обучениe #глубинное_обучение #нейросети

Большое продуктовое расследование. Так что же на самом деле делает Мира Мурати?

Деньги любят тишину. Бывшая CTO Open AI Мира Мурати подняла еще 2 млрд $ на seed-раунде при оценке стартапа в 12 млрд $, при этом никто не знает, а чем собственно они занимаются в Thinking Machines Lab?

https://habr.com/ru/articles/928402/

#llm #ии #стартапы #технологии #бизнеслогика #продукты #машинное_обучениe #дайджест

Агенты и Агентная Экономика

Большой Дайджест Недели. 14.07.25 Минимум новостей, максимум инсайтов. => Коммент на космические зарплаты Цукерберга для ИИ-инженеров => Битва вайб-кодеров , но-кодеров, лоу-кодеров и программистов только разгорается => На Poly Market ставка всего 26%, что GPT-5 появится в июле. Проголосуйте и вы, узнаем что думает по этому поводу Хабр. => Настоящая ценность LLM это архитектура агентов ..."будет много багов, но не бросайте, думаю, эта штука останется."

https://habr.com/ru/articles/926760/

#искусственный_интеллект #агентная_экономика #ииагенты #ииассистенты #дайджест #машинное_обучениe #бизнесмодели #будущее #научнопопулярное

Агенты и Агентная Экономика

Большой Дайджест Недели. 14.07.25 Минимум новостей, максимум инсайтов. => Коммент на космические зарплаты Цукерберга для ИИ-инженеров => Битва вайб-кодеров , но-кодеров, лоу-кодеров и программистов только разгорается => На Poly Market ставка всего 26%, что GPT-5 появится в июле. Проголосуйте и вы, узнаем что думает по этому поводу Хабр. => Настоящая ценность LLM это архитектура агентов ..."будет много багов, но не бросайте, думаю, эта штука останется."

https://habr.com/ru/articles/926760/

#искусственный_интеллект #агентная_экономика #ииагенты #ииассистенты #дайджест #машинное_обучениe #бизнесмодели #будущее #научнопопулярное

Агенты и Агентная Экономика

Большой Дайджест Недели. 14.07.25 Минимум новостей, максимум инсайтов. => Коммент на космические зарплаты Цукерберга для ИИ-инженеров => Битва вайб-кодеров , но-кодеров, лоу-кодеров и программистов только разгорается => На Poly Market ставка всего 26%, что GPT-5 появится в июле. Проголосуйте и вы, узнаем что думает по этому поводу Хабр. => Настоящая ценность LLM это архитектура агентов ..."будет много багов, но не бросайте, думаю, эта штука останется."

https://habr.com/ru/articles/926760/

#искусственный_интеллект #агентная_экономика #ииагенты #ииассистенты #дайджест #машинное_обучениe #бизнесмодели #будущее #научнопопулярное

Как мы построили свой инструмент для работы с LLM

Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи. В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio. Итак, что же такое Data Studio ? Data Studio — это инструмент для работы с задачами обработки естественного языка (NLP), который мы используем в основном для улучшения качества перевода текста. С помощью Data Studio можно обучать модели перевода, настраивать различные параметры для этих тренировок, токенизировать данные, фильтровать их по различным параметрам, собирать метрики, создавать данные для обучения, тестирования и валидации и многое другое. Общий процесс создания языковой модели для перевода выглядит так: 1) Предобработка данных: этап подготовки данных перед обучением модели. 2) Фильтрация с использованием структурных и семантических фильтров. 3) Сбор общего набора данных: удаление избыточности, равномерное распределение тем и длин, сортировка. 4) Тегирование для классификации данных. 5) Загрузка общего набора данных в Data Studio для проверки. 6) Создание данных для валидации и тестирования модели. 7) Обучение модели.

https://habr.com/ru/articles/924174/

#машинное_обучениe #инструментарий #llm #llmмодели #искусственный_интеллект #языковые_модели #large_language_model #большие_языковые_модели #ai #обработка_данных

Как мы построили свой инструмент для работы с LLM

Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи. В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio. Итак, что же такое Data Studio ? Data Studio — это инструмент для работы с задачами обработки естественного языка (NLP), который мы используем в основном для улучшения качества перевода текста. С помощью Data Studio можно обучать модели перевода, настраивать различные параметры для этих тренировок, токенизировать данные, фильтровать их по различным параметрам, собирать метрики, создавать данные для обучения, тестирования и валидации и многое другое. Общий процесс создания языковой модели для перевода выглядит так: 1) Предобработка данных: этап подготовки данных перед обучением модели. 2) Фильтрация с использованием структурных и семантических фильтров. 3) Сбор общего набора данных: удаление избыточности, равномерное распределение тем и длин, сортировка. 4) Тегирование для классификации данных. 5) Загрузка общего набора данных в Data Studio для проверки. 6) Создание данных для валидации и тестирования модели. 7) Обучение модели.

https://habr.com/ru/articles/924174/

#машинное_обучениe #инструментарий #llm #llmмодели #искусственный_интеллект #языковые_модели #large_language_model #большие_языковые_модели #ai #обработка_данных

Как мы построили свой инструмент для работы с LLM

Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи. В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio. Итак, что же такое Data Studio ? Data Studio — это инструмент для работы с задачами обработки естественного языка (NLP), который мы используем в основном для улучшения качества перевода текста. С помощью Data Studio можно обучать модели перевода, настраивать различные параметры для этих тренировок, токенизировать данные, фильтровать их по различным параметрам, собирать метрики, создавать данные для обучения, тестирования и валидации и многое другое. Общий процесс создания языковой модели для перевода выглядит так: 1) Предобработка данных: этап подготовки данных перед обучением модели. 2) Фильтрация с использованием структурных и семантических фильтров. 3) Сбор общего набора данных: удаление избыточности, равномерное распределение тем и длин, сортировка. 4) Тегирование для классификации данных. 5) Загрузка общего набора данных в Data Studio для проверки. 6) Создание данных для валидации и тестирования модели. 7) Обучение модели.

https://habr.com/ru/articles/924174/

#машинное_обучениe #инструментарий #llm #llmмодели #искусственный_интеллект #языковые_модели #large_language_model #большие_языковые_модели #ai #обработка_данных

Как мы построили свой инструмент для работы с LLM

Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи. В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio. Итак, что же такое Data Studio ? Data Studio — это инструмент для работы с задачами обработки естественного языка (NLP), который мы используем в основном для улучшения качества перевода текста. С помощью Data Studio можно обучать модели перевода, настраивать различные параметры для этих тренировок, токенизировать данные, фильтровать их по различным параметрам, собирать метрики, создавать данные для обучения, тестирования и валидации и многое другое. Общий процесс создания языковой модели для перевода выглядит так: 1) Предобработка данных: этап подготовки данных перед обучением модели. 2) Фильтрация с использованием структурных и семантических фильтров. 3) Сбор общего набора данных: удаление избыточности, равномерное распределение тем и длин, сортировка. 4) Тегирование для классификации данных. 5) Загрузка общего набора данных в Data Studio для проверки. 6) Создание данных для валидации и тестирования модели. 7) Обучение модели.

https://habr.com/ru/articles/924174/

#машинное_обучениe #инструментарий #llm #llmмодели #искусственный_интеллект #языковые_модели #large_language_model #большие_языковые_модели #ai #обработка_данных

Как мы научились прогнозировать грозы на карте осадков в Яндекс Погоде

Экстремальные погодные явления оказывают большое влияние на нашу жизнь. Это может проявляться в бытовых вещах, просто чтобы не попасть под сильный ливень или грозу. А ещё — в обеспечении бизнеса. Например, в прошлом году в Европе из‑за града погиб один из самых старых виноградников. Именно поэтому мы решили улучшить наш прогноз экстремальных погодных явлений. Прежде всего мы сфокусировались на суперкраткосрочном прогнозе молний на карте осадков, также известной как наукаст, чтобы расширить нашу технологию прогнозирования погоды Meteum. Таким образом мы стали первыми в России, кто сделал карту наукаста гроз на ближайшие два часа с шагом 10 минут. Дело в том, что экстремальные погодные явления часто связаны с конвективными явлениями в атмосфере, которые сложно прогнозировать на долгий срок. То есть если в прогнозе есть гроза, то часто вместе с ней будет ожидаться сильный дождь и ветер, а в некоторых регионах и град. Меня зовут Пётр Вытовтов. Я руководитель группы ML и качества прогноза в Яндекс Погоде. Сегодня я хочу рассказать вам о том, как мы добавляли прогноз молний в нашу модель наукаста с использованием данных со спутников, метеорологических радаров и применением трансформерных моделей.

https://habr.com/ru/companies/yandex/articles/919492/

#погода #прогноз_погоды #ml #машинное_обучениe #наукастинг

Обработка геоданных для ML-задач. Часть 3: агрегирование данных и оценка пространственных шаблонов

Пространственное агрегирование помогает контролировать степень детализации данных в зависимости от пространственных характеристик отдельных записей. Эта операция может быть полезна, если вы хотите сравнить разные регионы по конкретному параметру, (например, плотность населения или динамика продаж), оценить значение признака на единицу площади (скажем, среднюю выручку магазинов на квадратный километр) или преобразовать набор точек в растровые пространственные данные. Важно учитывать, что агрегирование упрощает анализ , но «схлопывает» внутреннюю вариативность данных, типа как усреднённая температура по больнице может скрывать локальные перегретые серверные. Существует, по крайней мере, три метода пространственного агрегирования ...

https://habr.com/ru/companies/cinimex/articles/900738/

#геоданные #feature_engineering #python #postgresql #postgis #data_science #анализ_данных #машинное_обучение #машинное+обучение #машинное_обучениe

Разбираемся в AI проектах OWASP: обзор для разработчиков и ИБ-специалистов

OWASP — некоммерческая организация, которая занимается выпуском руководств и фреймворков в области безопасности. В условиях активного внедрения генеративного ИИ в самые разные сферы, OWASP анонсировал больше десяти разных проектов, чтобы охватить новые угрозы и привлечь внимание к безопасности AI-систем. Ниже расскажу про основные инициативы и документы, которые могут пригодится в работе тимлидам, разработчикам и специалистам по информационной безопасности. На первый взгляд в глаза бросается обилие проектов, документов и рекомендаций. Материалы в отчётах пересекаются и запутаться в инициативах OWASP — легко. Связано это с тем, что проекты ведут разные команды и лидеры. В OWASP более 1000 человек только в slack-канале и около 100 активных участников. Надеюсь, эта статья поможет вам разобраться в специфике каждого гайда, и облегчит выбор подходящего документа под ваши потребности. Начнём с главного документа по AI от OWASP. Меня зовут Евгений Кокуйкин и мы в AI Security лаборатории Raft изучаем прикладные аспекты безопасности GenAI-систем. В OWASP я веду один из стримов, про которые пойдёт речь ниже.

https://habr.com/ru/companies/owasp/articles/896328/

#owasp_top_10_llm #llm #информационная_безопасность #искуственный_интеллект #машинное_обучениe

Модели T-lite и T-pro: training report

Привет! Я Дима Стоянов, MLE в команде разработки фундаментальных моделей. Мы продолжаем рассказывать о наших моделях T-lite и T-pro. Общие характеристики и результаты бенчмарков описывали в предыдущей публикации. В этой статье раскроем детали предобучения: от подготовки данных до финальных экспериментов, а совсем скоро поделимся особенностями этапа post-training.

https://habr.com/ru/companies/tbank/articles/890236/

#машинное_обучениe #распознавание_текста #llmмодели #языковые_модели

Защита LLM в разработке чат-ботов в корпоративной среде: как избежать утечек данных и других угроз

Как компания, которая внедряет прикладные решения, мы хотим знать, насколько они безопасны. Расскажу про основные риски, связанные с использованием LLM в корпоративной среде, и способы от них защититься. Если вы хотите узнать больше об уязвимостях и техниках защиты LLM — можно ознакомиться с моим

https://habr.com/ru/companies/raft/articles/847152/

#нейросети #мультимодальные_модели #безопасность_данных #искусственный_интеллект #машинное_обучениe #llmattack #атаки #утечки #большие_языковые_модели #бигдата

Ваше лицо кажется знакомым: разведка, анализ и методы атак на ML в системах распознавания лиц

Мы живем в мире, где системы распознавания лиц (далее — CРЛ) используются практически везде: от валидации возраста и биометрической идентификации в режиме онлайн до наблюдения и проведения оплаты в реальном мире. Технологические аспекты таких алгоритмов развиваются на наших глазах: начиная с простых систем, основанных на базовых алгоритмах, мы перешли к системам, использующим алгоритмы машинного обучения, однако и их развитие еще далеко от завершения. В предыдущих исследованиях мы затронули биометрическую идентификацию, и эта работа является логичным продолжением погружения в системы распознавания лиц и эксплуатацию их недостатков. Пораспознаем лица?

https://habr.com/ru/companies/pt/articles/837536/

#ml #Биометрия #распознавание #распознавание_лиц #машинное_обучениe #патчи

Ваше лицо кажется знакомым: разведка, анализ и методы атак на ML в системах распознавания лиц

Мы живем в мире, где системы распознавания лиц (далее — CРЛ) используются практически везде: от валидации возраста и биометрической идентификации в режиме онлайн до наблюдения и проведения оплаты в реальном мире. Технологические аспекты таких алгоритмов развиваются на наших глазах: начиная с простых систем, основанных на базовых алгоритмах, мы перешли к системам, использующим алгоритмы машинного обучения, однако и их развитие еще далеко от завершения. В предыдущих исследованиях мы затронули биометрическую идентификацию, и эта работа является логичным продолжением погружения в системы распознавания лиц и эксплуатацию их недостатков. Пораспознаем лица?

https://habr.com/ru/companies/pt/articles/837536/

#ml #Биометрия #распознавание #распознавание_лиц #машинное_обучениe #патчи

Ваше лицо кажется знакомым: разведка, анализ и методы атак на ML в системах распознавания лиц

Мы живем в мире, где системы распознавания лиц (далее — CРЛ) используются практически везде: от валидации возраста и биометрической идентификации в режиме онлайн до наблюдения и проведения оплаты в реальном мире. Технологические аспекты таких алгоритмов развиваются на наших глазах: начиная с простых систем, основанных на базовых алгоритмах, мы перешли к системам, использующим алгоритмы машинного обучения, однако и их развитие еще далеко от завершения. В предыдущих исследованиях мы затронули биометрическую идентификацию, и эта работа является логичным продолжением погружения в системы распознавания лиц и эксплуатацию их недостатков. Пораспознаем лица?

https://habr.com/ru/companies/pt/articles/837536/

#ml #Биометрия #распознавание #распознавание_лиц #машинное_обучениe #патчи

Семантический поиск (homemade)

Основой семантического поиска может являться ML задача Sentence Similarity , а если быть еще конкретнее, то это Semantic Textual Similarity . Модели, обученные под эту задачу, способны оценивать насколько близки предложения по своему смыслу. Всё, что нам дальше остается, так это засунуть модель в некоторую поисковую систему... Но тут давайте по порядку

https://habr.com/ru/articles/834356/

#семантический_поиск #машинное_обучениe #обработка_естественного_языка #nlp #bert #machine_learning #sentence_transformer #transformers #deep_learning #ai

[Перевод] Повышение эффективности ИИ с помощью непрерывного обучения в MLOps

В динамичном мире MLOps (операций машинного обучения) непрерывное обучение (Continuous Training, CT) выделяется как ключевая практика, позволяющая моделям ИИ сохранять пиковую производительность в производстве. Суть CT заключается в автоматизации повторного обучения моделей, обеспечивая их адаптацию в реальном времени к новым данным и изменяющимся паттернам. Этот превентивный подход не только повышает точность моделей, но и делает их устойчивыми к сдвигам данных, обеспечивая истинную адаптивность и готовность к будущему ИИ-экосистемы.

https://habr.com/ru/articles/793984/

#ai #искусственный_интеллект #машинное_обучениe

Умная рыбалка: как мы учим ML работать с фишингом

Всем привет! Меня зовут Мария Анисимова, я программист-исследователь команды машинного обучения Антиспама Почты Mail.ru В этой статье я хочу рассказать вам о фишинге. И о том, как мы с ним боремся. Фишинговые атаки стали популярны с момента появления электронной почты. Это один из самых распространённых способов, которые хакеры используют для вторжения в учётные записи и социальные сети своих жертв. Только за октябрь 2023 года системы Антиспама Почты Mail.ru заблокировали 2 140 000 фишинговых писем, при том что три года назад за месяц их насчитывалось 1 140 000. Не только количество, но и качество фишинговых писем ежедневно улучшается, растёт и количество потенциальных жертв.

https://habr.com/ru/companies/vk/articles/778428/

#ml #antifraud #фишинг #антифишинг #антиспам #automl #машинное_обучениe

Умная рыбалка: как мы учим ML работать с фишингом

Всем привет! Меня зовут Мария Анисимова, я программист-исследователь команды машинного обучения Антиспама Почты Mail.ru В этой статье я хочу рассказать вам о фишинге. И о том, как мы с ним боремся. Фишинговые атаки стали популярны с момента появления электронной почты. Это один из самых распространённых способов, которые хакеры используют для вторжения в учётные записи и социальные сети своих жертв. Только за октябрь 2023 года системы Антиспама Почты Mail.ru заблокировали 2 140 000 фишинговых писем, при том что три года назад за месяц их насчитывалось 1 140 000. Не только количество, но и качество фишинговых писем ежедневно улучшается, растёт и количество потенциальных жертв.

https://habr.com/ru/companies/vk/articles/778428/

#ml #antifraud #фишинг #антифишинг #антиспам #automl #машинное_обучениe

Генеративный ИИ — это просто «замыленный JPEG интернета», который убедительно косит под интеллект

ИИ чат-боты любят ловить глюки и выдавать всякую чушь. Так массово, что словом 2023 года признали "галлюционировать". В чем причина такого явления? Является ли генеративный ИИ интеллектом (спойлер - и да, и нет)? И что общего у ChatGPT и копировального аппарата Xerox? Разбираемся, осмысляя неочевидный нюанс в логике работы больших языковых моделей.

https://habr.com/ru/articles/775788/

#искусственный_интеллект #ии #llm #языковые_модели #gpt #chatgpt #jpeg #машинное_обучениe #генеративные_модели #галлюцинации