#матрицы — Public Fediverse posts

[Перевод] Решаем проблему качества в Factorio при помощи матриц

Я играю в Factorio как любой нормальный человек: для планирования фабрики пишу код матричных вычислений. Но до этого мы ещё доберёмся. Если же вам не терпится, можете просмотреть мой новый онлайн-калькулятор . Введение в Factorio и качество Factorio практически стала создателем жанра видеоигр «строительство фабрики»: мы играем за персонажа, который собирает ресурсы и комбинирует их для изготовления всё более сложных изделий, которые, в свою очередь, позволяют заниматься ещё более сложным изготовлением. По описанию это походит на Minecraft и на многие другие игры-выживалки, но фабрикостроительные игры отличает от них упор на автоматизацию: очень скоро всё производство начинает выполняться не вручную персонажем, а всё большим количеством механизмов с различными видами логистики, например, конвейерными лентами, перемещающими изделия между механизмами. Разработчики некоторых игр этого жанра пошли ещё дальше и полностью избавились от персонажа игрока. В процессе разблокировки новых внутриигровых «технологий» Factorio предоставляет всё больше механизмов, совершенствующих производство. Один из них — это модули: производственные машины, имеющие определённое (ограниченное) количество слотов для приёма различных видов модулей, влияющих на их характеристики: модули скорости ускоряют работу машины ценой повышенного энергопотребления, модули продуктивности повышают выпуск продукции из того же количества ингредиентов ценой скорости и энергии и так далее. Выпущенное в 2024 году расширение Space Age добавило новые игровые механики, в том числе и качество (Quality): у каждого изделия и рецепта теперь есть пять уровней качества: ⚀ обычное, ⚁ необычное, ⚂ редкое, ⚃ эпическое и ⚄ легендарное. Каждый уровень (в зависимости от конкретного изделия) повышает характеристики, например, ускоряя производственные машины или повышая производительность модулей продуктивности. Высококачественные изделия можно изготавливать непосредственно из ингредиентов того же качества, однако единственный способ повышения качества — это применение новых модулей качества.

https://habr.com/ru/companies/ruvds/articles/1089246/

#factorio #матричное_умножение #матрицы #вероятности #ruvds_перевод

Почему NumPy тормозит на матрицах 16х16 и как микроядро на AVX2 в 100 кб решает эту проблему

Когда профилируешь вычисления или инференс небольших моделей в Python, часто натыкаешься на странную вещь: вроде бы под капотом у NumPy крутится мощный OpenBLAS или Intel MKL, но на небольших матрицах (16x16, 32x32) умножение A @ B работает подозрительно медленно — по 3–5 микросекунд на одну операцию. Если ты перемножаешь матрицы 2048x2048 раз в минуту — эти микросекунды незаметны. Но когда у тебя токенная генерация с batch=1, фильтр Калмана, физический движок или обработка сенсоров в реальном времени с миллионом итераций, профайлер начинает показывать, что программа большую часть времени просто простаивает на оверхеде библиотек. Я решил разобраться, откуда берётся этот лаг, и написать предельно компактное решение на Си с AVX2 без зависимостей, чтобы выжать максимум из одного потока процессора.

https://habr.com/ru/articles/1079480/

#python #c #avx2 #simd #gemm #numpy #матрицы #оптимизация

Как одна операция из линейной алгебры захватила мир ИИ

В 2017 году в мире нейросетей произошел почти незаметный переворот. Без громких презентаций и человекоподобных роботов исследователи из Google опубликовали статью с очень скромным названием — Attention is All You Need . Но именно после нее индустрия ИИ фактически разделилась на «до» и «после». Сегодня на трансформерах работают ChatGPT, Claude, Gemini, Midjourney и почти весь современный генеративный ИИ. И самое странное в этой истории — фундаментом революции стала одна из самых простых операций линейной алгебры: скалярное произведение векторов. Не новая архитектура памяти. Не сложная логика вывода. Не биологически правдоподобная модель мозга. А обычное перемножение чисел с последующим сложением. Но чтобы понять, почему именно эта операция оказалась настолько мощной, нужно сначала вспомнить, в какую стену уперлись нейросети старого поколения.

https://habr.com/ru/companies/timeweb/articles/1033070/

#скалярное_произведение #rnn #cnn #машинное_обучение #искусственный_интеллект #математика #матрицы #математика_для_программистов #трансформеры #timeweb_статьи

Линейная алгебра для нейросетей: векторы на практике

Данная статья посвящена основе основ нейронауки — линейной алгебре. Если вы когда-либо планируйте изучать искусственные нейронные сети (и не только), то вам необходимо начать именно с этого. Причем не важно, собираетесь ли вы заниматься фундаментальными исследованиями (Data Science) или просто лепить модели в продакшн на конвейере (ML Engineering), вы обязаны знать их математику хотя бы поверхностно. Любые настройки, дообучение и применение даже готовой модели, требуют понимания основ. А по сему данное знание, как минимум, не будет избыточным. Материал рассчитан на новичка. Если вы знаете школьную математику, то сможете освоить и мой курс. В будущем я напишу статью о линейном представлении нейросетей, где мы адаптируем полученное знание под прикладные задачи, напишем некоторые слои на Python и построим настоящую модель! В этой статье: * Понятие вектора; * Векторизация данных; * Умножение на скаляр; * Сложение векторов; * Норма вектора; * Скалярное умножение; * Векторное умножение; * Практика с кодом; * Домашняя работа. Все будет объяснено на красочных примерах в игровой форме. Ничего сложного. А в конце вас ждет самостоятельная практика с кодом. Приятного чтения!

https://habr.com/ru/articles/1001896/

#линейная_алгебра #вектор #нейросети #математика_для_data_science #скалярное_произведение #векторизация #данные #машинное+обучение #тензор #матрицы

Давайте объединим линейную и геометрическую алгебры. На простом примере. Часть 1

Привет Хабр! Если вы когда-нибудь решали школьные задачи с параллелограммом, то знаете: найти все стороны, углы, диагонали, да ещё и опустить на них высоты — возни много. А потом ещё проверить, не перепутал ли ты, где синус, а где косинус. Оказывается, всю эту геометрию можно упаковать в одну маленькую матрицу 2×2. Буквально: берем два вектора-столбца, составляем матрицу — и в ней уже зашиты все возможные характеристики фигуры. Осталось только научиться их оттуда доставать. Во второй части хочу в том же ключе описать приемы посерьезнее: базис Клиффорда, сингулярное разложение, функция от матрицы. Поэтому ваши комментарии к этой части важны, чтобы проще написать следующую часть.

https://habr.com/ru/articles/1002526/

#геометрия #матрицы #алгебра_клиффорда #кватернионы #матрицы_паули #векторы

Приоритизация ICE: что это и как её применять

Когда у команды большой бэклог задач, как решать, в каком порядке их делать? Привет, я Владимир Князев, Agile-коуч трайба HR Tech в ОТП. Сегодня я кратко расскажу, как трайб HR Tech использует приоритизацию ICE. У нас в трайбе всё как у всех: заказчиков много, запросы сложные и разные, а задач больше, чем мы можем физически сделать. Чтобы упростить работу команды над ними, мы решили внедрить приоритизацию по методу ICE.

https://habr.com/ru/companies/otpbank/articles/973182/

#agile #финансы #матрицы #отп_банк #hr_tech #ice #финтех #трайб

Многомерность. Очевидная и неоднозначная

В этой небольшой статье мы сначала приходим к выводу, что многомерный массив — это скорее детализация на более простые составные компоненты или, от обратного, упаковка частей в более сложные объекты, но не модель многомерного пространства. Потом констатируем, что координаты набора точек в 3D-пространстве проще задавать через двумерную матрицу. В конце концов, находим в каком случае трехмерная матрица соответствует трехмерному пространству. Однако входим в противоречие с законами современной физики. Читать статью

https://habr.com/ru/articles/970772/

#матрицы #научнопопулярное #python #numpy #фантазии #исследование #многомерный_массив #многомерное_пространство #физика #matplotlib

[Перевод] Узоры оригами помогли решить важную физическую проблему

Амплитуэдр — это геометрическая фигура, обладающая почти мистическими свойствами : вычислив её объём, вы получите ответ на ключевой вопрос физики о том, как взаимодействуют частицы. Молодой математик из Корнеллского университета Павел (Паша) Галашин обнаружил, что амплитуэдр связан с оригами — искусством складывания бумаги. В доказательстве (октябрь 2024) он показал: узоры оригами можно перевести в набор точек, образующих амплитуэдр. Иными словами: способ складывания бумаги и способ столкновения частиц приводят к одной и той же геометрической форме. «Паша уже проделал блестящую работу, связанную с амплитуэдром», — сказал Нима Аркани-Хамед, один из авторов идеи амплитуэдра, изобретённого в 2013 году . «Но это для меня совершенно новый уровень». Опираясь на связь с оригами, Галашин решил открытую гипотезу: импульсный амплитуэдр можно разрезать на простые части, соответствующие физическим расчётам. Проще говоря, части амплитуэдра действительно соединяются так, как и должно быть. Результат не только связывает две разные области — математики уже исследуют, какие ещё идеи можно перенести по этому мосту. Они используют его, чтобы лучше понять амплитуэдр — и ответить на другие вопросы в гораздо более широком диапазоне контекстов.

https://habr.com/ru/companies/first/articles/965550/

#физика #оригами #графы #геометрия #амплитудэр #матрицы #векторы #изгиб

Координатные пространства/Coordinate Space в компьютерной графике. Объясняю на чайниках

1. Ч то такое пространство? 2. О самых распространенных пространствах 3. П ричем тут трансформ и умножение матриц? 4. К ак их можно использовать, на примерах шейдеров

https://habr.com/ru/articles/963162/

#Spaces #LocalSpace #CameraSpace #WorlsSpace #Пространства #Матрицы

Всеобъемлющая теория матриц

Приготовьтесь. Это не просто конспект. Это исчерпывающий путеводитель по миру матриц, созданный с одной целью: сделать эту фундаментальную область высшей математики абсолютно понятной, систематизированной и полной. От самых азов до продвинутых концепций, используемых в науке о данных и квантовой физике. Погрузится в мир матриц

https://habr.com/ru/articles/949084/

#матрицы #математика #высшая_математика

[Перевод] Я не люблю NumPy

Говорят, что невозможно по-настоящему возненавидеть кого-то, если сначала не полюбил его. Не знаю, справедливо ли это в целом, но это определённо описывает моё отношение к NumPy. NumPy — это ПО для выполнения вычислений с массивами на Python. Оно невероятно популярно и очень сильно повлияло на все популярные библиотеки машинного обучения, например, на PyTorch. Эти библиотеки во многом имеют те же самые проблемы, но для конкретики я рассмотрю NumPy.

https://habr.com/ru/articles/910834/

#numpy #работа_с_массивами #матрицы #векторы #умножение_матриц

Линейная алгебра в C++ с Eigen

Привет, Хабр! Кто хоть раз пытался работать с матрицами в C++, знает, что это удовольствие сродни написанию своего STL — возможно, но зачем? Eigen — это библиотека, которая избавит вас от ручного управления памятью, оптимизирует вычисления и позволит писать код, похожий на чистую математику. Поэтому в этой статье мы разберем эту прекрасную библиотеку.

https://habr.com/ru/companies/otus/articles/887066/

#c++ #алгебра #матрицы #eigen

Armadillo: матрицы, кубы и разреженные данные на C++

Привет, Хабр! Работа с матрицами в стандартном C++ — это боль, страдание и масса ненужного кода. Почему? Потому что стандартная библиотека STL вообще не предназначена для линейной алгебры. Например, если вы хотите умножить две матрицы, вам придётся писать кастомный алгоритм, отлаживать его, а затем ещё раз писать его, когда поймёте, что оптимизация не та. Но есть библиотека Armadillo — и с ней всё иначе.

https://habr.com/ru/companies/otus/articles/876190/

#c++ #библиотека_STL #матрицы #armadillo

[Перевод] Как линейная алгебра помогла мне в разработке интерактивного редактора диаграмм

Ах, матрицы — одна из тех базовых концепций линейной алгебры, с которыми мы встречались в школе. Несмотря на их важность, мне за мою карьеру ни разу не доводилось с ними работать, и из-за этого я забыл, насколько они мощны и универсальны. Подходящий момент, чтобы вспомнить их, настал, когда я работал над моим интерактивным редактором диаграмм Schemio . В этой статье я расскажу, как использовал матрицы для решения сложных задач.

https://habr.com/ru/articles/870462/

#матрицы #матрицы_преобразований #диаграммы #матричные_вычисления #матричные_преобразования

Математическая продлёнка. Изобретаем числа по-взрослому

Продолжение серии статей, в которой мы разбираемся с тем, как упорядоченная пара двух чисел способна служить моделью для различных числовых систем, как привычных, так и весьма экзотических. Первая и вторая части были посвящены построению привычных кольца целых и поля рациональных чисел, вернее тому, как эти числовые системы можно моделировать упорядоченными парами элементов из более примитивных систем. В этой части мы рассмотрим общие принципы построения числовых систем, как модулей над другими системами, перейдём от пар к матрицам и немного пофилософствуем над такими вопросами: «Что такое числовая система?» , «Почему матрицы так хорошо подходят для сочинения новых чисел?»

https://habr.com/ru/articles/861904/

#теория_чисел #теория_представлений #матрицы #линейность #гауссовы_числа #комплексные_числа

Поиск соседей в двумерной массиве

Поиск соседей в программировании — это процесс поиска элементов, расположенных рядом с заданным элементом в структуре данных (например, матрице или графе). Этот подход применяется для анализа взаимосвязей между элементами, определения их свойств на основе окружения и выполнения различных алгоритмов (например, поиск пути, кластеризация, фильтрация данных).

https://habr.com/ru/articles/849894/

#python #python3 #pillow #matrix #матрицы

Знакомимся с линейной алгеброй в NumPy

Краткий гид по основам библиотеки NumPy и основным линейно-алгебраическим операциям с её использованием Читать!

https://habr.com/ru/articles/841578/

#линейная_алгебра #векторы #матрицы #numpy #python

Панорама матричных расширений: от x86 до RISC-V

Матричное расширение ISA CPU… Что это и что оно делает? Уже из названия понятно, что это расширение позволяет ускорять операции над матрицами на CPU. Но задумывались ли вы когда-нибудь, какие они бывают, когда появились, кто и как их создает? Меня зовут Валерия Пузикова, я эксперт по разработке ПО в компании YADRO, к.ф.-м.н. Около 15 лет разрабатываю численные методы для решения задач линейной алгебры, дополненной и виртуальной реальности, аэрогидродинамики. Вычислительные задачи таких классов всегда приводят к работе с матрицами больших размерностей, поэтому критически важным становится ускорение матричных операций, в том числе с помощью расширений. Матричные расширения появились не так давно — чуть более трех лет назад. Несмотря на это, они есть у каждой уважающей себя процессорной архитектуры, в том числе и у относительно молодой открытой RISC-V. Почему их так много и чем они отличаются? Поддерживаются ли разреженные матрицы? Об этом и многом другом вы узнаете из статьи. Приготовьтесь, будет интересно и (спойлер!) без многоэтажных формул.

https://habr.com/ru/companies/yadro/articles/827430/

#Матричные_расширения #riscv #матрицы #операции #isa #cpu #matrix #hpc

Метод наименьших квадратов

Я прохожу онлайн курс по ML, а здесь я пишу статьи, в которых, как мне кажется, я нуждался неделю назад. Узнать всё про МНК на пальцах

https://habr.com/ru/articles/827018/

#МНК #ols #матрицы

Вербальные вычисления (VC) в доказательных DSS и NLP

С.Б. Пшеничников В статье изложен новый математический аппарат вербальных вычислений в NLP (обработке естественного языка). Слова погружаются не в действительное векторное пространство, а в алгебру предельно разреженных матричных единиц. Вычисления становятся доказательными и прозрачными. На примере показаны развилки в вычислениях, которые остаются незамеченными при использовании традиционных подходов, а результат при этом может быть неожиданным. Использование IT в обработке естественного языка (Natural Language Processing, NLP) требует стандартизации текстов, например, токенизации или лемматизации. После этого можно пробовать применять математику, поскольку она является высшей формой стандартизации и превращает исследуемые объекты в идеальные, например, таблицы данных в матрицы элементов. Только на языке матриц можно искать общие закономерности данных (чисел и текстов). Если текст превращается в числа, то в NLP это сначала натуральные числа для нумерации слов, которые затем погружаются в действительное векторное пространство. Возможно, следует не торопиться это делать, а придумать новый вид чисел более пригодный для NLP, чем числа для исследования физических явлений. Такими являются матричные гипербинарные числа. Гипербинарные числа - один из видов гиперкомплексных чисел. Для гипербинарных чисел существует своя арифметика и если к ней привыкнуть, то она покажется привычнее и проще пифагорейской арифметики. В системах поддержки принятия решений (DSS) текстами являются оценочные суждения и пронумерованная шкала вербальных оценок. Далее (как и в NLP) номера превращаются в векторы действительных чисел и используются как наборы коэффициентов средних арифметических взвешенных.

https://habr.com/ru/articles/810897/

#вербальное #вычисления #текст #матрицы #алгебра #среднее_значение

[Перевод] На пути к 1-разрядным моделям машинного обучения

В последнее время активно разрабатываются технологии экстремально малоразрядного квантования, например, BitNet и 1.58 bit . Они пользуются большим интересом в сообществе машинного обучения. Основная идея данного подхода заключается в том, что перемножение матриц с квантованными весами можно реализовать и умножения, что потенциально полностью меняет правила игры применительно к скорости вычислений и эффективности больших моделей машинного обучения. Эта статья написана в схожем ключе, но нас наиболее интересует, возможно ли напрямую квантовать предобученные модели при экстремальных настройках, в том числе, при двоичных весах (0 и 1). Уже имеющиеся работы нацелены на обучение моделей с нуля. Но в открытом доступе сейчас достаточно много отличных предобученных моделей, таких как Llama2 . Более того, обучение с нуля — это ресурсозатратная задача в пересчёте как на вычисления, так и на данные, поэтому такие подходы не слишком доступны в свободном сообществе. В этой статье мы подробно разберём крайне малоразрядное (2 и 1-разрядное) квантование предобученных моделей с применением HQQ+. HQQ+ — это адаптация HQQ (полуквадратичного квантования), в которой для повышения производительности используется адаптер с низкой размерностью. Наши результаты показывают, что, обучая лишь небольшую часть весов в верхней части HQQ-квантованной модели (даже одноразрядной), качество вывода значительно возрастает, такая модель может даже превосходить небольшие модели полной точности. Модели находятся на Hugging Face: 1-разрядная , 2-разрядная .

https://habr.com/ru/articles/807861/

#llm #nlp #матрицы #высокая_производительность #нейронные_сети

[Перевод] Как работают трансформеры: разбираем математику

В этом посте я представлю подробный пример математики, используемой внутри модели трансформера, чтобы вы получили хорошее представление о работе модели. Чтобы пост был понятным, я многое упрощу. Мы будем выполнять довольно много вычислений вручную, поэтому снизим размерность модели. Например, вместо эмбеддингов из 512 значений мы используем эмбеддинги из 4 значений. Это позволит упростить понимание вычислений. Мы используем произвольные векторы и матрицы, но при желании вы можете выбрать собственные значения. Как вы увидите, математика модели не так уж сложна. Сложность возникает из-за количества этапов и количества параметров. Перед прочтением этой статьи я рекомендую прочитать пост Illustrated Transformer (или читать их параллельно) [ перевод на Хабре] . Это отличный пост, объясняющий модель трансформера интуитивным (и наглядным!) образом, поэтому я не буду объяснять то, что уже объяснено в нём. Моя цель заключается в том, чтобы объяснить, как работает модель трансформера, а не что это такое. Если вы хотите углубиться в подробности, то изучите известную статью Attention is all you need [перевод на Хабре: первая и вторая части].

https://habr.com/ru/articles/785474/

#трансформеры #chatgpt #матрицы #transformers

Какова вероятность найти слово fuck в случайной последовательности из 20 букв?

Однажды на работе возник вопрос — насколько вероятно, что в случайно сгенерированном идентификаторе (отдаваемом пользователю, к примеру) вдруг обнаружится плохое слово. Приблизительная оценка была дана достаточно быстро, а вот точное решение — уже не так тривиально. Я решил всерьёз выяснить, чему равна эта вероятность в зависимости от длины случайной строки? Можно ли получить явную математическую формулу для ответа? Что, если взять другое слово? Что, если взять другой алфавит? Обо всём по порядку.

https://habr.com/ru/articles/510554/

#математика #программирование #рекуррентные_соотношения #конечные_автоматы #матрицы