#tensor_processing_units — Public Fediverse posts

[Перевод] Перевод статьи «NVIDIA Tensor Core Evolution: From Volta To Blackwell»

Ссылка на первоисточник: https://semianalysis.com/2025/06/23/nvidia-tensor-core-evolution-from-volta-to-blackwell/ В нашей статье AI Scaling Laws конца прошлого года мы обсудили, как несколько стеков законов масштабирования ИИ продвигают индустрию ИИ вперед, обеспечивая больший, чем закон Мура, рост возможностей модели, а также соразмерно быстрое снижение удельных затрат на токены. Эти законы масштабирования обусловлены оптимизацией и инновациями обучения и инференса, но достижения в вычислительных возможностях, выходящих за рамки закона Мура, также сыграли решающую роль. В статье AI Scaling Laws, мы пересмотрели десятилетние дебаты о масштабировании вычислений, вспоминали о конце масштабирования Деннарда в конце 2000-х годов, а также конец классического закона Мура, когда темп уменьшения стоимости транзистора снизился к концу 2010-х годов. Несмотря на это, вычислительные возможности продолжали улучшаться быстрыми темпами, при этом эстафета была передана другим технологиям, таким как Advanced Packaging , 3D-stacking , новые типы транзисторов и специализированные архитектуры, такие как GPU.

https://habr.com/ru/companies/baikalelectron/articles/924274/

#ИИ #tensor_processing_units #байкал_электроникс

[Перевод] Что же такое TPU

В последнее время я много работал с TPU и мне было интересно наблюдать такие сильные различия в их философии дизайна по сравнению с GPU. Главная сильная сторона TPU — это их масштабируемость. Она достигается благодаря и аппаратной (энергоэффективности и модульности), и программной стороне (компилятору XLA). Общая информация Если вкратце, то TPU — это ASIC компании Google, делающий упор на два фактора: огромную производительность перемножения матриц + энергоэффективность. Их история началась в Google в 2006 году, когда компания впервые начала размышлять о том, что же ей стоит реализовывать: GPU, FPGA или специализированные ASIC. В те времена было лишь несколько областей применения, в которых требовалось специализированное оборудование, поэтому было решено, что потребности компании можно удовлетворить при помощи незадействованных вычислительных ресурсов (compute) CPU её крупных датацентров. Но в 2013 году ситуация изменилась: функция голосового поиска Google начала использовать нейросети, и по расчётам для её реализации потребовалось бы гораздо больше compute. Перенесёмся в настоящее: сегодня TPU лежат в основе большинства ИИ-сервисов Google. Разумеется, сюда включены обучение и инференс Gemini и Veo, а также развёртывание моделей рекомендаций (DLRM). Давайте начнём разбирать внутренности TPU с самого нижнего уровня.

https://habr.com/ru/companies/ruvds/articles/921024/

#tpu #tensor_processing_units #google #инференс #умножение_матриц

[Перевод] Что же такое TPU

В последнее время я много работал с TPU и мне было интересно наблюдать такие сильные различия в их философии дизайна по сравнению с GPU. Главная сильная сторона TPU — это их масштабируемость. Она достигается благодаря и аппаратной (энергоэффективности и модульности), и программной стороне (компилятору XLA). Общая информация Если вкратце, то TPU — это ASIC компании Google, делающий упор на два фактора: огромную производительность перемножения матриц + энергоэффективность. Их история началась в Google в 2006 году, когда компания впервые начала размышлять о том, что же ей стоит реализовывать: GPU, FPGA или специализированные ASIC. В те времена было лишь несколько областей применения, в которых требовалось специализированное оборудование, поэтому было решено, что потребности компании можно удовлетворить при помощи незадействованных вычислительных ресурсов (compute) CPU её крупных датацентров. Но в 2013 году ситуация изменилась: функция голосового поиска Google начала использовать нейросети, и по расчётам для её реализации потребовалось бы гораздо больше compute. Перенесёмся в настоящее: сегодня TPU лежат в основе большинства ИИ-сервисов Google. Разумеется, сюда включены обучение и инференс Gemini и Veo, а также развёртывание моделей рекомендаций (DLRM). Давайте начнём разбирать внутренности TPU с самого нижнего уровня.

https://habr.com/ru/companies/ruvds/articles/921024/

#tpu #tensor_processing_units #google #инференс #умножение_матриц

[Перевод] Что же такое TPU

В последнее время я много работал с TPU и мне было интересно наблюдать такие сильные различия в их философии дизайна по сравнению с GPU. Главная сильная сторона TPU — это их масштабируемость. Она достигается благодаря и аппаратной (энергоэффективности и модульности), и программной стороне (компилятору XLA). Общая информация Если вкратце, то TPU — это ASIC компании Google, делающий упор на два фактора: огромную производительность перемножения матриц + энергоэффективность. Их история началась в Google в 2006 году, когда компания впервые начала размышлять о том, что же ей стоит реализовывать: GPU, FPGA или специализированные ASIC. В те времена было лишь несколько областей применения, в которых требовалось специализированное оборудование, поэтому было решено, что потребности компании можно удовлетворить при помощи незадействованных вычислительных ресурсов (compute) CPU её крупных датацентров. Но в 2013 году ситуация изменилась: функция голосового поиска Google начала использовать нейросети, и по расчётам для её реализации потребовалось бы гораздо больше compute. Перенесёмся в настоящее: сегодня TPU лежат в основе большинства ИИ-сервисов Google. Разумеется, сюда включены обучение и инференс Gemini и Veo, а также развёртывание моделей рекомендаций (DLRM). Давайте начнём разбирать внутренности TPU с самого нижнего уровня.

https://habr.com/ru/companies/ruvds/articles/921024/

#tpu #tensor_processing_units #google #инференс #умножение_матриц

[Перевод] Что же такое TPU

В последнее время я много работал с TPU и мне было интересно наблюдать такие сильные различия в их философии дизайна по сравнению с GPU. Главная сильная сторона TPU — это их масштабируемость. Она достигается благодаря и аппаратной (энергоэффективности и модульности), и программной стороне (компилятору XLA). Общая информация Если вкратце, то TPU — это ASIC компании Google, делающий упор на два фактора: огромную производительность перемножения матриц + энергоэффективность. Их история началась в Google в 2006 году, когда компания впервые начала размышлять о том, что же ей стоит реализовывать: GPU, FPGA или специализированные ASIC. В те времена было лишь несколько областей применения, в которых требовалось специализированное оборудование, поэтому было решено, что потребности компании можно удовлетворить при помощи незадействованных вычислительных ресурсов (compute) CPU её крупных датацентров. Но в 2013 году ситуация изменилась: функция голосового поиска Google начала использовать нейросети, и по расчётам для её реализации потребовалось бы гораздо больше compute. Перенесёмся в настоящее: сегодня TPU лежат в основе большинства ИИ-сервисов Google. Разумеется, сюда включены обучение и инференс Gemini и Veo, а также развёртывание моделей рекомендаций (DLRM). Давайте начнём разбирать внутренности TPU с самого нижнего уровня.

https://habr.com/ru/companies/ruvds/articles/921024/

#tpu #tensor_processing_units #google #инференс #умножение_матриц

Как мы разрабатываем отечественный AI-процессор. Часть 1. Почему GPGPU?

« We have a phrase inside Intel. We are supposed to be a data driven company and the phrase is, "Don't argue with the emotions, argue with the data." » Andrew S. Grove, Chairman of the Board, Intel Corporation, August 9, 1998 В июле 2023-го года в «Байкал Электроникс» стартовал проект по разработке собственного AI-процессора. В данной публикации мы хотим рассказать, почему мы выбрали именно архитектуру GPGPU, какими данными при решении мы руководствовались, а во второй части немного рассказать о ходе разработки и поделиться полученным опытом. Почему именно GPGPU? 2023-ий год Россия встретила в достаточно странной ситуации, когда с одной стороны, всем была понятна необходимость и перспективность развития аппаратных решений для ИИ, с другой – этих решений, можно сказать, не было. Актуальная на тот момент времени ситуация была описана в данной статье . Более того, из 4-х перечисленных решений, по большому счёту, только одно (IVA TPU) можно считать действительно специализированным индустриальным AI-процессором. Нейроморфные процессоры (коим является Altai от Мотив НТ) на данный момент являются скорее предметом научных изысканий и не в состоянии конкурировать с промышленными AI-процессорами на более классических архитектурах. Приведённые же решения от Элвис и Модуль являются просто DSP-процессорами, прилаженными для задач ИИ. Неудивительно, что они проигрывают специализированным AI-процессорам на порядки . Ситуация выглядела достаточно удручающе, что и побудило нас стартовать проект по разработке собственного AI-ядра. Вариантов того, какой архитектурный подход выбрать, было несколько. Вооружившись научным подходом и руководствуясь заветами титанов индустрии микроэлектроники, таких как легендарный Энди Гроув, мы провели анализ существующих подходов к разработке AI-процессоров. Вот, что у нас получилось в итоге:

https://habr.com/ru/companies/baikalelectron/articles/915346/

#gpgpu #ai #hardware #tensor_processing_units

Будущее дата-центров — ИИ и ядерные реакторы

Малый ядерный реактор NuScale Power Сейчас ЦОДы потребляют примерно 2% электроэнергии в мире , но в будущем их доля значительно возрастёт: по некоторым прогнозам, превысит 20% к 2030 году , а в отдельных странах вроде Ирландии превысит 30%. Идея питания ЦОДов от малых ядерных реакторов кажется вполне здравой. В конце концов, это экологически чистый источник энергии, который не загрязняет окрестности дымом, шумом и вредными газами.

https://habr.com/ru/companies/ruvds/articles/871144/

#ruvds_статьи #xAI #xAI_Colossus #Илон_Маск #датацентр #ЦОД #ядерный_реактор #Microsoft #Apple #Meta #атомная_энергетика #tensor_processing_units #TPU #Baltra #VoltaGrid #Small_Modular_Nuclear #SMR #NuScale #малый_модульный_реактор #АСММ #атомная_станция #ММР #экология #ПАТЭС #Oklo #BWX_Technologies #RollsRoyce #TRISO

Будущее дата-центров — ИИ и ядерные реакторы

Малый ядерный реактор NuScale Power Сейчас ЦОДы потребляют примерно 2% электроэнергии в мире , но в будущем их доля значительно возрастёт: по некоторым прогнозам, превысит 20% к 2030 году , а в отдельных странах вроде Ирландии превысит 30%. Идея питания ЦОДов от малых ядерных реакторов кажется вполне здравой. В конце концов, это экологически чистый источник энергии, который не загрязняет окрестности дымом, шумом и вредными газами.

https://habr.com/ru/companies/ruvds/articles/871144/

#ruvds_статьи #xAI #xAI_Colossus #Илон_Маск #датацентр #ЦОД #ядерный_реактор #Microsoft #Apple #Meta #атомная_энергетика #tensor_processing_units #TPU #Baltra #VoltaGrid #Small_Modular_Nuclear #SMR #NuScale #малый_модульный_реактор #АСММ #атомная_станция #ММР #экология #ПАТЭС #Oklo #BWX_Technologies #RollsRoyce #TRISO

Будущее дата-центров — ИИ и ядерные реакторы

Малый ядерный реактор NuScale Power Сейчас ЦОДы потребляют примерно 2% электроэнергии в мире , но в будущем их доля значительно возрастёт: по некоторым прогнозам, превысит 20% к 2030 году , а в отдельных странах вроде Ирландии превысит 30%. Идея питания ЦОДов от малых ядерных реакторов кажется вполне здравой. В конце концов, это экологически чистый источник энергии, который не загрязняет окрестности дымом, шумом и вредными газами.

https://habr.com/ru/companies/ruvds/articles/871144/

#ruvds_статьи #xAI #xAI_Colossus #Илон_Маск #датацентр #ЦОД #ядерный_реактор #Microsoft #Apple #Meta #атомная_энергетика #tensor_processing_units #TPU #Baltra #VoltaGrid #Small_Modular_Nuclear #SMR #NuScale #малый_модульный_реактор #АСММ #атомная_станция #ММР #экология #ПАТЭС #Oklo #BWX_Technologies #RollsRoyce #TRISO

Будущее дата-центров — ИИ и ядерные реакторы

Малый ядерный реактор NuScale Power Сейчас ЦОДы потребляют примерно 2% электроэнергии в мире , но в будущем их доля значительно возрастёт: по некоторым прогнозам, превысит 20% к 2030 году , а в отдельных странах вроде Ирландии превысит 30%. Идея питания ЦОДов от малых ядерных реакторов кажется вполне здравой. В конце концов, это экологически чистый источник энергии, который не загрязняет окрестности дымом, шумом и вредными газами.

https://habr.com/ru/companies/ruvds/articles/871144/

#ruvds_статьи #xAI #xAI_Colossus #Илон_Маск #датацентр #ЦОД #ядерный_реактор #Microsoft #Apple #Meta #атомная_энергетика #tensor_processing_units #TPU #Baltra #VoltaGrid #Small_Modular_Nuclear #SMR #NuScale #малый_модульный_реактор #АСММ #атомная_станция #ММР #экология #ПАТЭС #Oklo #BWX_Technologies #RollsRoyce #TRISO