#nanochat — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #nanochat, aggregated by home.social.
-
Т9 за сотню долларов, ассистент за миллиард: сколько на самом деле стоит обучить LLM с нуля
«Лучший ChatGPT за $100», «китайцы обучили GPT-4 за шесть миллионов», «модель с нуля на одной игровой карте за вечер» — за последний год такие заголовки идут потоком. Почти все цифры в них честные. Беда в том, что они про разные вещи. За словами «обучить LLM» прячется лестница в семь порядков: от десятков долларов на карте под столом до миллиарда на фронтире. На каждой ступени за деньги покупают разное, и перепутать ступени дорого. Я работаю CTO ML-команды. Расчет «взять открытые веса / дообучить / обучить с нуля» мы проделываем регулярно, и почти всегда он заканчивается не там, где ждет заказчик. Ниже — вся лестница с числами и первоисточниками: что реально обучить на RTX 5090, где начинается аренда кластера, из чего складывается смета фронтир-модели и почему «модель за $6 млн» и «компания с инфраструктурой на миллиард» — правда одновременно. Посчитать свою LLM
https://habr.com/ru/articles/1060916/
#LLM #обучение_LLM #pretraining #машинное_обучение #нейросети #GPU #RTX_5090 #H100 #стоимость_обучения_моделей #nanochat
-
Т9 за сотню долларов, ассистент за миллиард: сколько на самом деле стоит обучить LLM с нуля
«Лучший ChatGPT за $100», «китайцы обучили GPT-4 за шесть миллионов», «модель с нуля на одной игровой карте за вечер» — за последний год такие заголовки идут потоком. Почти все цифры в них честные. Беда в том, что они про разные вещи. За словами «обучить LLM» прячется лестница в семь порядков: от десятков долларов на карте под столом до миллиарда на фронтире. На каждой ступени за деньги покупают разное, и перепутать ступени дорого. Я работаю CTO ML-команды. Расчет «взять открытые веса / дообучить / обучить с нуля» мы проделываем регулярно, и почти всегда он заканчивается не там, где ждет заказчик. Ниже — вся лестница с числами и первоисточниками: что реально обучить на RTX 5090, где начинается аренда кластера, из чего складывается смета фронтир-модели и почему «модель за $6 млн» и «компания с инфраструктурой на миллиард» — правда одновременно. Посчитать свою LLM
https://habr.com/ru/articles/1060916/
#LLM #обучение_LLM #pretraining #машинное_обучение #нейросети #GPU #RTX_5090 #H100 #стоимость_обучения_моделей #nanochat
-
Т9 за сотню долларов, ассистент за миллиард: сколько на самом деле стоит обучить LLM с нуля
«Лучший ChatGPT за $100», «китайцы обучили GPT-4 за шесть миллионов», «модель с нуля на одной игровой карте за вечер» — за последний год такие заголовки идут потоком. Почти все цифры в них честные. Беда в том, что они про разные вещи. За словами «обучить LLM» прячется лестница в семь порядков: от десятков долларов на карте под столом до миллиарда на фронтире. На каждой ступени за деньги покупают разное, и перепутать ступени дорого. Я работаю CTO ML-команды. Расчет «взять открытые веса / дообучить / обучить с нуля» мы проделываем регулярно, и почти всегда он заканчивается не там, где ждет заказчик. Ниже — вся лестница с числами и первоисточниками: что реально обучить на RTX 5090, где начинается аренда кластера, из чего складывается смета фронтир-модели и почему «модель за $6 млн» и «компания с инфраструктурой на миллиард» — правда одновременно. Посчитать свою LLM
https://habr.com/ru/articles/1060916/
#LLM #обучение_LLM #pretraining #машинное_обучение #нейросети #GPU #RTX_5090 #H100 #стоимость_обучения_моделей #nanochat
-
🤣 Ah, the noble quest of porting #nanochat to a TPU—because apparently, #PyTorch wasn't hard enough! 🚀 Spoiler alert: everything breaks, but hey, at least you'll learn to love debugging! 😅
https://github.com/tucan9389/nanochat-jax/discussions/1 #TPU #debugging #techhumor #learningjourney #HackerNews #ngated -
🤣 Ah, the noble quest of porting #nanochat to a TPU—because apparently, #PyTorch wasn't hard enough! 🚀 Spoiler alert: everything breaks, but hey, at least you'll learn to love debugging! 😅
https://github.com/tucan9389/nanochat-jax/discussions/1 #TPU #debugging #techhumor #learningjourney #HackerNews #ngated -
🤣 Ah, the noble quest of porting #nanochat to a TPU—because apparently, #PyTorch wasn't hard enough! 🚀 Spoiler alert: everything breaks, but hey, at least you'll learn to love debugging! 😅
https://github.com/tucan9389/nanochat-jax/discussions/1 #TPU #debugging #techhumor #learningjourney #HackerNews #ngated -
🤣 Ah, the noble quest of porting #nanochat to a TPU—because apparently, #PyTorch wasn't hard enough! 🚀 Spoiler alert: everything breaks, but hey, at least you'll learn to love debugging! 😅
https://github.com/tucan9389/nanochat-jax/discussions/1 #TPU #debugging #techhumor #learningjourney #HackerNews #ngated -
🤣 Ah, the noble quest of porting #nanochat to a TPU—because apparently, #PyTorch wasn't hard enough! 🚀 Spoiler alert: everything breaks, but hey, at least you'll learn to love debugging! 😅
https://github.com/tucan9389/nanochat-jax/discussions/1 #TPU #debugging #techhumor #learningjourney #HackerNews #ngated -
Porting nanochat to a TPU: what carries over from PyTorch, and what breaks
https://github.com/tucan9389/nanochat-jax/discussions/1
-
Porting nanochat to a TPU: what carries over from PyTorch, and what breaks
https://github.com/tucan9389/nanochat-jax/discussions/1
-
Porting nanochat to a TPU: what carries over from PyTorch, and what breaks
https://github.com/tucan9389/nanochat-jax/discussions/1
-
Porting nanochat to a TPU: what carries over from PyTorch, and what breaks
https://github.com/tucan9389/nanochat-jax/discussions/1
-
Porting nanochat to a TPU: what carries over from PyTorch, and what breaks
https://github.com/tucan9389/nanochat-jax/discussions/1
-
habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16
Раскрученный проект nanochat обещает "за $100 обучите свой ChatGPT". В оригинале правда обучение на 8xH100 80Gb, но никто не мешает обучить его на домашнем более слабом железе. Попробуем обучить LLM с нуля на статьях Хабра, посмотреть хватит ли там материала, чтобы модель хотя бы смогла связать пару слов.
-
habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16
Раскрученный проект nanochat обещает "за $100 обучите свой ChatGPT". В оригинале правда обучение на 8xH100 80Gb, но никто не мешает обучить его на домашнем более слабом железе. Попробуем обучить LLM с нуля на статьях Хабра, посмотреть хватит ли там материала, чтобы модель хотя бы смогла связать пару слов.
-
habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16
Раскрученный проект nanochat обещает "за $100 обучите свой ChatGPT". В оригинале правда обучение на 8xH100 80Gb, но никто не мешает обучить его на домашнем более слабом железе. Попробуем обучить LLM с нуля на статьях Хабра, посмотреть хватит ли там материала, чтобы модель хотя бы смогла связать пару слов.
-
nanochat server in 916 bytes, implemented entirely in uxn :D
canon impl by @d6: https://git.phial.org/d6/nanochat
difference is that mine has a limit of 65535 messages before the count overflows and you can't read any more :P
oh and also you can DoS by starting a connection and never sending a newline…but at least it can avoid buffer overflow by kicking you!
src: https://codeberg.org/notchoc/nanochat.tal
rom: https://codeberg.org/notchoc/nanochat.tal/raw/branch/main/bin/nanochat.rom
run:uxn2 -N nanochat.rom!!! DISCLAIMER: YOU ACCEPT EVERYTHING THAT WILL HAPPEN FROM NOW ON !!! UXN2 STILL DOES NOT HAVE SANDBOXING (YET) SO USE AT YOUR OWN RISK
#uxn #uxntal #nanochat -
nanochat server in 916 bytes, implemented entirely in uxn :D
canon impl by @d6: https://git.phial.org/d6/nanochat
difference is that mine has a limit of 65535 messages before the count overflows and you can't read any more :P
oh and also you can DoS by starting a connection and never sending a newline…but at least it can avoid buffer overflow by kicking you!
src: https://codeberg.org/notchoc/nanochat.tal
rom: https://codeberg.org/notchoc/nanochat.tal/raw/branch/main/bin/nanochat.rom
run:uxn2 -N nanochat.rom!!! DISCLAIMER: YOU ACCEPT EVERYTHING THAT WILL HAPPEN FROM NOW ON !!! UXN2 STILL DOES NOT HAVE SANDBOXING (YET) SO USE AT YOUR OWN RISK
#uxn #uxntal #nanochat -
nanochat server in 916 bytes, implemented entirely in uxn :D
canon impl by @d6: https://git.phial.org/d6/nanochat
difference is that mine has a limit of 65535 messages before the count overflows and you can't read any more :P
oh and also you can DoS by starting a connection and never sending a newline…but at least it can avoid buffer overflow by kicking you!
src: https://codeberg.org/notchoc/nanochat.tal
rom: https://codeberg.org/notchoc/nanochat.tal/raw/branch/main/bin/nanochat.rom
run:uxn2 -N nanochat.rom!!! DISCLAIMER: YOU ACCEPT EVERYTHING THAT WILL HAPPEN FROM NOW ON !!! UXN2 STILL DOES NOT HAVE SANDBOXING (YET) SO USE AT YOUR OWN RISK
#uxn #uxntal #nanochat -
nanochat server in 916 bytes, implemented entirely in uxn :D
canon impl by @d6: https://git.phial.org/d6/nanochat
difference is that mine has a limit of 65535 messages before the count overflows and you can't read any more :P
oh and also you can DoS by starting a connection and never sending a newline…but at least it can avoid buffer overflow by kicking you!
src: https://codeberg.org/notchoc/nanochat.tal
rom: https://codeberg.org/notchoc/nanochat.tal/raw/branch/main/bin/nanochat.rom
run:uxn2 -N nanochat.rom!!! DISCLAIMER: YOU ACCEPT EVERYTHING THAT WILL HAPPEN FROM NOW ON !!! UXN2 STILL DOES NOT HAVE SANDBOXING (YET) SO USE AT YOUR OWN RISK
#uxn #uxntal #nanochat -
nanochat server in 916 bytes, implemented entirely in uxn :D
canon impl by @d6: https://git.phial.org/d6/nanochat
difference is that mine has a limit of 65535 messages before the count overflows and you can't read any more :P
oh and also you can DoS by starting a connection and never sending a newline…but at least it can avoid buffer overflow by kicking you!
src: https://codeberg.org/notchoc/nanochat.tal
rom: https://codeberg.org/notchoc/nanochat.tal/raw/branch/main/bin/nanochat.rom
run:uxn2 -N nanochat.rom!!! DISCLAIMER: YOU ACCEPT EVERYTHING THAT WILL HAPPEN FROM NOW ON !!! UXN2 STILL DOES NOT HAVE SANDBOXING (YET) SO USE AT YOUR OWN RISK
#uxn #uxntal #nanochat -
Ah yes, we've reached the zenith of #AI #enlightenment where 'agents' conduct 'research' on a 'nanochat' with a singular GPU — the equivalent of having a hamster power your nuclear reactor 🚀🔍⚡. Is this #progress or is the tech world just throwing #buzzwords on a digital dartboard and calling it innovation? 😂🤖
https://github.com/karpathy/autoresearch #Nanochat #Innovation #HackerNews #ngated -
Ah yes, we've reached the zenith of #AI #enlightenment where 'agents' conduct 'research' on a 'nanochat' with a singular GPU — the equivalent of having a hamster power your nuclear reactor 🚀🔍⚡. Is this #progress or is the tech world just throwing #buzzwords on a digital dartboard and calling it innovation? 😂🤖
https://github.com/karpathy/autoresearch #Nanochat #Innovation #HackerNews #ngated -
Ah yes, we've reached the zenith of #AI #enlightenment where 'agents' conduct 'research' on a 'nanochat' with a singular GPU — the equivalent of having a hamster power your nuclear reactor 🚀🔍⚡. Is this #progress or is the tech world just throwing #buzzwords on a digital dartboard and calling it innovation? 😂🤖
https://github.com/karpathy/autoresearch #Nanochat #Innovation #HackerNews #ngated -
Ah yes, we've reached the zenith of #AI #enlightenment where 'agents' conduct 'research' on a 'nanochat' with a singular GPU — the equivalent of having a hamster power your nuclear reactor 🚀🔍⚡. Is this #progress or is the tech world just throwing #buzzwords on a digital dartboard and calling it innovation? 😂🤖
https://github.com/karpathy/autoresearch #Nanochat #Innovation #HackerNews #ngated -
Autoresearch: Agents researching on single-GPU nanochat training automatically
https://github.com/karpathy/autoresearch
#HackerNews #Autoresearch #Nanochat #AI #SingleGPU #MachineLearning
-
Autoresearch: Agents researching on single-GPU nanochat training automatically
https://github.com/karpathy/autoresearch
#HackerNews #Autoresearch #Nanochat #AI #SingleGPU #MachineLearning
-
Autoresearch: Agents researching on single-GPU nanochat training automatically
https://github.com/karpathy/autoresearch
#HackerNews #Autoresearch #Nanochat #AI #SingleGPU #MachineLearning
-
Autoresearch: Agents researching on single-GPU nanochat training automatically
https://github.com/karpathy/autoresearch
#HackerNews #Autoresearch #Nanochat #AI #SingleGPU #MachineLearning
-
Autoresearch: Agents researching on single-GPU nanochat training automatically
https://github.com/karpathy/autoresearch
#HackerNews #Autoresearch #Nanochat #AI #SingleGPU #MachineLearning
-
🚀 Đánh bại GPT-2 với chi phí dưới $100! Andrej Karpathy chia sẻ hành trình nanochat - chỉ 3 giờ huấn luyện trên 8×H100 đã vượt qua GPT-2 trong benchmark CORE. Bài viết tiết lộ chi tiết kiến trúc, tối ưu hóa và script để tái tạo kết quả.
#AI #MachineLearning #TríTuệNhânTạo #HọcMáy #NanoChat #GPT2
https://www.reddit.com/r/LocalLLaMA/comments/1qsj8x4/beating_gpt2_for_100_the_nanochat_journey/
-
#nanochat #AMD #AI #MáyHọc #CôngNghệ
Phân tích từ đầu tới cuối về nanochat với phần cứng AMD MI300X và tín dụng phát triển. Bài viết cập nhật tiến trình xây dựng mô hình, bao gồm RMSNorm, RoPE, GQA và KVCache. Tiếp theo: Muon, DistAdamW. Mời mọi người góp ý, phản hồi để cải thiện!#AIimplementation #MachineLearning #AMDmi300x #Code #Math #Debug #VietnamAI #Transformer #OpenSource
-
NanoChat đã chính thức được tích hợp vào thư viện Hugging Face Transformers! Bài viết chuyên sâu mới nhất đi sâu vào kiến trúc NanoChat, quy trình tích hợp và hướng dẫn sử dụng các công cụ như Torch, TRL, vLLM cho suy luận và huấn luyện. Khám phá ngay!
#NanoChat #Transformers #HuggingFace #AIVietnam #MôHìnhAI #HọcMáy #AI #MachineLearning #DeepLearning #LLM #NLP #TechNews
https://www.reddit.com/r/LocalLLaMA/comments/1p85sj8/deep_dive_article_nanochat_is_in_transformers/
-
💥 Build your own ChatGPT-style model in 4 hours for under $100. Nanochat shows what’s possible when you own your LLM.
🔗 https://medium.com/@rogt.x1997/benchmarking-nanochat-vs-gpt-2-what-a-100-llm-can-and-cant-do-724393507a45#AI #Nanochat #LLM
https://medium.com/@rogt.x1997/benchmarking-nanochat-vs-gpt-2-what-a-100-llm-can-and-cant-do-724393507a45 -
💥 Build your own ChatGPT-style model in 4 hours for under $100. Nanochat shows what’s possible when you own your LLM.
🔗 https://medium.com/@rogt.x1997/benchmarking-nanochat-vs-gpt-2-what-a-100-llm-can-and-cant-do-724393507a45#AI #Nanochat #LLM
https://medium.com/@rogt.x1997/benchmarking-nanochat-vs-gpt-2-what-a-100-llm-can-and-cant-do-724393507a45 -
💥 Build your own ChatGPT-style model in 4 hours for under $100. Nanochat shows what’s possible when you own your LLM.
🔗 https://medium.com/@rogt.x1997/benchmarking-nanochat-vs-gpt-2-what-a-100-llm-can-and-cant-do-724393507a45#AI #Nanochat #LLM
https://medium.com/@rogt.x1997/benchmarking-nanochat-vs-gpt-2-what-a-100-llm-can-and-cant-do-724393507a45 -
💥 Build your own ChatGPT-style model in 4 hours for under $100. Nanochat shows what’s possible when you own your LLM.
🔗 https://medium.com/@rogt.x1997/benchmarking-nanochat-vs-gpt-2-what-a-100-llm-can-and-cant-do-724393507a45#AI #Nanochat #LLM
https://medium.com/@rogt.x1997/benchmarking-nanochat-vs-gpt-2-what-a-100-llm-can-and-cant-do-724393507a45 -
💡 Build your own ChatGPT-style AI in 4 hours for ₹10,000 💬
Yes — that’s real. Nanochat is unlocking AI for every curious mind in India 🇮🇳. No paywalls, no secrets — just open code, fast GPUs, and imagination.
Be the one who doesn’t just use AI — builds it. 🧠
#Nanochat #AIforAll #OpenSource
🔗
https://medium.com/@rogt.x1997/from-10-000-to-intelligence-how-nanochat-puts-ai-in-reach-of-indian-developers-5d020fa7cfe0 -
🚀 $100 to train your own AI assistant? Believe it. 1.9B parameters, 38B tokens — total control, zero mystery.
👉 Read more: https://medium.com/@rogt.x1997/the-100-shock-of-nanochat-1-9b-parameters-38b-tokens-and-what-it-means-for-you-bdea89c7108f#DIYAI #AIOwnership #NanoChat
https://medium.com/@rogt.x1997/the-100-shock-of-nanochat-1-9b-parameters-38b-tokens-and-what-it-means-for-you-bdea89c7108f -
Nanochat Lets You Build Your Own Hackable LLM - Few people know LLMs (Large Language Models) as thoroughly as [Andrej Karpathy], a... - https://hackaday.com/2025/10/20/nanochat-lets-you-build-your-own-hackable-llm/ #artificialintelligence #andrejkarpathy #softwarehacks #nanochat #gpt #llm #ai
-
Nanochat Lets You Build Your Own Hackable LLM - Few people know LLMs (Large Language Models) as thoroughly as [Andrej Karpathy], a... - https://hackaday.com/2025/10/20/nanochat-lets-you-build-your-own-hackable-llm/ #artificialintelligence #andrejkarpathy #softwarehacks #nanochat #gpt #llm #ai
-
Nanochat Lets You Build Your Own Hackable LLM - Few people know LLMs (Large Language Models) as thoroughly as [Andrej Karpathy], a... - https://hackaday.com/2025/10/20/nanochat-lets-you-build-your-own-hackable-llm/ #artificialintelligence #andrejkarpathy #softwarehacks #nanochat #gpt #llm #ai
-
Nanochat Lets You Build Your Own Hackable LLM - Few people know LLMs (Large Language Models) as thoroughly as [Andrej Karpathy], a... - https://hackaday.com/2025/10/20/nanochat-lets-you-build-your-own-hackable-llm/ #artificialintelligence #andrejkarpathy #softwarehacks #nanochat #gpt #llm #ai
-
Nanochat Lets You Build Your Own Hackable LLM - Few people know LLMs (Large Language Models) as thoroughly as [Andrej Karpathy], a... - https://hackaday.com/2025/10/20/nanochat-lets-you-build-your-own-hackable-llm/ #artificialintelligence #andrejkarpathy #softwarehacks #nanochat #gpt #llm #ai
-
Nanochat Lets You Build Your Own Hackable LLM https://hackaday.com/2025/10/20/nanochat-lets-you-build-your-own-hackable-llm/ #ArtificialIntelligence #AndrejKarpathy #SoftwareHacks #nanochat #GPT #LLM #ai
-
Nanochat Lets You Build Your Own Hackable LLM https://hackaday.com/2025/10/20/nanochat-lets-you-build-your-own-hackable-llm/ #ArtificialIntelligence #AndrejKarpathy #SoftwareHacks #nanochat #GPT #LLM #ai
-
Nanochat Lets You Build Your Own Hackable LLM https://hackaday.com/2025/10/20/nanochat-lets-you-build-your-own-hackable-llm/ #ArtificialIntelligence #AndrejKarpathy #SoftwareHacks #nanochat #GPT #LLM #ai
-
Nanochat Lets You Build Your Own Hackable LLM https://hackaday.com/2025/10/20/nanochat-lets-you-build-your-own-hackable-llm/ #ArtificialIntelligence #AndrejKarpathy #SoftwareHacks #nanochat #GPT #LLM #ai
-
They said it was impossible to build ChatGPT in 4 hours.
Then Karpathy did it — with just $100 and open code.
What he built could change how we think about AI forever. 🤯
👇 Read the rebellion:
https://medium.com/@rogt.x1997/they-said-you-couldnt-build-chatgpt-karpathy-just-proved-them-wrong-405b41ad4bfd#AI #Nanochat #OpenSource
https://medium.com/@rogt.x1997/they-said-you-couldnt-build-chatgpt-karpathy-just-proved-them-wrong-405b41ad4bfd -
Tech update: Andrej Karpathy lancer nanochat để huấn luyện mô hình AI chỉ $100! Hãy thử nghiệm qua repo GitHub của họ. #AI #NanoChat #AndréKarpathy #MachineLearning #C regarda
https://www.reddit.com/r/LocalLLaMA/comments/1o8frim/this_is_interesting/
-
Karpathy's NanoChat gần 90% code do AI viết cùng nhiều chú thích, thể hiện sự kết hợp giữa trí tuệ nhân tạo và sự sáng tạo của người. #karpathy #nanochat #AI #technology #codingagent #vi versuchtech #artificialintelligence #code
https://www.reddit.com/r/singularity/comments/1o6rfhy/karpathys_nanochat/
-
Karpathy's NanoChat gần 90% code do AI viết cùng nhiều chú thích, thể hiện sự kết hợp giữa trí tuệ nhân tạo và sự sáng tạo của người. #karpathy #nanochat #AI #technology #codingagent #vi versuchtech #artificialintelligence #code
https://www.reddit.com/r/singularity/comments/1o6rfhy/karpathys_nanochat/
-
Karpathy's NanoChat gần 90% code do AI viết cùng nhiều chú thích, thể hiện sự kết hợp giữa trí tuệ nhân tạo và sự sáng tạo của người. #karpathy #nanochat #AI #technology #codingagent #vi versuchtech #artificialintelligence #code
https://www.reddit.com/r/singularity/comments/1o6rfhy/karpathys_nanochat/
-
Karpathy's NanoChat gần 90% code do AI viết cùng nhiều chú thích, thể hiện sự kết hợp giữa trí tuệ nhân tạo và sự sáng tạo của người. #karpathy #nanochat #AI #technology #codingagent #vi versuchtech #artificialintelligence #code
https://www.reddit.com/r/singularity/comments/1o6rfhy/karpathys_nanochat/
-
💡 Andrej Karpathy e Nanochat: come costruire ChatGPT con 100 dollari e 4 ore di GPU
https://gomoot.com/andrej-karpathy-e-nanochat-come-costruire-chatgpt-con-100-dollari-e-4-ore-di-gpu
#blog #chatgpt #llm #nanochat #news #picks #tech #tecnologia @karpathy
