home.social

#groq — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #groq, aggregated by home.social.

  1. Finally, the #Harness / Orchestrator is taking the form I desire.
    See that list at the bottom? Thats some of the LLM AI engines that are connected to work on a prompt.

    There are two types ORCH (Orchestrator) and WORKER, there is actual 4 of different classes of router asset.

    And for the first time when #Claude hit the weekly limit, the harness did not shut down

    Opencode-big-pickle #Opencode is picking up the Orchestrator role when Claude dies. The bar at the top shows which engines are used most, and surprisingly #Groq (Not Grok) is doing the heaviest lifting for the worker units (WUs)

    Only Claude and Opencode are agentic capable.

    TLDR: Big prompt get crank crank AFK. Ape happy.

    #Agentic #Ai #LLM #Vibecode

  2. Day 2 of rearchitecting the #Ai harness.
    Multiple provider #LLM hooked up
    I have also installed 3 local LLMs which will run like absolute dogshit on a 4GB VPS... but we will see if its worthwhile... because we can always pump up the server. Some #Hosting providers even offer GPUs

    Ive also added a bar graph (I love graphs) up the top that shows frequency of models used. Not surprisingly #Claude is up the top... but happy to see #groq (Not the fascist grok) up there too.

    Now that we can spare the compute for the organ monkey let it run for a few days and see.

    #vibecoding #Harnessengineering

  3. Day 2 of rearchitecting the #Ai harness.
    Multiple provider #LLM hooked up
    I have also installed 3 local LLMs which will run like absolute dogshit on a 4GB VPS... but we will see if its worthwhile... because we can always pump up the server. Some #Hosting providers even offer GPUs

    Ive also added a bar graph (I love graphs) up the top that shows frequency of models used. Not surprisingly #Claude is up the top... but happy to see #groq (Not the fascist grok) up there too.

    Now that we can spare the compute for the organ monkey let it run for a few days and see.

    #vibecoding #Harnessengineering

  4. Day 2 of rearchitecting the #Ai harness.
    Multiple provider #LLM hooked up
    I have also installed 3 local LLMs which will run like absolute dogshit on a 4GB VPS... but we will see if its worthwhile... because we can always pump up the server. Some #Hosting providers even offer GPUs

    Ive also added a bar graph (I love graphs) up the top that shows frequency of models used. Not surprisingly #Claude is up the top... but happy to see #groq (Not the fascist grok) up there too.

    Now that we can spare the compute for the organ monkey let it run for a few days and see.

    #vibecoding #Harnessengineering

  5. Telegram-бот с RAG на Cloudflare Workers: база знаний без векторов и без базы данных

    Строим Telegram-бота с RAG-поиском по базе знаний — без векторных БД, без эмбеддингов, без платной инфраструктуры. Поиск по ключевым словам через Jaccard, LLM через Groq, история сессий в Cloudflare KV, деплой одной командой. Стек: TypeScript + Telegraf + Cloudflare Workers.

    habr.com/ru/articles/1046495/

    #telegrambot #cloudflare_workers #typescript #llm #jaccard #groq #telegraf #serverless #knowledgebase #rag

  6. Telegram-бот с RAG на Cloudflare Workers: база знаний без векторов и без базы данных

    Строим Telegram-бота с RAG-поиском по базе знаний — без векторных БД, без эмбеддингов, без платной инфраструктуры. Поиск по ключевым словам через Jaccard, LLM через Groq, история сессий в Cloudflare KV, деплой одной командой. Стек: TypeScript + Telegraf + Cloudflare Workers.

    habr.com/ru/articles/1046495/

    #telegrambot #cloudflare_workers #typescript #llm #jaccard #groq #telegraf #serverless #knowledgebase #rag

  7. Telegram-бот с RAG на Cloudflare Workers: база знаний без векторов и без базы данных

    Строим Telegram-бота с RAG-поиском по базе знаний — без векторных БД, без эмбеддингов, без платной инфраструктуры. Поиск по ключевым словам через Jaccard, LLM через Groq, история сессий в Cloudflare KV, деплой одной командой. Стек: TypeScript + Telegraf + Cloudflare Workers.

    habr.com/ru/articles/1046495/

    #telegrambot #cloudflare_workers #typescript #llm #jaccard #groq #telegraf #serverless #knowledgebase #rag

  8. Как я довёл расходы на LLM до нуля: почему на бесплатных тарифах параллелизм — враг

    Это продолжение первой статьи про Briefka — там я описывал самого бота и базовую архитектуру каскада LLM-провайдеров. За прошедшие 4 месяца бот органически вырос с 59 до 84 пользователей, и именно на этом масштабе бесплатный каскад начал срываться на платного провайдера. Расскажу, почему так вышло и как я вернул расходы к нулю — с цифрами и кодом. Код ниже — реальные фрагменты из боевого Briefka, слегка сокращённые для читаемости: убраны логирование и сбор статистики.

    habr.com/ru/articles/1044546/

    #llm #ratelimit #asyncio #telegrambot #groq #deepseek #fallback #circuit_breaker

  9. Как я довёл расходы на LLM до нуля: почему на бесплатных тарифах параллелизм — враг Это продолжение первой ст...

    #llm #rate-limit #asyncio #telegram-bot #groq #deepseek #fallback #circuit #breaker

    Origin | Interest | Match
  10. А есть ли бесплатные API нейросетей?

    Третьего дня я решил сделать лид-магнит для своего Telegram-канала. Схема такая - бот собирает у пользователя текст, обрабатывает его нейросетью, выдает что-то полезное, и в конце просит подписаться на канал в обмен на результат. Aiogram 3, Python, VPS за 150 рублей - ничего необычного. Встал первый вопрос - за что платить? Бот прототипный, аудитория на входе пока еще, собственно, не особо и понятно сколько человек. Платить $20 в месяц ради теста гипотезы - нет. Мы не ищем легких путей. Пошел разбираться, что вообще бесплатного есть.

    habr.com/ru/articles/1041398/

    #бесплатные_api #groq #groq_api #openrouter #gemini_api #telegram_бот

  11. SwiftSlate ist so eine App, die sofort hängen bleibt.

    Ein systemweiter AI-Textassistent für Android: Du tippst z. B. ?fix oder ?formal direkt im Eingabefeld – und dein Text wird sofort ersetzt. Kein Copy-Paste. Kein App-Wechsel. Unterstützt Gemini, Groq und OpenAI-kompatible Endpunkte.

    Für alle, die AI auf Android wirklich im Alltag nutzen wollen, ist das richtig stark.

    #Android #AI #SwiftSlate #OpenSource #Gemini #Groq #Productivity #FOSS #RawInstinctAI #OpenAI

  12. SwiftSlate ist so eine App, die sofort hängen bleibt.

    Ein systemweiter AI-Textassistent für Android: Du tippst z. B. ?fix oder ?formal direkt im Eingabefeld – und dein Text wird sofort ersetzt. Kein Copy-Paste. Kein App-Wechsel. Unterstützt Gemini, Groq und OpenAI-kompatible Endpunkte.

    Für alle, die AI auf Android wirklich im Alltag nutzen wollen, ist das richtig stark.

    #Android #AI #SwiftSlate #OpenSource #Gemini #Groq #Productivity #FOSS #RawInstinctAI #OpenAI

  13. Все переводчики речи в реальном времени — херня. Я написал свой. Тоже херня, но бесплатная

    Перепробовал всё что есть на рынке, потратил на подписки больше чем на кофе, и в итоге сел писать с нуля. Вот что вышло AI Open Source Voice AI Real-time перевод Deepgram Groq Piper TTS STT TTS LLM Google Meet Zoom Личный опыт Elixir Rust macOS Apple Silicon Speech-to-Text Text-to-Speech Сижу на рабочем созвоне. Обсуждаем архитектуру нового сервиса. Технически я всё понимаю - документацию на английском читаю без словаря, код ревьюю, в Slack переписываюсь нормально. А вот когда надо открыть рот и сказать что-то сложнее "I agree" - начинается цирк. Пауза. Подбираю слова. Коллега уже ответил за меня. Знакомо? Мне - до зубного скрежета. Я CTO, последние годы плотно работаю с AI-интеграциями. Могу собрать систему автоматического обзвона клиентов с клонированием голосов, поднять флот ботов для скана Телеги, собрать архитектуру которая выдержит тысячи пользователей за копейки. А сам на созвоне звучу как иностранец с разговорником. Ирония уровня бог. И вот в голове простая картинка: я говорю по-русски, собеседник слышит английский. Он отвечает по-английски, я слышу русский. В реальном времени. Без пауз на 10 секунд. Без субтитров - именно голосом. С любым приложением: Meet, Zoom, Slack, Discord. Пошёл искать. И тут началось.

    habr.com/ru/articles/1019458/

    #realtime_communications #translations #speechtotext #texttospeech #deepgram #groq #elixir #rust #open_source #voice_ai

  14. Все переводчики речи в реальном времени — херня. Я написал свой. Тоже херня, но бесплатная

    Перепробовал всё что есть на рынке, потратил на подписки больше чем на кофе, и в итоге сел писать с нуля. Вот что вышло AI Open Source Voice AI Real-time перевод Deepgram Groq Piper TTS STT TTS LLM Google Meet Zoom Личный опыт Elixir Rust macOS Apple Silicon Speech-to-Text Text-to-Speech Сижу на рабочем созвоне. Обсуждаем архитектуру нового сервиса. Технически я всё понимаю - документацию на английском читаю без словаря, код ревьюю, в Slack переписываюсь нормально. А вот когда надо открыть рот и сказать что-то сложнее "I agree" - начинается цирк. Пауза. Подбираю слова. Коллега уже ответил за меня. Знакомо? Мне - до зубного скрежета. Я CTO, последние годы плотно работаю с AI-интеграциями. Могу собрать систему автоматического обзвона клиентов с клонированием голосов, поднять флот ботов для скана Телеги, собрать архитектуру которая выдержит тысячи пользователей за копейки. А сам на созвоне звучу как иностранец с разговорником. Ирония уровня бог. И вот в голове простая картинка: я говорю по-русски, собеседник слышит английский. Он отвечает по-английски, я слышу русский. В реальном времени. Без пауз на 10 секунд. Без субтитров - именно голосом. С любым приложением: Meet, Zoom, Slack, Discord. Пошёл искать. И тут началось.

    habr.com/ru/articles/1019458/

    #realtime_communications #translations #speechtotext #texttospeech #deepgram #groq #elixir #rust #open_source #voice_ai

  15. NVIDIA’s new Vera Rubin platform brings together specialized chips (Vera CPUs, Rubin GPUs, Groq LPUs, and BlueField-4 DPUs) into coordinated, rack-scale systems designed for real-time AI.

    The big shift: AI isn’t just about training models anymore — it’s about orchestrating entire systems to power intelligent, autonomous agents in real time.
    buysellram.com/blog/the-agenti
    #NVIDIAGTC #AgenticAI #VeraRubin #DataCenter #GPU #InferenceFactory #AIInfrastructure #Groq #NVIDIA #NVLink #AIHardware #technology

  16. US stock markets added on Monday, closing higher in New York. The Dow finished the day at 46,946 points, up 0.8 % from the previous session. A few minutes earli... news.osna.fm/?p=38427 | #news #amid #fuels #groq #hormuz

  17. SRAM. Static RAM. The stuff used for CPU caches, including AMD's 3D chips.

    There have been mumbles of CPU prices spiking like DRAM....this may be part of why.

    "Companies like Cerebras, Groq, and d-Matrix are designing AI inference chips that use massive amounts of on-chip SRAM instead of relying on external DRAM (HBM), which significantly reduces latency and power consumption."

    nVidia bought Groq. Amazon and Cerebras just signed a deal. Cerebras’ WSE-3 chip includes 900,000 cores and 44 gigabytes of on-chip SRAM.

    Wait for it...............

    #ai #dram #memory #sram #datacenters #gpu #cerebras #groq #amazon #nvidia

  18. 🚀 Ra mắt Oddvision – tiện ích Chrome cho phép trả lời ngay trên mọi trang web bằng phím tắt Alt+1 (capture), Alt+2 (analyze), Alt+3 (overlay). Chuyển từ API OpenAI (2.5s) sang Groq Llama‑3‑70b (<400ms) nên trải nghiệm “instant”. Có gói miễn phí 3 truy vấn/tuần, thích chia sẻ kinh nghiệm giới hạn Manifest V3. #CôngCụ #Extension #Chrome #AI #Oddvision #Llama3 #Groq #Developer #SinhViên

    reddit.com/r/SaaS/comments/1qh

  19. So sánh hiệu suất và chi phí giữa các mô hình AI:

    - **Ollama (CPU cục bộ)**: Miễn phí nhưng chậm (45 phút).
    - **OpenAI (GPT-4o)**: $5, nhanh (5 phút).
    - **Groq (Llama-3-70b)**: Chỉ $0.10, siêu nhanh (30 giây) - "Chén Thánh" của AI!

    #AI #TríTuệNhânTạo #CôngNghệ #SoSánh #Ollama #OpenAI #Groq #Llama3

    i.redd.it/zoa4sb80jbcg1.png

  20. ✅ Summary: Fuel is Ready

    By optimizing the source, using Groq acceleration, and injecting context, you now have high-quality "AI Fuel."

    Next stop: **3.2 Map-Reduce Summary**.
    How do you condense a 50,000-word transcript into a 500-word gem? See you in the next lesson. 🚀

    #BibiGPT #OpenAI #Whisper #Groq #AI #FullStack

  21. ✅ 总结:文字已就绪

    掌握了源头优化、Groq 加速、预处理和上下文注入,你已经拿到了高质量的“AI 燃料”。

    下一站:**3.2 Map-Reduce Summary**。
    面对 5 万字的逐字稿,如何浓缩成 500 字精华?下节课揭晓。🚀

    #BibiGPT #OpenAI #Whisper #Groq #AI #FullStack

  22. #Nvidia secured a non-exclusive licensing agreement with #Groq, an #AIchip startup, for $20 billion. The deal aims to bring Groq’s CEO, #JonathanRoss, on board, along with their #inferencetechnology and #intellectualproperty. This move is seen as a strategic move to counter #Google’s success with #TPUs and maintain Nvidia’s dominance in the #AIchipmarket. spyglass.org/nvidia-groq-deal/ #tech #media #news

  23. #Nvidia secured a non-exclusive licensing agreement with #Groq, an #AIchip startup, for $20 billion. The deal aims to bring Groq’s CEO, #JonathanRoss, on board, along with their #inferencetechnology and #intellectualproperty. This move is seen as a strategic move to counter #Google’s success with #TPUs and maintain Nvidia’s dominance in the #AIchipmarket. spyglass.org/nvidia-groq-deal/ #tech #media #news

  24. NVIDIA mua lại Groq - Hãng chip AI nổi tiếng. NVIDIA dự định mua lại công ty khởi nghiệp chip AI Groq với giá không được tiết lộ. Groq được thành lập bởi những cựu nhân viên của Google, chuyên về chip AI hiệu năng cao cho máy chủ và trung tâm dữ liệu. Deal này giúp NVIDIA tăng cường vị thế trên thị trường chip AI đang phát triển mạnh mẽ. Tag: #NVIDIA #Groq #AIChip #StartupAcquisition #MuaLạiCôngTy

    reddit.com/r/singularity/comme

  25. Nvidia just blew $20 billion on #Groq, but somehow reading about it costs even more. 🚫💸 Apparently, the internet's new #AI protocol is "Access Denied" — a groundbreaking feature in digital storytelling. 🙄📉
    cnbc.com/2025/12/24/nvidia-buy #Nvidia #AccessDenied #DigitalStorytelling #TechNews #HackerNews #ngated

  26. Nvidia just blew $20 billion on #Groq, but somehow reading about it costs even more. 🚫💸 Apparently, the internet's new #AI protocol is "Access Denied" — a groundbreaking feature in digital storytelling. 🙄📉
    cnbc.com/2025/12/24/nvidia-buy #Nvidia #AccessDenied #DigitalStorytelling #TechNews #HackerNews #ngated

  27. walknews.com/1121100/ Groq、オーストラリア・シドニーのデータセンターにAIインフラを配備 | Data Center Café #ai #Australia #equinix #groq #オーストラリア

  28. walknews.com/1121100/ Groq、オーストラリア・シドニーのデータセンターにAIインフラを配備 | Data Center Café #ai #Australia #equinix #groq #オーストラリア