home.social

#aioffline — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #aioffline, aggregated by home.social.

  1. MindDrop – Workspace AI chạy cục bộ, bảo mật, mã nguồn mở. Hoạt động hoàn toàn trên máy của bạn, không cần API key. Tính năng: chat AI offline, quản lý mô hình, TTS, tìm kiếm nội bộ (de‑google), giám sát GPU/CPU/RAM, hỗ trợ tạo ảnh/video. Xây dựng bằng Rust, Tauri, React, Python. Không thuê bao, dữ liệu luôn ở máy. #AI #OpenSource #Privacy #SelfHosted #Rust #Tauri #AIoffline #CôngNghệ

    reddit.com/r/selfhosted/commen

  2. 🗣️ Muốn xây dựng trợ lý AI offline “Jarvis” với độ trễ TTFT (Time To First Token) thấp? 💡 So sánh RTX 3090 (≈700 €) vs RTX 4090 (≈1700 €):
    - 4090 mạnh hơn, nhưng TTFT thường bị chi phối bởi tải mô hình, khởi động kernel, và giao tiếp CPU‑GPU → lợi thế thời gian phản hồi thực tế có thể không quá lớn.
    - Nếu ngân sách hạn chế và muốn mở rộng nhiều GPU, 3090 vẫn đủ cho mô hình 7‑13B.
    #AI #LLM #RTX3090 #RTX4090 #Latency #CôngNghệ #TríTuệNhânTạo #AIOffline

    reddit.com/r/LocalLLaMA/

  3. 🚀 Sáng tạo AI hoàn toàn offline sử dụng dưới 2GB RAM! هؤلاء كائنة يتحدثون من صندوقه يлено والسيطان دون انترنت. Tagé بـ: #AI #OfflineAI #SpeechToSpeech #TechInnovation #ChúngTôiThíchAI #TechTalk #AIoffline #STS #T davantGard #Technews #AIenthusiasts

    reddit.com/r/LocalLLaMA/commen