#llamaccp — Public Fediverse posts

Not a fan of Qwen 3.8 27B.

Overthinks too much => wasted tokens.

Has someone ran it without too much thinking? Does it perform well with that knob down, or letting it think all the way is required to be good?

#AI #ArtificialIntelligence #LLM #Qwen #Qwen38 #Qwen3 #Ollama #LlamaCCP #vLLM #LargeLanguageModels #LocalAI

Now that Qwen 3.8 27B released, you may want to know how to create (good) skills for your model:

https://medium.com/p/c8c735847494

#AI #ArtificialIntelligence #Laravel #PHP #Programming #Coding #Code #SoftwareDevelopment #WebDevelopment #WebDev #VibeCoding #VibeCode #Qwen #Qwen38 #LLM #HuggingFace #GGUF #Ollama #LlamaCCP #LMStudio

- «Hey guys, how do you use ROCm in Linux?»
- «First, ensure you have an RTX in your computer»

🤣

#NVIDIA #ROCm #AMD #Radeon #RTX #GeForce #CUDA #AI #ArtificialIntelligence #LLM #LargeLanguageModels #Llama #LlamaCCP #Ollama #NPU

This is hilarious. There is a site that does the whole exposé on how #ClaudeCode works.

https://ccunpacked.dev/

They should have called it CUCK: Claude Unpacked Code Knowledge.

Because that's is what Anthropic is going to feel the next coming weeks.

#Programming #Programmers #Coding #Code #SoftwareDevelopment #WebDevelopment #WebDev #AppDevelopment #CLI #Linux #FOSS #OSS #OpenClaw #Claude #Codex #Llama #Ollama #LlamaCCP #LLM #LargeLanguageModel #AI #LMStudio

Let's say I have a large codebase written in #TypeScript that I wish to transform into another language, like #Rust.

Which service would be great to do so, that could operate locally, and hopefully, automatically?

Asking for a friend.

#Programming #Programmers #Coding #Code #SoftwareDevelopment #WebDevelopment #WebDev #AppDevelopment #CLI #Linux #FOSS #OSS #OpenClaw #Claude #Codex #Llama #Ollama #LlamaCCP #LLM #LargeLanguageModel #AI #LMStudio

MitM-прокси для LLM

Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы: Утечка информации: мы не знаем, какие данные LLM передаёт в облако Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период Для этого есть специальные инструменты мониторинга. Например, Tokentap (бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.

https://habr.com/ru/companies/globalsign/articles/1016612/

#MitM #Hugging_Face #llamaccp #ggml #Local_AI #Gemini_CLI #Claude_Code #OpenAI_Codex #mitmproxy #HTTPSпрокси