#toolcalling — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #toolcalling, aggregated by home.social.
-
Развернул Gemma 4 31B на одной 4090 48GB — и проверил, нужен ли Q8
Развернул Gemma 4 31B на одной 4090 (48 ГБ) — и проверил нужен ли «честный» Q8, и переживает ли tool-calling 4-бита. Q8 не дал ничего (+0.007 — шум), зато в 1.6 раза медленнее и вдвое жаднее до памяти. Tool-calling держится на 4-битах — но дело было не в кванте, а в одном флаге сервера ( --jinja ). Бонус: локально бенчмарк отработал с нулём ошибок, а через облако развалился на 33% обрывов. Суверенный деплой выигрывает не только в цене и задержке.
https://habr.com/ru/articles/1051724/
#llm #gemma #selfhosting #llamacpp #quantization #toolcalling
-
🔧 antoinezambelli/forge
A Python framework for self-hosted LLM tool-calling and multi-step agentic workflows
Adds reliability guardrails to self-hosted LLM tool-calling with proxy, workflow, or middleware modes
⭐ Stars: 2059
📅 Last Update: Jun 12, 2026https://github.com/antoinezambelli/forge
#selfhosted #homelab #selfhost #selfhosting #opensource #llm #toolcalling
-
🔧 antoinezambelli/forge
A Python framework for self-hosted LLM tool-calling and multi-step agentic workflows
Adds reliability guardrails to self-hosted LLM tool-calling with proxy, workflow, or middleware modes
⭐ Stars: 2059
📅 Last Update: Jun 12, 2026https://github.com/antoinezambelli/forge
#selfhosted #homelab #selfhost #selfhosting #opensource #llm #toolcalling
-
From the .NET blog...
In case you missed it earlier...
Microsoft Agent Framework – Building Blocks for AI Part 3
https://devblogs.microsoft.com/dotnet/microsoft-agent-framework-building-blocks-for-ai-part-3/ #dotnet #AI #csharp #AIagents #MicrosoftAgentFramework #multiagent #ToolCalling #workflows -
From the .NET blog...
In case you missed it earlier...
Microsoft Agent Framework – Building Blocks for AI Part 3
https://devblogs.microsoft.com/dotnet/microsoft-agent-framework-building-blocks-for-ai-part-3/ #dotnet #AI #csharp #AIagents #MicrosoftAgentFramework #multiagent #ToolCalling #workflows -
From the .NET blog...
Microsoft Agent Framework – Building Blocks for AI Part 3
https://devblogs.microsoft.com/dotnet/microsoft-agent-framework-building-blocks-for-ai-part-3/ #dotnet #AI #csharp #AIagents #MicrosoftAgentFramework #multiagent #ToolCalling #workflows -
The M×N problem of tool calling and open-source models
https://www.thetypicalset.com/blog/grammar-parser-maintenance-contract
#HackerNews #M×Nproblem #toolcalling #opensourcemodels #techblog