home.social

#openwebui — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #openwebui, aggregated by home.social.

  1. Wen es interessiert. Ich habe auf meiner lokalen KI mit #Ollama unter #OpenWebUI ein paar Werkzeuge und Funktionen gebastelt, welche diverse $dinge machen können. Unter anderem Ein Notizverzeichnis, Ausgabe von Daten aus der Fritzbox und meines OpenWRT Accesspoints. Sinn war für mich, trotz des vergleichsweise kleinen Kontextfensters und geringer Geschwindigkeit mit wenig Token maximale Ergebnisse zu bekommen. Ein erster Test lief recht gut und hat insgesamt nur 2 Minuten gedauert. Ist in etwa sowas wie SVERWEIS in Excel. 🤣

    Insgesamt habe ich momentan 8 Werkzeuge und eine Funktion, und zwar mit reset das Kontextfenster zu löschen. Als nächstes möchte ich dem Chatbot eine isolierte Python-Spielwiese erstellen, wo er selbst Lösungen erarbeiten kann.

    f.kj.gd/openwebui/

  2. 1 674 813 токенов в одном запросе: как я чистил контекст OpenWebUI, а потом вынес агента наружу

    Input tokens exceed 922,000 tokens. Your messages resulted in 1,674,813 tokens — с этой ошибки началась история, которая растянулась на полгода. У нас self-hosted OpenWebUI, на нём внутренний ассистент для небольшой команды: файлы, документы, мелкие инженерные задачи. Сначала я писал фильтр, который вычищает из истории результаты инструментов. Потом понял, что латаю не то место, и вынес исполнение агента в отдельный сервис на OpenAI Agents SDK и Codex SDK. По дороге ещё споткнулся о потоковый Responses API.

    habr.com/ru/articles/1107200/

    #контекст #llm #openwebui #responses_api #openai_agents_sdk

Share on Mastodon

Enter the server where you have an account.