#wideo — Public Fediverse posts

Zbudowałem prywatnego ChatGPT na Macu mini M6

Czy lokalny LLM na Macu mini M6 ma w ogóle sens? Tym razem konfiguruję Maca mini jako headless server, czyli komputer działający bez monitora i klawiatury, do którego łączę się zdalnie z MacBooka Pro.

Po drodze jest dummy HDMI, BetterDisplay i własna rozdzielczość 16:10, ale najważniejsza część zaczyna się później: AnythingLLM, oMLX, lokalny Qwen 3.5 9B, własna baza dokumentów i próba zbudowania prywatnego chatbota na podstawie transkrypcji podcastu. Sprawdzam, jak taki model radzi sobie z wyszukiwaniem konkretnych informacji, gdzie zaczyna halucynować, jak szybko działa na 24 GB RAM-u i czy rzeczywiście da się na nim sensownie pracować bez wysyłania danych do chmury. Wnioski są trochę brutalne: do prostych zadań, RAG-u i prywatnego przeszukiwania dokumentów lokalne AI ma sens, ale kiedy przyzwyczaimy się do współczesnych modeli online i agentów, powrót do małego lokalnego LLM-u potrafi boleć. Przy okazji pokazuję całą konfigurację, sposób działania embeddera, lokalnej bazy danych, cache, llama servera oraz wyjaśniam, dlaczego do poważniejszej zabawy z AI w Macu mini raczej wybrałbym 32 GB RAM-u niż 24 GB.

Zapraszam do materiału.

Zbudowałem prywatnego ChatGPT na Macu mini M6

Czy lokalny LLM na Macu mini M6 ma w ogóle sens? Tym razem konfiguruję Maca mini jako headless server, czyli komputer działający bez monitora i klawiatury, do którego łączę się zdalnie z MacBooka Pro.

Po drodze jest dummy HDMI, BetterDisplay i własna rozdzielczość 16:10, ale najważniejsza część zaczyna się później: AnythingLLM, oMLX, lokalny Qwen 3.5 9B, własna baza dokumentów i próba zbudowania prywatnego chatbota na podstawie transkrypcji podcastu. Sprawdzam, jak taki model radzi sobie z wyszukiwaniem konkretnych informacji, gdzie zaczyna halucynować, jak szybko działa na 24 GB RAM-u i czy rzeczywiście da się na nim sensownie pracować bez wysyłania danych do chmury. Wnioski są trochę brutalne: do prostych zadań, RAG-u i prywatnego przeszukiwania dokumentów lokalne AI ma sens, ale kiedy przyzwyczaimy się do współczesnych modeli online i agentów, powrót do małego lokalnego LLM-u potrafi boleć. Przy okazji pokazuję całą konfigurację, sposób działania embeddera, lokalnej bazy danych, cache, llama servera oraz wyjaśniam, dlaczego do poważniejszej zabawy z AI w Macu mini raczej wybrałbym 32 GB RAM-u niż 24 GB.

Zapraszam do materiału.

Zbudowałem prywatnego ChatGPT na Macu mini M6

Czy lokalny LLM na Macu mini M6 ma w ogóle sens? Tym razem konfiguruję Maca mini jako headless server, czyli komputer działający bez monitora i klawiatury, do którego łączę się zdalnie z MacBooka Pro.

Po drodze jest dummy HDMI, BetterDisplay i własna rozdzielczość 16:10, ale najważniejsza część zaczyna się później: AnythingLLM, oMLX, lokalny Qwen 3.5 9B, własna baza dokumentów i próba zbudowania prywatnego chatbota na podstawie transkrypcji podcastu. Sprawdzam, jak taki model radzi sobie z wyszukiwaniem konkretnych informacji, gdzie zaczyna halucynować, jak szybko działa na 24 GB RAM-u i czy rzeczywiście da się na nim sensownie pracować bez wysyłania danych do chmury. Wnioski są trochę brutalne: do prostych zadań, RAG-u i prywatnego przeszukiwania dokumentów lokalne AI ma sens, ale kiedy przyzwyczaimy się do współczesnych modeli online i agentów, powrót do małego lokalnego LLM-u potrafi boleć. Przy okazji pokazuję całą konfigurację, sposób działania embeddera, lokalnej bazy danych, cache, llama servera oraz wyjaśniam, dlaczego do poważniejszej zabawy z AI w Macu mini raczej wybrałbym 32 GB RAM-u niż 24 GB.

Zapraszam do materiału.

Zbudowałem prywatnego ChatGPT na Macu mini M6

Czy lokalny LLM na Macu mini M6 ma w ogóle sens? Tym razem konfiguruję Maca mini jako headless server, czyli komputer działający bez monitora i klawiatury, do którego łączę się zdalnie z MacBooka Pro.

Po drodze jest dummy HDMI, BetterDisplay i własna rozdzielczość 16:10, ale najważniejsza część zaczyna się później: AnythingLLM, oMLX, lokalny Qwen 3.5 9B, własna baza dokumentów i próba zbudowania prywatnego chatbota na podstawie transkrypcji podcastu. Sprawdzam, jak taki model radzi sobie z wyszukiwaniem konkretnych informacji, gdzie zaczyna halucynować, jak szybko działa na 24 GB RAM-u i czy rzeczywiście da się na nim sensownie pracować bez wysyłania danych do chmury. Wnioski są trochę brutalne: do prostych zadań, RAG-u i prywatnego przeszukiwania dokumentów lokalne AI ma sens, ale kiedy przyzwyczaimy się do współczesnych modeli online i agentów, powrót do małego lokalnego LLM-u potrafi boleć. Przy okazji pokazuję całą konfigurację, sposób działania embeddera, lokalnej bazy danych, cache, llama servera oraz wyjaśniam, dlaczego do poważniejszej zabawy z AI w Macu mini raczej wybrałbym 32 GB RAM-u niż 24 GB.

Zapraszam do materiału.

Zbudowałem prywatnego ChatGPT na Macu mini M6

Czy lokalny LLM na Macu mini M6 ma w ogóle sens? Tym razem konfiguruję Maca mini jako headless server, czyli komputer działający bez monitora i klawiatury, do którego łączę się zdalnie z MacBooka Pro.

Po drodze jest dummy HDMI, BetterDisplay i własna rozdzielczość 16:10, ale najważniejsza część zaczyna się później: AnythingLLM, oMLX, lokalny Qwen 3.5 9B, własna baza dokumentów i próba zbudowania prywatnego chatbota na podstawie transkrypcji podcastu. Sprawdzam, jak taki model radzi sobie z wyszukiwaniem konkretnych informacji, gdzie zaczyna halucynować, jak szybko działa na 24 GB RAM-u i czy rzeczywiście da się na nim sensownie pracować bez wysyłania danych do chmury. Wnioski są trochę brutalne: do prostych zadań, RAG-u i prywatnego przeszukiwania dokumentów lokalne AI ma sens, ale kiedy przyzwyczaimy się do współczesnych modeli online i agentów, powrót do małego lokalnego LLM-u potrafi boleć. Przy okazji pokazuję całą konfigurację, sposób działania embeddera, lokalnej bazy danych, cache, llama servera oraz wyjaśniam, dlaczego do poważniejszej zabawy z AI w Macu mini raczej wybrałbym 32 GB RAM-u niż 24 GB.

Zapraszam do materiału.