#numa — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #numa, aggregated by home.social.
-
Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM
Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.
https://habr.com/ru/articles/1080970/
#локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu #kvcache #квантование #inference #numa
-
Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM
Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.
https://habr.com/ru/articles/1080970/
#локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu #kvcache #квантование #inference #numa
-
Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM
Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.
https://habr.com/ru/articles/1080970/
#локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu #kvcache #квантование #inference #numa
-
Beim Berliner Übernachtungsanbieter #Numa entdeckte ein Mitglied des Chaos Computer Club ein gravierendes #Datenleck.
Durch einfache URL-Manipulation waren persönliche Daten, #Ausweiskopien und #Rechnungen anderer Gäste einsehbar.
Der CCC kritisiert, dass solche sensiblen Daten gar nicht erst erhoben werden sollten. Seit Jahresbeginn fehlt für die Speicherung von #Ausweisdaten im #Hotelgewerbe sogar eine gesetzliche Grundlage.