home.social

Search

6 results for “donovan”

  1. ‘The Cycle’ | Official Trailer | Deborah Ann Woll, Jeffrey Donovan | A daughter unravels her father’s dark past after his body, missing for 36 years, is found at a horrific crime scene. fxoxo.com/338774/ #Movie #MovieNews #Movies

  2. CW: Rant na evropskou AI infrastrukturu

    V posledni dobe jsem zacal hodne zkoumat firmy, kterym posilam penize, z pohledu dlouhodobe udrzitelnosti. Nechci implicitne hejtit americke korporace a prechazet k evropskym alternativam. Zajima me opravdu jak ma ta firma postaveny ops model, jak ma nastavenou dlouhodobou udrzitelnost a jestli neskonci ve sparech PE jako Bending Spoons...

    Ted jsem hodne resil hosting pro inferenci modelu. Mame tu CoreWeave, kde jsem zacal jako s nejkvalitnejsi sluzbou. Ktera je zaroven. Wait for it. Nejlevnejsi.

    Vyzkum nedopadl uplne ruzove, tomu se muzeme zasmat v jinem postu. Pokud bude zajem.

    Nejlepsi z pomeru kvality sluzby, ceny, podminek* a taky udrzitelnosti firmy mi vychazi DeepInfra. Kde aktualne bezi treba cela AI inference Unreleased.

    No a ted prijde EU alternativa. Scaleway nasadila stejnou sluzbu pro inferenci modelu. Coz ma pro me velky potencial, muzu si usetrit cestu dotazu z jejich datacentra v Parizi do ameriky a zpet. Ale, proti vsem predpokladum je: 3x drazsi, 10x pomalejsi (input processing to dost brzi) a vyrazne mene agresivni pri cachovani (brzdi to delsi chat). Stejny model. Pro srovnani ta deepinfra je ~2x pomalejsi na input processingu nez CoreWeave za stejnou cenu.

    Jako, neni v podstate zadny duvod, proc by mela mit ta sluzba open weight modelu jine parametry nez americke sluzby. Vsechno kolem jejich behu a optimalizace je verejne do detailu prozkoumane (Scaleway je pousti na 2x H100 80GB, stejne jako deepinfra, cw je pousti asi na novejsich B modelech). Klidne zaplatim vic, dotovana cena od americkych provideru je hezka, ale ne zas tak dulezita. Ale nemuze se mi 20 vterin tocit kolecko v UI.

    *k tem podminkam. Dulezita je i privacy a deepinfra samotne prompty a odpovedi neuklada. ALE uklada jejich metadata a "nahodny vzorek", v praxi treba 3 slova z promptu a 3 z odpovedi. Kdybych tam poslal tenhle post ulozi si IP, cas a treba [udrzitelnosti, sluzby, nemela]. Kazda americka sluzba to musi delat. Minimalne.

    #ai #eu #udrzitelnost

Share on Mastodon

Enter the server where you have an account.