Kimi K3 je ke stažení: největší otevřený model historie má 1,56 TB, vlastní licenci a chuť na osm H100

V článku o uvedení Kimi K3 jsme psali, ať si počkáme na 27. července, protože teprve zveřejněné soubory modelu ukážou, jestli je to skutečná open-weight událost, nebo jen tisková zpráva. Termín přišel a Moonshot slovo dodržel, dokonce s mírným předstihem. Kimi K3 je ke stažení na Hugging Face a je z toho vůbec největší otevřený model, jaký kdy vyšel.

Zároveň se ale objevily dvě věci, o kterých se v nadšených titulcích moc nepíše. Obě stojí za přečtení dřív, než na tom začnete stavět.

Co přesně vyšlo

Jedenáct dní po spuštění hostované verze pustil Moonshot ven kompletní balík: natrénované váhy modelu, inference kód i technickou zprávu. Slovem váhy se v AI myslí prostě ta obří tabulka čísel, která vznikla tréninkem a ve které je uložené všechno, co se model naučil. Když je někdo zveřejní, znamená to, že si model můžete stáhnout a provozovat na vlastních serverech, bez cizího API. Čísla jsou pořádná:

• 1,561 TB dat v repozitáři (tedy 1,42 TiB, odtud rozdílná čísla, která kolovala)
• 2,8 bilionu parametrů celkem, z 896 expertů se na token aktivuje 16
• kontext přes 1 milion tokenů, k tomu nativně text, obrázky i video

Jedna oprava proti tomu, co se psalo při uvedení: technická zpráva upřesnila, že model aktivuje zhruba 104 miliard parametrů na token, ne padesát, jak odhadovaly první zprávy. Zajímavý je i způsob uložení. Moonshot použil trénink s ohledem na kvantizaci, parametry v MXFP4 a aktivace v MXFP8, takže výsledný balík vychází v průměru na necelých 4,5 bitu na parametr. Bez toho by soubory byly násobně větší.

Licence: je to open-weight, ale ne open-source

A tady je ta první věc na přečtení. Model nevyšel pod MIT ani Apache, ale pod vlastní Kimi K3 License. Ta je v základu velkorysá: smíte model stahovat, provozovat u sebe, upravovat, fine-tunovat, kvantizovat, distribuovat a dokonce i prodávat. Na to se vážou dvě konkrétní podmínky:

• Pokud provozujete model-as-a-service a vy i vaše skupina uděláte za jakýchkoli 12 po sobě jdoucích měsíců obrat nad 20 milionů dolarů, musíte mít s Moonshotem zvláštní smlouvu.
• Pokud má váš produkt přes 100 milionů aktivních uživatelů měsíčně nebo přes 20 milionů dolarů měsíčního obratu, musíte jméno Kimi K3 viditelně uvádět v rozhraní.

Pro drtivou většinu firem u nás jsou obě hranice tak vysoko, že je nikdy nepotkají. Ale je férové to říct nahlas: "open weights" a "open source" nejsou totéž. Přesně na tohle jsme upozorňovali už u MiniMax M3, kde licence komerční využití omezovala mnohem tvrději. K3 je proti tomu vstřícný, ale malé písmo si stejně přečtěte.

Železo: otevřený neznamená dostupný

Druhá věc je praktičtější a zarazí víc lidí. Stáhnout si model může kdokoli, spustit ho už ne. Na rozumný rozjezd potřebujete aspoň osm H100 s 80 GB, tedy 640 GB paměti dohromady, a to ještě s poctivou kvantizací. Pro pohodlný provoz se mluví o šestnácti a víc, pro produkční zátěž o šedesáti čtyřech a víc akcelerátorech. V plné BF16 přesnosti mají samotné soubory modelu kolem 594 GB, takže na jedné RTX 4090 ani na Mac Studiu to prostě nerozjedete.

Z toho plyne docela střízlivá ekonomika. Pronájem takového stroje v cloudu vychází zhruba na 25 tisíc dolarů měsíčně a víc. Proti tomu API od Moonshotu stojí 3 a 15 dolarů za milion tokenů. Jednoduchá matematika říká, že dokud neprotočíte zhruba 1,5 miliardy tokenů měsíčně, vyjde vás API levněji než vlastní provoz. Dobrá zpráva je, že spolu s vahami dorazila i podpora do vLLM a SGLangu, takže kdo na to má, nasadí to standardními nástroji.

Co si z toho vzít

• Slib byl dodržen, a to není samozřejmost. Frontier model s výkonem kolem Opusu 4.8 je dnes volně ke stažení. Ještě před rokem by to znělo nereálně. Náskok uzavřených laboratoří se opravdu tenčí.
• Self-host má smysl z jiných důvodů než z ceny. Pro běžné objemy je API levnější. Vlastní provoz se vyplatí tam, kde jde o citlivá data, nezávislost na dodavateli nebo jistotu, že vám model nikdo nevypne. Jak ukázala obrana Hugging Face při nedávném incidentu, mít po ruce vlastní model umí být v krizi k nezaplacení.
• Vždycky si přečtěte licenci a spočítejte železo. Dvě otázky, na kterých padá většina nadšených plánů: smím to komerčně použít, a na čem to poběží. U K3 jsou odpovědi vesměs příznivé, ale je potřeba je znát předem, ne až po nasazení.

Kimi K3 je poctivá open-weight událost a rozhodně nejsilnější model, jaký si dnes můžete stáhnout na vlastní hardware. Jen se sluší dodat, že "na vlastní hardware" tady znamená serverovnu, ne notebook. A pro většinu firem zůstává správná odpověď nudná, ale platná: vezměte model, který úlohu zvládne nejlevněji, a je jedno, jestli běží u vás, nebo u někoho jiného. 🌙