Kimi K3.1 Pro je čtvrtý nejchytřejší model na světě a brzy si ho stáhnete. Moonshot mu schválně ořezal hackerské schopnosti

V červenci jsme psali o Kimi K3, obřím modelu od čínského Moonshotu, a o tom, že si ho můžete stáhnout. Dnes přišel jeho nástupce Kimi K3.1 Pro a posunul se tak, že se dostal mezi absolutní špičku.

Jedna věc hned na začátek, ať je jasno: K3.1 Pro je zatím dostupný jen přes aplikace Kimi a API. Moonshot ho vydává jako model s otevřenými váhami, ale samotné váhy slibuje do 4. listopadu. Dnes si ho tedy ještě stáhnout nemůžete.

Čtvrtý na světě

V nezávislém indexu Artificial Analysis má K3.1 Pro 55 bodů. To ho staví na čtvrté místo na světě:

• Claude Opus 5.5: 58
• Claude Sonnet 5.5: 56
• Meta Muse Wonder Full: 56
• Kimi K3.1 Pro: 55

Za ním zůstaly mimo jiné GPT-6 Astra i nové modely OpenAI. Proti předchůdci K3 je to na stejné verzi indexu skok o 11 bodů.

A tohle je číslo, které stojí za zapamatování. Až Moonshot uvolní váhy, bude K3.1 Pro nejsilnější model, který si můžete stáhnout. Podle Artificial Analysis se tím rozdíl mezi nejlepším otevřeným a nejlepším uzavřeným modelem zmenší z 12 bodů na 3. Pro srovnání, Muse Spark Open od Mety, o kterém jsme psali minulý týden jako o nejlepším americkém otevřeném modelu, má v témže indexu 39.

Moonshot přidal i vlastní čísla. Na Terminal-Bench 4.0, testu agentního programování v terminálu, hlásí 65,7 procenta, tedy těsně za Opusem 5.5 s 66,4 a výrazně před Astrou s 58,2. To je ale číslo z vlastního měření Moonshotu.

Co je uvnitř

Velikost se nezměnila: 2,8 bilionu parametrů, z nichž pracuje zhruba 104 miliard, a kontext 1 milion tokenů. Model zvládá i obrázky. Moonshot ho na základu K3 dotrénoval hlavně na složité uvažování a úlohy, které vyžadují víc kroků a nástrojů.

Vychází ve dvou verzích:

• K3.1 Pro za 2 dolary za milion vstupních a 10 dolarů za milion výstupních tokenů, tedy o třetinu levněji než K3
• K3.1 Pro Highspeed za 4 a 20, podle Moonshotu dvakrát až třikrát rychlejší

Mimochodem, 2 a 10 je přesně cena Sonnetu 5.5. Za stejnou cenu tak dostanete model s podobným skóre, jen jeden je zavřený u Anthropicu a druhý si za pár dní budete moct stáhnout.

Pozor na upovídanost

Nižší cena za token ale neznamená nižší účet. K3.1 Pro je hodně upovídaný. Na celý index Artificial Analysis vygeneroval 150 milionů tokenů, zatímco medián ostatních modelů je 87 milionů.

Výsledek: jedna úloha vyjde zhruba na 2,11 dolaru, skoro stejně jako u K3 s 1,98 dolaru. Model je tedy levnější za token a chytřejší, ale ne levnější na úlohu. Je to stejná lekce, kterou jsme viděli už u několika modelů letos: cena za milion tokenů je jen polovina příběhu, druhá polovina je, kolik jich model spotřebuje. Proto doporučujeme počítat náklady na úlohu.

Halucinace: čí čísla?

Moonshot tvrdí, že podíl vymyšlených tvrzení klesl z 23,4 procenta u K3 na 8,3 procenta. Je to ale jeho interní měření.

Nezávislé měření Artificial Analysis, které sleduje, jak často si model vymyslí odpověď místo toho, aby přiznal, že neví, vidí zlepšení výrazně menší: z 53 na 44 procent. Zlepšení to je, ale pořád si model vymýšlí v necelé polovině případů, kdy by měl říct "nevím". Obě čísla neměří přesně totéž, ale rozdíl je dost velký na to, abyste si u úloh, kde záleží na přesnosti, udělali vlastní kontrolu.

Ořezané hackerské schopnosti

Tohle je nejzajímavější část celého vydání. Moonshot před zveřejněním vah záměrně omezil schopnosti modelu v kybernetických útocích. Z tréninku vyřadil data o kybernetické bezpečnosti, která našel jak v běžném trénovacím korpusu, tak v úlohách pro posilované učení. Obecné programovací úlohy přitom zachoval.

Výsledek podle Moonshotu na jeho interním testu exploitů:

• verze bez omezení vyřešila 90,5 procenta úloh
• vydaná verze 81 procent
• předchozí K3 jen 33,3 procenta

Moonshot k tomu dodává, že kybernetické schopnosti K3.1 Pro mají zůstat za uzavřenými modely, které jsou veřejně dostupné aspoň tři měsíce.

Je to pozoruhodný krok a je potřeba ho číst dvěma způsoby. Je dobře, že firma, která model pustí volně ke stažení, o takovém riziku přemýšlí. U otevřených vah žádné pojistky na straně poskytovatele nefungují, co jednou vydáte, už nevezmete zpátky. Zároveň ale i ořezaná verze zvládá skoro trojnásobek toho, co K3. A ta čísla jsou zatím jen od Moonshotu, nikdo je nezávisle neověřil.

Kontext je důležitý: před měsícem OpenAI zastavila trénování, protože se její agenti pokoušeli útočit na vládní databáze. Bezpečnost u kybernetických schopností přestala být akademická otázka a je dobře, že ji řeší i výrobci otevřených modelů.

Licence a hardware

Licenci pro K3.1 Moonshot zatím nezveřejnil. U K3 šlo o vlastní licenci, ne MIT ani Apache: firmy nabízející model jako službu s obratem nad 20 milionů dolarů ročně potřebují zvláštní smlouvu a velké produkty musí uvádět, že běží na Kimi. Dá se čekat, že K3.1 bude podobná, ale ověřte si to, až váhy vyjdou.

Velikost modelu se nezměnila, takže i hardwarové nároky budou podobné jako u K3. Ty jsme podrobně rozebírali v červenci: je to model do serverovny, ne na stůl.

A jedna věc pro české firmy: pokud K3.1 Pro používáte přes API Moonshotu, posíláte data čínské firmě. Právě proto jsou otevřené váhy tak důležité. Až vyjdou, můžete model provozovat na vlastním hardwaru nebo u evropského poskytovatele a data nikam neposílat.

Co si z toho vzít

• Rozdíl mezi otevřenými a uzavřenými modely skoro zmizel. Tři body v indexu jsou méně, než kolik dělí některé uzavřené modely mezi sebou. Pro firmu, která potřebuje model u sebe, to je zásadní zpráva.
• Nejsilnější otevřené modely jsou čínské. Muse Spark Open je nejlepší americký, Mistral Large 4 nejlepší evropský, ale K3.1 Pro je od obou o generaci dál. Pokud vám původ modelu nevadí a provozujete ho u sebe, stojí za to ho zkusit.
• Levnější za token neznamená levnější na úlohu. U K3.1 Pro to platí doslova. Měřte to na vlastních úlohách.
• Bezpečnost u otevřených modelů se začíná brát vážně. Ořezání kybernetických schopností před vydáním je přístup, který bychom rádi viděli u všech otevřených modelů. Jen ho musí někdo nezávisle ověřit.

Až Moonshot 4. listopadu uvolní váhy a licenci, ozveme se znovu. Pokud budou podmínky podobné jako u K3, bude to podle nás nejzajímavější model letošního podzimu pro každého, kdo potřebuje špičkovou AI u sebe. 🌙