Andrej Karpathy přechází do Anthropicu: Bude řídit výzkum pre-trainingu pomocí Claude

Andrej Karpathy, jeden z nejrespektovanějších AI vědců současnosti, zakládající člen OpenAI a bývalý ředitel AI v Tesle, oznámil svůj další kariérní krok. Přechází do konkurenčního Anthropicu. Karpathy zde povede nově zřízený výzkumný tým zaměřený na inovace a zrychlení procesu pre-trainingu (předtrénování) budoucích generací modelů.

Pre-training a model-assisted vývoj

Hlavním pilířem nového výzkumného směru pod Karpathyho vedením bude využití stávajících modelů Claude k automatizaci, optimalizaci a čištění obrovských datových sad pro trénink nových modelů. Tento přístup by měl dramaticky zkrátit dobu potřebnou pro přípravu a stabilizaci základních modelů (foundation models).

Karpathy věří, že budoucnost trénování nespočívá v pouhém stahování většího množství webového obsahu, ale v syntéze a filtrování dat pomocí stávajících pokročilých inteligencí. Tento koncept model-assisted pre-training má za cíl: - Odstranit toxický nebo nekonzistentní obsah z trénovacích dat. - Generovat vysoce kvalitní syntetické programovací úlohy pro zlepšení logických schopností budoucích modelů. - Automaticky tagovat a kategorizovat obrovské nestrukturované textové korpusy.

Role Karpathyho v Anthropicu

Karpathy na svých sociálních sítích uvedl, že ho kultura Anthropicu orientovaná na bezpečnost a systematický inženýrský přístup fascinovala již delší dobu a těší se na úzkou spolupráci s týmem, který stojí za rodinou modelů Claude a definuje moderní standardy zarovnání (alignment) a spolehlivosti umělé inteligence.