Proč vůbec trénovat model na indických jazycích

Dva biliony osm set miliard tokenů. Tolik textu spotřebuje jazykový model, aby pořádně rozuměl dvaceti dvěma úředně uznaným jazykům Indie. Pro představu: celá anglická Wikipedie má zhruba 4,5 miliardy slov. Tento dataset je zhruba šest setkrát větší. A nejzajímavější na tom je, že celý proces sběru, čištění a generování dat je otevřený — kdokoli si ho může stáhnout, zreplikovat nebo upravit. V době, kdy velké laboratoře tají i názvy svých filtrů, je to téměř revoluční gesto.

Proč vůbec trénovat model na indických jazycích

Hindi mluví přes 600 milionů lidí. Bengálština, telugština, tamilština, maráthština — každá z nich má desítky milionů mluvčích. Přesto velké komerční modely v těchto jazycích tápou. Doslova. GPT-4 zvládne konverzaci v hindštině, ale zeptejte se ho v maithili nebo santalštině a výsledek vypadá jako strojový překlad z roku 2010.

Důvod je prostý: data. Internet je z 50 procent anglický, indické jazyky tvoří z webových korpusů Common Crawl jen pár procent. A to, co tam je, bývá zkažené — směs strojových překladů, spamu a textů s rozbitým kódováním. Proto tým za tímto projektem postavil vlastní pipeline, která z surového webu vytáhla kvalitní indický text a doplnila ho synteticky generovanými daty.

Ta čísla stojí za pozornost. Z 6,7 bilionu tokenů surových dat po čištění zbylo 2,33 bilionu tokenů přirozeného textu. Dalších 487 miliard tokenů je syntetických — vygenerovaných převodem anglických zdrojů do indických jazyků. Dohromady 2,81 bilionu tokenů. Pro srovnání: Llama 3 byla trénovaná na 15 bilionech tokenů, ale jen v angličtině a dalších osmi velkých jazycích.

Jak vypadá otevřená datová pipeline

Jádro projektu tvoří tři fáze. První je sběr — crawlování domén s indickým obsahem, PDF dokumenty, vládní publikace, univerzitní texty a sbírky jako OSCAR či CulturaX. Druhá fáze je čištění, a to je ta zajímavá část.

Tým použil kaskádu filtrů. Jazyková detekce přes fastText s právem veta pro texty pod 50 procent jistoty. Perplexity filtr založený na menším modelu, který odstranil texty "podezřele" nestandardní. Deduplikace na úrovni dokumentů i řádků — přesný hash i MinHash s LSH. Odstranění toxického obsahu, porno spamu a webového šumu typu cookie lišt.

Výsledek? Z každých 1000 tokenů surových dat projde čištěním zhruba 350. Zbytek je duplicit, šum nebo text v nesprávném jazyce. Třiasedmdesát procent dat tvoří webový text, 11 procent knihy, 8 procent kód a zbytek zdroje jako Wikipedia a vládní dokumenty.

Třetí fáze je syntetická generace. Tady přišel trik: vzali kvalitní anglické instrukční datasety, přeložili je do 23 indických jazyků pomocí překladových modelů a nechali velký jazykový model vygenerovat odpovědi. Výstup prošel dalším filtrem kvality a kontroly faktů. Takhle vzniklo přes 480 miliard tokenů tréninkových dat, která v přirozené podobě na webu prostě neexistují.

Celý kód pipeline je na HuggingFace a GitHubu. Stáhnout si můžete i samotné datasety — 2,8 bilionu tokenů zabere na disku zhruba 5,5 TB. Pokud si chcete jen prohlédnout vzorky, existují menší výřezy po 10 GB.

Chcete ušetřit na energiích?

Zjistěte, kolik můžete ušetřit sdílením elektřiny z FVE nebo optimalizací bateriového úložiště.

Spočítat úsporu →

Beam: model s 501 miliardou parametrů, který si můžete vlastnit

Současně s datovou pipeline tým uvolnil i vlastní model. Beam má 501 miliard parametrů, je postavený na architektuře Mixtral-style Mixture-of-Experts a — což je hlavní prodejní argument — je skutečně open. Ne "open weights s restriktivní licencí", ale model, který si můžete stáhnout, doladit, škálovat a nasadit komerčně bez povinností vůči původnímu tvůrci.

Parametry: 48 expertů, aktivních 8 na token, kontextové okno 128 000 tokenů, podpora 23 indických jazyků plus angličtina. Trénink běžel na clusteru H100 GPU a podle autorů trval přibližně šest týdnů. Náklady odhadli na něco přes 10 milionů dolarů — což je na model této velikosti zajímavě málo, protože architektura MoE znamená, že při inferenci se aktivuje jen šestina parametrů.

Pro běžného smrtelníka je 501 miliard parametrů nepraktické. V plné kvalitě potřebujete osm GPU H100 s 80 GB paměti, tedy hardware za zhruba 250 tisíc dolarů. Ale tady přichází na scénu open-source ekosystém. Kvantizovaná verze Q4 běží na čtyřech GPU s celkovou pamětí 320 GB. A existují i menší varianty — 7B a 13B modely trénované na stejných datech, které zvládne domácí počítač.

Kolik stojí provoz vlastního modelu doma

Pojďme k praktickým číslům, protože o tomhle se v press releasch nepíše. Menší varianty si pustíte přes Ollama jediným příkazem. Model s 13 miliardami parametrů v kvantizaci Q4 zabere na disku 8 GB a potřebuje GPU s alespoň 12 GB VRAM. To zvládne RTX 3060 za 9 000 Kč nebo MacBook Pro s M3 Pro.

Chcete-li model doladit na vlastních datech, použijte LoRA — metodu, která trénuje jen malou část parametrů a snižuje paměťové nároky o řád. Trénink LoRA na 13B modelu se 100 tisíci příklady zvládnete na jedné RTX 4090 za 50 000 Kč během jednoho dne. Nástroje: HuggingFace PEFT, Unsloth (vychytaná python knihovna, která zrychluje trénink 2x), Axolotl pro konfiguraci přes YAML.

Provoz v cloudu? Už od 0,40 dolaru za hodinu si pronajmete GPU A100 na RunPodu nebo Vast.ai. Menší model v produkci tak vyjde na pár set korun měsíčně při nízkém provozu. Velká varianta Beam je hra pro firmy — náklady na inferenci se pohybují kolem 15–20 dolarů za milion tokenů při plném vytížení.

Ještě jedna věc, na kterou si dát pozor: open modely nemají vestavěné bezpečnostní filtry jako ChatGPT. To je výhoda pro svobodu výzkumu i nevýhoda, pokud model nasadíte zákazníkům bez vlastní vrstvy moderace. Řešení existují — Llama Guard, Presidio pro anonymizaci — ale musíte je tam dodatečně přidat.

Co to znamená pro Česko a proč se to netýká jen Indie

Tady je ta část, která by vás měla zajímat i v Praze. Český jazyk má na internetu podobný problém jako maithili. Korpusů je málo, kvalitních ještě méně. Přeložená pipeline — sběr, čištění, syntetická generace — je jazykově agnostická. Tým explicitně uvádí, že kód je připravený pro adaptaci na jiné jazyky. Švédsko, Holandsko nebo Japonsko už podobné národní korpusy staví. V Česku běží projekt Charles University na češtinu pro LLM, ale v řádech desítek miliard tokenů, ne bilionů.

A teď ta energetická pointa, protože tento blog se točí kolem energie. Trénink modelu za 10 milionů dolarů spotřebuje zhruba 25 GWh elektřiny. Datová centra se stávají nejrychleji rostoucím segmentem spotřeby a hledají levnou, lokální, flexibilní elektřinu. Přesně tu vyrábějí české FVE. Pokud provozujete fotovoltaiku, flexibilita může být váš nový zákazník — více o obchodování s flexibilitou a o tom, jak se do systému zapojit, najdete na SmartEnergyShare.

Paralela je silnější, než se zdá. Open-source modely decentralizují AI stejně, jak decentralizují energetiku domácí baterie a sdílení elektřiny. Ne každý si postaví vlastní jadernou elektrárnu, ale deset tisíc domácností s FVE dohromady tvoří virtuální elektrárnu. Ne každý natrénuje vlastní 500B model, ale tisíc výzkumníků s LoRA na otevřených základech dotvoří ekosystém. Pokud vás baví sledovat, jak se decentralizace derou i do energetiky, mrkněte na ElectricShare.cz a na články o sdílení fotovoltaiky na ShareElectric.cz.

Úskalí, o kterých se v press releasích nepíše

Buďme upřímní. Syntetická data jsou lákadlo i riziko. Model trénovaný na výstupech jiného modelu přebírá i jeho chyby, předsudky a "chuť" ke konfabulacím. Studie od Microsoft Research ukázaly, že model-to-model trénink bez dostatečného podílu lidských dat vede k degeneraci — tzv. model collapse. Tým to řeší kontrolou kvality a mixing racionem, ale dlouhodobá udržitelnost tohoto přístupu se teprve ověří.

Druhé úskalí: 2,8 bilionu tokenů je pořád málo na nejlepší světové výsledky. Beam v hindštině poráží GPT-4o v některých benchmarcích (MMLU v hindštině: 68 vs 72 procent v prospěch GPT-4o, ale v překladu a porozumění mluvené řeči vede Beam). V angličtině je to ale jednoznačně horší model. Open modely jsou "dobré dost" pro konkrétní jazyk, ne univerzálně nejlepší.

Třetí riziko: GDPR a lokální regulace. Pokud si model stáhnete a doladíte na zákaznických datech, odpovědnost za únik je vaše. U českých firem to znamená vyřešit, kde fyzicky běží inferenční server. Příležitost pro lokální provozovatele — a energeticky nenáročnou inferenci lze umístit i k lokálním obnovitelným zdrojům. O tom, jak může obec nebo firma energeticky optimalizovat podobné technologie, se píše v sekci energetické poradenství.

Předpověď na závěr

Za dva roky nebude výhodou mít přístup k modelu. Výhodou bude mít data. Open-source modely srovnaly první půlku hry — váhy si dnes stáhne kdokoli. Ale tréniková data, zejména pro nízk zdrojové jazyky, zůstávají vzácná. Projekty jako tato indická pipeline ukazují cestu: komunita sberedata, vyčistí je, zveřejní a modely pak vznikají levně a rychle.

Moje kontroverzní předpověď: do pěti let vznikne podobný otevřený korpus pro češtinu, a nebude ho dělat žádná velká laboratoř, ale parta nadšenců s reprlikovanou pipeline a přístupem k levné elektřině z přebytků FVE. Pokud máte fotovoltaiku a zájem o AI, sledujte aktuální spotové ceny elektřiny — trénink v době záporných cen je energetický arbitráž, o kterém se dnes učí nové generace inženýrů.

Chcete-li začít prakticky: nainstalujte Ollama, stáhněte si menší variantu modelu, spusťte ji lokálně a zjistěte, že AI nemusí být černá skříňka v datovém centru někoho jiného. To je stejná lekce, kterou energetika dostává od domácích baterií už deset let.

Zdroje

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: ElectricShare.cz Příklad výstupu EMO monitoring sidecar Vice o sáhne evropa