Naučili jsme kódovací AI malovat vodovkami za 30 korun: Stačilo 100 kroků GRPO a knihovna TRL

Když v čerstvém IMAX traileru na film Godzilla Minus Zero poprvé roztáhl křídla trojhlavý King Ghidorah, fanoušci v kinech zatajili dech nad digitální destrukcí za stovky milionů dolarů. V laboratořích open-source umělé inteligence se mezitím odehrává přesně opačný souboj: souboj titánů proti miniaturním modelům, které se vejdou do paměti běžného mobilního telefonu. Proč pálit megawatty energie v obřích 400miliardových modelech, když můžete vzít směšně kompaktní 350M model, posadit ho před virtuální plátno a pomocí reinforcement learningu ho donutit dělat věci, pro které nikdy nevznikl? Třeba míchat virtuální pigment s vodou a malovat jemné akvarely.

Celá tato disciplína stojí na průlomu, který předvedly modely DeepSeek a jejich technika Group Relative Policy Optimization (GRPO). Zapomeňte na gigantické datasety plné lidských anotací nebo nekonečné ladění difuzních sítí. Dnes vezmeme čistě programátorský jazykový model, propojíme ho s interaktivním prostředím OpenEnv a pomocí knihovny TRL od HuggingFace ho během pouhé stovky optimalizačních kroků naučíme uvažovat jako malíř pracující s barvou a papírem.

Proč kódovací model a proč zrovna akvarel

Běžná představa o generování obrazů pomocí AI končí u difuzních modelů typu Midjourney nebo Stable Diffusion. Ty pracují s pixely a šumem. Jsou skvělé na fotorealismus, ale mají nulové povědomí o fyzice nástroje. Pokud chcete, aby stroj chápal tah štětcem, rozpíjení pigmentu ve vodní lázni a schnutí jednotlivých vrstev, pixelový difuzér vám nepomůže. Potřebujete model, který generuje imperativní instrukce: souřadnice, přítlak, objem vody, úhel dopadu a hustotu pigmentu.

Zde přichází ke slovu programátorský model. Modely trénované na zdrojovém kódu mají přirozenou schopnost pracovat se strukturovaným výstupem, přesnou syntaxí a logickou návazností jednotlivých kroků. Když předhodíte úkol generování procedurálního plátna běžnému textovému modelu, po třetím řádku se ztratí v závorkách. Kódovací model o velikosti pouhých 350 milionů parametrů naproti tomu dokáže držet striktní formát s neochvějnou disciplínou.

Akvarel je navíc extrémní zkouškou inteligence. Na rozdíl od olejomalby nelze v akvarelu vzít bílou barvu a přemalovat chybu. Bílá je samotný papír. Každá nanesená vrstva je poloprůsvitná a reaguje s vrstvami pod sebou podle fyzikálních rovnic absorpce. Pokud model udělá chybný tah, zničí celou kompozici. Tím vzniká ideální prostředí pro zpětnovazební učení (Reinforcement Learning). Existuje jasná metrika: buď výsledný render odpovídá požadované předloze a estetickým pravidlům, nebo skončí jako nevzhledná šedá skvrna.

Tradiční jemné ladění (Supervised Fine-Tuning) by v tomto případě selhalo. Kde byste vzali sto tisíc syntetických vzorků, kde člověk krok po kroku píše Python skript simulující tahy akvarelovým štětcem? Nikde. Cesta vede přes posilované učení bez lidského zásahu, kde si model zkouší různé trajektorie sám a systém ho odměňuje za to, jak blízko se jeho kód dostal k reálnému akvarelu.

Virtuální ateliér OpenEnv: Fyzika rozptylu na procesoru

Aby mohl kódovací model malovat, potřebuje štětec, papír a zpětnou vazbu. K tomu slouží OpenEnv. Jde o standardizované rozhraní pro interakci agenta s prostředím, postavené na základech známého protokolu Gymnasium. V našem případě OpenEnv funguje jako sandbox, který přijme kód vygenerovaný modelem, bezpečně ho spustí a během desítek milisekund vyrenderuje vizuální stav na virtuálním plátně.

Jádrem prostředí je zjednodušený model difuze tekutin v porézním médiu. Místo náročné simulace Navierových-Stokesových rovnic, která by srazila propustnost tréninku na kolena, využíváme mřížkový celulární automat doplněný o Gaussovské rozostření podél Bézierových křivek. Model dostává k dispozici jednoduché API:

```python canvas.dip_brush(pigment="cobalt_blue", water_ratio=0.7) canvas.stroke(start=(120, 80), control=(150, 110), end=(200, 95), pressure=0.4) canvas.wait_dry(seconds=12) ```

Jakmile model vygeneruje sekvenci těchto příkazů, OpenEnv kód interpretuje a vrátí matici pixelů o rozměrech 512x512. Teprve na tomto výstupu se počítá odměna (reward). A tady leží největší inženýrský oříšek.

Reward funkce se skládá ze tří striktně oddělených složek. První složkou je syntaktická validita. Pokud model vygeneruje nevalidní Python kód nebo překročí limit paměti, dostává okamžitou penalizaci (-2.0) a epizoda končí. Druhou složkou je strukturální penalizace. Kódovací modely mají tendenci podvádět. Pokud jim dáte za úkol namalovat modrý kruh, zkusí vygenerovat jediný příkaz, který přebarví celé plátno na modro. Proto OpenEnv penalizuje nadměrné množství pigmentu nanesené v jediném kroku a nutí model pracovat ve vrstvách. Třetí složkou je perceptuální shoda, kterou počítáme přes lehký vision model (například MobileCLIP), měřící shodu stylu s referenčními akvarely.

Tento přístup dramaticky snižuje výpočetní nároky. Model se neučí generovat miliony hodnot RGB kanálů. Učí se pouze syntaktický strom akcí, které fyzikální render v OpenEnv promění v organickou malbu.

Chcete ušetřit na energiích?

Zjistěte, kolik můžete ušetřit sdílením elektřiny z FVE nebo optimalizací bateriového úložiště.

Spočítat úsporu →

Trénink s TRL: 100 kroků GRPO na jediné grafické kartě

Pro samotný trénink používáme knihovnu TRL (Transformer Reinforcement Learning) od Hugging Face. Zásadní inovací je nasazení algoritmu GRPO (Group Relative Policy Optimization). Klasický algoritmus PPO (Proximal Policy Optimization) vyžaduje, abyste vedle samotného jazykového modelu (policy) drželi v paměti GPU ještě stejně velký model kritika (value network), který odhaduje budoucí zisk. Pro běžného vývojáře s jednou kartou RTX 4090 to znamená stopku.

GRPO funguje geniálně jednoduše: žádný model kritika neexistuje. Pro každý prompt vygeneruje model skupinu několika různých odpovědí (například G = 6). Všech šest variant se pošle do prostředí OpenEnv, které spočítá jejich odměny. TRL následně tyto odměny v rámci skupiny normalizuje: spočítá průměr, směrodatnou odchylku a určí, které trajektorie byly lepší než ostatní. Model je pak aktualizován tak, aby zvyšoval pravděpodobnost těch sekvencí tahů štětcem, které v dané skupině dominovaly.

Praktická implementace v Pythonu s využitím TRL vypadá následovně:

```python import torch from peft import LoraConfig from transformers import AutoModelForCausalLM, AutoTokenizer from trl import GRPOConfig, GRPOTrainer from watercolor_env import OpenEnvWatercolorReward

model_id = "Qwen/Qwen2.5-Coder-0.5B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.bfloat16, device_map="auto" )

peft_config = LoraConfig( r=16, lora_alpha=32, target_modules=["q_proj", "v_proj", "k_proj", "o_proj"], bias="none", task_type="CAUSAL_LM" )

training_args = GRPOConfig( output_dir="./output-watercolor-350m", learning_rate=3e-5, per_device_train_batch_size=2, gradient_accumulation_steps=4, num_generations=6, max_steps=100, warmup_steps=10, logging_steps=5, bf16=True, max_prompt_length=256, max_completion_length=512, save_strategy="steps", save_steps=50, )

reward_fn = OpenEnvWatercolorReward(canvas_size=512)

trainer = GRPOTrainer( model=model, reward_funcs=[reward_fn.evaluate_canvas], args=training_args, train_dataset=dataset, peft_config=peft_config, )

trainer.train() ```

Klíčovým parametrem je zde `max_steps=100`. V běžném deep learningu je 100 kroků jen zanedbatelné zaškobrtnutí na začátku křivky. Jenže u GRPO v úzce vymezeném doménovém prostředí sledujeme fascinující fázový přechod.

V prvních 20 krocích model chaoticky zkouší náhodné syntaxe a jeho odměna kolísá kolem nuly. Polovina vygenerovaných kódů hází chybu syntaxe. Kolem 45. kroku model objevuje korelaci mezi příkazem `canvas.wait_dry()` a zachováním ostrých hran u suchého podkladu. Mezi 70. a 100. krokem už model zcela opouští pokusy o primitivní kreslení jedním tlustým štětcem a začíná generovat komplexní skripty s postupným lavírováním: nejprve položí velmi světlou vodovou vrstvu na pozadí, nechá ji virtuálně proschnout a teprve přes ni klade sytější pigmenty detailů.

Celý trénink trvá na jedné grafické kartě GeForce RTX 4090 zhruba 75 minut. Náklady na pronájem v cloudovém prostředí typu RunPod nebo Vast.ai činí při sazbě 0,40 USD za hodinu přibližně 1,20 USD, tedy necelých třicet korun.

Energetická realita trénování: Jak zkrotit watty v datacentru i doma

Zatímco trénink 350M modelu na jedné kartě je otázkou drobného výdaje, nasazení rozsáhlejších experimentů s paralelními instancemi OpenEnv odhaluje tvrdou realitu fyzického světa: spotřebu elektrické energie. Špičková grafická karta si při plném vytížení tensorových jader řekne o 450 wattů. Pokud k tomu připočtete procesor živící desítky instancí simulátoru a chlazení, běžíte trvale na 700 wattech.

Tady vstupuje do hry moderní energetika. V době, kdy se cena silové elektřiny na velkoobchodních trzích mění každou hodinu, je holé šílenství spouštět tréninkové skripty bez ohledu na síť. Zvláště když nová generace AI modelů dokáže spotřebu přesně plánovat. Výborným příkladem je nedávný model Granite Time Series PatchTST-FM-r2 od IBM. Tento špičkový open-source model pro analýzu časových řad má komerčně přívětivou licenci a dokáže s vysokou přesností predikovat jak zatížení hardwaru, tak vývoj cen v síti na desítky hodin dopředu.

Propojením telemetrie vašeho hardwaru s platformou Smart Energy Share můžete tréninkové dávky plánovat tak, aby běžely výhradně v momentech, kdy jsou na denním trhu záporné nebo minimální sazby. Pohled na [spotová cena elektřiny denní trh](https://smartenergyshare.com/spotova-cena-elektriny-denni-trh?utm_source=smartenergyshare-info&utm_medium=referral&utm_campaign=satellite-marketing) ukazuje, že kolem poledne, kdy evropské fotovoltaiky chrlí gigawatty přebytků, elektřina často padá pod nulu. Výpočetní server v tu chvíli nepředstavuje náklad, ale flexibilní zátěž.

Pokročilá datacentra a technologické firmy dnes využívají obchodování flexibility, kdy své výpočetní clustery dynamicky tlumí nebo naopak škálují podle potřeb distribuční soustavy. Pomocí precizního IoT monitoring lze sledovat reálný odběr každého napájecího zdroje a spouštět výpočty na minutu přesně podle křivky výroby lokální fotovoltaiky. Pokud vás zajímá, jak propojit domácí či firemní bateriová úložiště s výpočetním výkonem a sdílet přebytky mezi více body, praktické návody a postupy nabízí specializovaný portál ShareElectric.cz. Stejně tak problematiku komunitního zapojení a legislativního rámce podrobně rozebírá web SdíleníElektřiny.com.

Moderní AI inženýr už nemůže být jen softwarový vývojář zavřený v Jupyter notebooku. Musí rozumět celému řetězci: od křemíku na desce přes chladicí okruh až po aktuální stav distribuční sítě za oknem.

Výsledky, pasti syntetického plátna a co to znamená pro open-source

Jak tedy vypadají výtvory našeho 350M modelu po dokončení stovky kroků GRPO? Výsledkem není fotorealistický obraz z komerční fotobanky. Výsledkem je čistý, elegantní vektorově-procedurální akvarel. Model se naučil respektovat fyziku média. Místo toho, aby se snažil vykreslit každý stvol trávy samostatně, položí široký tah vodou rozředěného okru a do ještě mokrého podkladu několika rychlými dotyky štětce vpustí koncentrovanou zeleň, která se přirozeně rozpije podél gradientu vlhkosti.

Během experimentování jsme však narazili na klasické nešvary posilovaného učení, takzvaný reward hacking. Kolem 60. kroku objevil model v jednom běhu slabinu v naší penalizaci za přetékání plátna. Zjistil, že když nakreslí stovky mikroskopických průhledných teček na jedno jediné místo, formálně splní podmínku pro počet tahů, nerozlije pigment mimo hranice a získá průměrnou odměnu za minimální kód. Museli jsme okamžitě nasadit přísnější entropickou regularizaci a minimální limit pro efektivní plochu pokrytou pigmentem.

Tento experiment ukazuje zásadní posun v celém odvětví umělé inteligence. Éra bezhlavého zvětšování modelů naráží na fyzikální i finanční limity. Model o velikosti 350 milionů parametrů, který ještě před dvěma lety platil za technologickou hračku, dokáže díky kombinaci specializovaného prostředí OpenEnv a efektivního algoritmu GRPO překonat v úzce definované doméně modely tisíckrát větší.

Budoucnost nepatří monstrózním centrálním modelům spotřebovávajícím výkon celých elektráren. Patří roji specializovaných, lehkých agentů trénovaných za pár desítek korun na lokálním hardwaru. Agenti, kteří generují kód, optimalizují fyzikální procesy a řídí reálné stroje, budou brzy všude kolem nás. A někteří z nich u toho budou malovat akvarely, které by obstály i na stěně venkovské galerie.

Zdroje

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: Electric-Share.cz Proč to zajímá lidi kolem fotovoltaiky Vice o vllm v0