BlogZapiski z linije

Model ni glavni strošek

Naslednje ozko grlo je „merge review“

Moja linija agentov je med 21. septembrom in 22. oktobrom združila 103 spremembe. 23 se jih je združilo samih. Ostalih 80 je čakalo, da jih prebere človek. Modeli so za vse to stali 278 $ po ceniku (vse izmerjeno).

Ročno združevanje mi je vzelo približno 20 ur, po 15 minut na združitev (predpostavka: časa še nisem meril). Ta zapis govori o tem razkoraku. Če vodite razvoj programske opreme za naročnike, ste enak razkorak verjetno že občutili v koledarjih svojih tehničnih vodij.

Z „linijo“ mislim proizvodno linijo za programsko opremo: agente, kodo in ljudi, vsak s točno določeno vlogo. Njena pravila in spomin so v trezorju, mapi zapiskov v markdownu, v gitu. Moja linija gradi en produkt, e-šolstvo, platformo za starše, z enim operaterjem. Večina številk je iz njenih dnevnikov tekov od 21. septembra do 22. oktobra 2026, prebranih 22. oktobra.

Kako razmišlja sistem AI

Vsak model, tudi najboljši, ima omejeno kontekstno okno. V eni seji dobro sklepa: prebere kodo, načrtuje spremembo, jo napiše in razloži, kaj je naredil. Ko se seja konča, vse pozabi. Ne ve, za kaj ste se odločili prejšnji teden, njegovemu poročilu o tem, kaj je preveril, pa ne morete zaupati.

Te omejitve ne odpravi večji model. Odpravi jo sistem okoli modelov: vsako okno dobi samo tisto, kar potrebuje za en korak, svoj rezultat pa preda naslednjemu v obliki, ki jo lahko preveri koda. Ko so te predaje vsakič enake, nastanejo ponavljajoči se vzorci komunikacije med agenti, kodo in ljudmi. Povezani vzorci so procesna linija za razvoj produkta. Če linijo povežemo še z drevesom odločitev v podjetju, vsak ticket ve, katera odločitev stoji nad njim.

Agentni sistem AI je zato večinoma struktura okoli modela: datoteke, ki jih bere, načrt, ki mu sledi, agenti, ki ga preverjajo, ura, ki ga zažene, in ljudje, ki odločajo. Tam je večina inženirskega dela in, kot bom utemeljil, tudi večina vrednosti. Pisanje kode se je pocenilo. Preverjanje ne. Raziskava Faros AI iz leta 2025 je pokazala, da razvijalci v ekipah z visoko rabo AI združijo 98 % več pull requestov in da čas pregleda zraste za 91 % (zunanji vir).

To strukturo bom opisal v petih delih, od uma enega agenta do celega podjetja. Vsak del ima pravilo, ki se ga držim, in brazgotino, ki me ga je naučila.

1. Baza živi zunaj modela

Pravilo: lastni spomin modela je vir, ki mu v hiši zaupamo najmanj.

Možgani moje linije so trezor. Model si ničesar ne zapomni. Koda mu pove, kaj mora vedeti o preteklosti, in koda shrani, kar se je naučil.

Pred vsakim tekom agenta, ki uporablja spomin, mu skripta napiše povzetek z največ 150 vrsticami. Povzetek vsebuje vrstni red virov, odprta nasprotja, dejstva, ki ustrezajo nalogi, postopke, ki so se obnesli, in zadnje epizode agenta. Agent ne bere map, ampak povzetek. Spomin ima pet plasti: delovni, epizodni, semantični in proceduralni spomin ter pozabljanje. Agenti smejo dodajati epizode in predlagati dejstva. Dejstvo postane aktivno samo, če ga potrdi človek ali preverjanje na živem sistemu. Linija je 6. oktobra imela 67 aktivnih in 41 predlaganih dejstev (izmerjeno).

Ko se dva vira ne strinjata, odloči razvrščen seznam. Na prvem mestu sta zakon in podpisane pogodbe, nato dnevnik odločitev, nato arhitekturne odločitve, pravila in standardi, vse do osnutkov. Lastni spomin modela je na zadnjem mestu in nikoli ne zavezuje.

Za tem pravilom je brazgotina. Projektni spomin mojega AI-asistenta je nekoč trdil, da je odločitev še odprta. V dnevniku odločitev je bila sprejeta (zapisano). Model ni bil pokvarjen. Bil je najnižji vir v sobi in je govoril z enako gotovostjo kot najvišji.

Baza živi zunaj modela
Slika 1. Baza živi zunaj modela. Skripta vsak povzetek sestavi iz razvrščenih virov; lastni spomin modela je na zadnjem mestu in nikoli ne zavezuje.

Veščine so zapisani postopki, po eno opravilo na agenta. Pred orodji razvojnega agenta stoji hook, majhen kos kode, ki vidi vsako branje, pisanje in ukaz, preden se izvede. Hooki smejo samo blokirati. Tega me je naučilo orodje za varčevanje s tokeni: v treh dneh je že odobravalo vsak ukaz, ki ga je prepisalo, svoj hook pa je po odstranitvi znova namestilo (zapisano). Več dni tega ni nihče opazil. Hook, ki lahko reče „dovoli“, je varnostna odločitev. Moji lahko rečejo samo „ustavi“, datoteka, v kateri so registrirani, pa je agentom zaprta za urejanje.

Razvojni agent in pregledovalec povzetka sploh ne dobita. Vse, kar potrebujeta, je v ticketu. To je naslednji del.

Zapiski z linije, 1. del: 27 sekund, brez zvoka. Številke so izmerjene 22. 10. 2026, časovnica je načrt.

Na katerih modelih teče moja linija? Imenujem jih na prvem sestanku, z odprtim dnevnikom tekov. Če vodite izvedbo v IT-podjetju, rezervirajte 30 minut in poglejte, kako gre en pravi ticket skozi linijo.

Andrej Ileršič gradi linijo agentov za IT-podjetja, ki razvijajo programsko opremo za naročnike. Pred agenti: več kot deset let v sistemskem inženirstvu, DevOps in spremljanju sistemov.

Številke iz zunanjih virov: Faros AI, The AI Productivity Paradox Report 2025, objavljeno 23. julija 2025.

← Vsi zapisi