Musím se přiznat k něčemu ostudnému. Mám pocit, že jsem skutečný imposter.

Ne někdo s imposter syndromem, ani ne jako ve “fake it until you make it”, protože nedělám žádné pokroky, ne s tímhle imposterským přístupem. To na co mám podezření je skutečné imposterství.

Mluvím o tom, že se ve své primární a především sekundární práci vydávám za bioinformatika, jsem některými lidmi nazýván a evidentně i považován za bioinformatika. Leč, v porovnání se skutečnými bioinformatiky mi schází velmi značné množství skutečných relevantních skills. Dalo by se říct, že jsem byl kdysi na cestě k získání skutečných relevantních skills, ale mnohé jsem nakonec nedostal vyloženě pod kůži, protože když jsem byl na té cestě, stala se taková jedna věc. Ta věc se jmenuje generativní umělá inteligence, nebo také velké jazykové modely, LLM. A ta mi uštědřila jednu ránu osudu: místo abych byl nucen používat svůj mozek, dodržovat syntax, číst dokumentaci a z ní vyvozovat co a jak kde zakomponovat do intrikátního systému svého kódu, LLM to v sérii mžiků pod vedením mých postupných instrukcí vymyslely samy. Samozřejmě že jsem si po cestě lecos osvojil, dokonce bych si troufl tvrdit, že jsem ke svému zločinu přistupoval aspoň s určitou pokorou, ale… prostě jsem některé věci dotáhl do konce tímhle způsobem a lidé, kteří ty věci po mně chtěli, mi dodnes nedali najevo, že by bylo něco v nepořádku. Prostě mi to prošlo a nadále prochází.

Samozřejmě že existují daleko tragičtější případy. Výkonní ředitelé, kteří nutí používat generativní umělou inteligenci zkušené ajťáky a vyhazují ty, kteří kladou odpor. Lidé kteří propadli AI psychóze, nebo do ní outsourcují všechno své přemýšlení, ti, z kterých si právem děláme srandu (Petr Ludwig nemůže zůstat nezmíněný). Když poslouchám nesmírně zábavné hejty Edy Citróna (o kterém jsem už psal), sice se bavím, ale trocha hanby vždycky ulpívá i na mně. Ostatně, můj způsob využívání LLM Eda Citrón šmahem odsuzuje prakticky ve všech rovinách, tedy spíše v mezičasech kdy kritizuje obchodní neudržitelnost, plýtvání s energiemi, environmentální a socioekonomické dopady LLM.

Právě proto jsem v poslední době instinktivně hledal nějaké stéblo konceptu uměřeného postoje k LLM, někoho kdo by dokázal zůstat kritický a zároveň otevřený smysluplnému využívání této technologie. Tímhle člověkem se možná ukázal být Cory Doctorow, spisovatel, novinář, aktivista v oblasti liberalizace autorského práva. Není to zdaleka nikdo ze skupiny AI boosterů, naopak jsem ho už dříve zaznamenal v okolí Edy Citróna, neboť on je tím, kdo prosadil slovo “enshittifikace”, na kterém Eda často stavěl své vášnivé monology, dokonce si toto slovo dal Doctorow jako první slovo titulu své nedávné knihy. Cory Doctorow také stojí na stejné straně pomyslné barikády s Edou Citrónem, když uznává existenci a očekává prasknutí AI bubliny, jež z finančního hlediska ošklivě poškodí běžné lidi. 

A právě u něj jsem narazil (v rozhovoru pro Kepler’s Books) na formulaci, která se trefila přesně do toho, kvůli čemu mám špatné svědomí. Ohledně programování s pomocí AI, ne-li vibecodingu, Cory Doctorow pronesl, že mu vyvolává asociace s HyperCard a Visual Basicem, nástroji, které ho nadchly proto, že mu napřímo umožnily vytvořit si nějaké řešení pro svou potřebu. Podotkl také, že je bezpochyby lepší rovnou vyřešit svůj problém, než s někým konzultovat své potřeby skrzevá vrstvy interpretace, což je přesně něco, co se děje, pokud něco chcete od schopného ajťáka, leč… ajťáka.

Zásadní rozdíl mezi Edou Citrónem a Corym Doctorowem je v tom, že Eda míchá svou validní ekonomickou kritiku AI firem a pohrdání (některými) uživateli LLM do jednoho produktu, a způsob, jakým to podává, působí přesvědčivě. Doctorow naopak explicitně rozlišuje. V zářijovém sloupku (macatém sloupci) pro magazín Locus explicitně jmenoval, co je na LLM špatné a co nutně není. AI firmy přesvědčující šéfy, aby vyhodili své zaměstnance a nahradili je svými produkty, sázka celé ekonomiky na AI, environmentální dopady, slop, dezinformace a deepfaky, to vše je špatné. Odmítání technologie statistické inference, probabilistické podstaty jazykových modelů, nebo to že se vám nelíbí, jak AI někde použil někdo jiný? To už je přinejmenším nejednoznačné. Doctorow také odmítá argument “plodu z jedovatého stromu”: stejně tak jako LLM bychom z morálního hlediska mohli odmítat mikročipy kvůli osobě Shockleyho, dálnice kvůli Hitlerovi, a on sám optické kabely, které u jeho bydliště položila problematická firma, jak uvádí mezi svými příklady. 

Zůstává ale druhá etická otázka: i kdyby nebyl problém původ nástroje, nepodílím se svým používáním na nafukování bubliny? Pro představu, před rokem měl celý AI sektor výdaje kolem 700 miliard dolarů, dnes přes 1,4 bilionu, a podle odhadů Gartneru to do konce roku má být 2,4 bilionu proti celosvětovým ročním tržbám sektoru ve výši zhruba 50 miliard. Ten rozdíl rozhodně nevytvořila předplatná jednotlivců, ale pár desítek lidí, kteří pod vlivem hype dělají rozhodnutí se skutečným dopadem na ekonomiku. Můj podíl na ní je, řekněme, infinitesimálně malý.

Jaký pohled na dopad na jednotlivé uživatele a zaměstnance nabízí oproti Edovi Citrónovi Cory Doctorow? Jeho trademarkový koncept je kentaur vs. reverzní kentaur. Být kentaurem má své výhody, má lidskou horní polovinu těla a místo nohou silné, neúnavné a rychlé tělo koně. Odrazem kentaura v technologiích je jízda na kole, ale také využití spell checkeru, IDE, nebo debuggeru. Reverzní kentaur už tak super není, a jeho odrazem ve světě technologií je člověk ovládaný algoritmy, typicky nějaký nekvalifikovaný pracovník, jako řidič doručovací služby, který plní úkoly zadávané stroji a stroje na něj i dohlíží. V případě kentaura se díky technologiím zlepšuje kvalita produktu, v případě reverzního kentaura jen throughput.

Chtěl bych věřit, že dokud do toho já osobně dávám to srdíčko, resp. svou expertízu, nebo aspoň snahu ji nabýt, můžu být díky LLM kentaurem, dokud vědomě ovládám to, co dělá spodní koňská půlka. Jakmile se dostanu do stavu, kdy např. ještě plně nechápu, co se po mně chce a vrhám se přesto do projektu zbrkle a bez přípravy, situace se náhle proměnila a je ze mě náhle reverzní kentaur ve vleku halucinací LLM, snažícího se zoufale, leč přesvědčivě, uhádnout, co po něm asi tak můžu chtít (tohle už není Doctorowova představa reverzního kentaura, ale moje dosazení jeho příměru na moji situaci). V pozici kentaura je vysoká šance, že projekt povede k smysluplnému cíli. V pozici reverzního kentaura při dnešních schopnostech LLM může dost dobře vzniknout nějaký funkční výsledek, problém je, že tvrdit pak cokoli o jeho autorství je morálně prakticky neúnosné, zároveň ale nesu odpovědnost za problémy s jeho fungováním.

Cory Doctorow také popisuje zvláštní paradox. Existují dvě skupiny kvalifikovaných pracovníků, kteří se s LLM při své práci nevyhnutelně setkali. Jedna skupina reaguje nadšením, protože tahle technologie jim v jednu chvíli začala připadat jako nejlepší možné usnadnění jejich práce, které si mohli přát. Druhá skupina tutéž technologii vidí jako nejpříšernější morovou ránu, kterou jejich odvětví mohla zasáhnout, způsobující naprostý kolaps kvality jejich pracovního života i výstupů jejich práce. Obě skupiny popisují dopad téhož, ale první skupina si vlastní cestičkou osvojila používání LLM způsobem, který jim vyhovuje, kdežto druhá se stala svědky šílených manažerských rozhodnutí vedoucích k hromadnému propuštění a nutnosti používat nástroj, který jim nevyhovuje, a trpět při pohledu na jeho výstupy při jejich kontrole. Rozdíl evidentně není v nástroji, ten je pro obě skupiny stejný. Rozdíl je v tom, pro koho v tu chvíli nástroj pracuje a na koho to dopadá.

Rozdíl oproti Edovi Citrónovi je, že od něj uznání existence první skupiny uslyšíte jen s velkými výhradami a evidentně není objektem jeho zájmu. Cory Doctorow zkušenostem první skupiny zdá se věří. Věří tak i mojí zkušenosti, kdy do projektu vkládám svou expertízu a to co outsourcuji je datlování custom syntaxe v Pythonu, R, či shell scriptu. Ve sloupku pro Locus zprostředkoval zrovna takovou pozitivní zkušenost svých přátel statistiků, kterým LLM výrazně pomáhají kvalitním, spolehlivým kódem, který řeší jejich skutečné problémy. Tedy, že tohle lze slyšet od lidí, kteří jsou v zásadě ten samý případ jako “skuteční bioinformatici”, které jsem vzýval v úvodu, lidé kteří už ty “správně” získané skills mají. Už jsem na takové lidi narazil v nedávné době i ve svém bezprostředním okolí. V tom samém textu navíc sám Doctorow přiznává, že na svém vlastním stroji používá chatbota na kontrolu svých textů, citlivějšího než běžný spell checker, byť za cenu falešně pozitivních hlášení, která ale Doctorow coby kentaur dokáže odstínit.

Na druhou stranu, abych tu neprezentoval Cory Doctorowa jen jako někoho, kdo snad nadšeně obhajuje vibecoding či co, tak to úplně není. V rozhovoru pro Kepler’s Books se k tomuto tématu dostal i z kritické stránky se zdůrazněním, že kdokoli, kdo chce produktivně používat LLM k vibecodingu za účelem poskytnout nějaký produkt klientovi, musí být schopen kód zhodnotit. Důvody, které k tomu existují, jsou často nesamozřejmé, a jedním z učebnicových příkladů je slopsquatting, který zase uvádí v interview pro Novara Media: situace, kde tvůrci malware využívají toho, že LLM použije špatný název knihovny kvůli nějakému souběhu okolností (v knihovnách a jejich přejmenovávání a slučování panuje v průběhu let standardní provozní bordel). Pokud něco takového nastane, vibecoder to s pravděpodobností hraničící s jistotou přehlédne, LLM k tomuto omylu narozdíl od skutečného codera může dospět opakovaně či s téměř železnou pravděpodobností. Popravdě ale, tato chyba není snadno odlišitelná od správného kódu, skutečný programátor ji tedy nejspíš přehlédne také, protože to je lidské.

Ostatně, argument bezpečností je u vibecodingu vždy ten, který od kritiků dorazí jako první. Uznale u toho pokývám hlavou, ale na část mé práce prostě nesedí. Stojí za to rozlišovat. Jednorázový skript, abych se prokousal daty, a jehož výstup si vzápětí sám prohlédnu, má vysokou toleranci k chybě: když nefunguje, nefunguje viditelně, a když funguje špatně, dopadne to na mě. Jinou situací už je výsledek, který skončí v publikaci nebo ve výstupu pro někoho dalšího, tam už tolerance k chybě klesá a moje kontrola musí být lepší než “vypadá to rozumně". A úplně jinde je webová aplikace, kterou používá někdo další a nebo dokonce pracuje s citlivými daty. Tam je argument bezpečností naprosto na místě a moje kompetence na to patrně nestačí. Pro účely, které potřebuji pro usnadnění své práce, je typicky zásadní spíše kontrola výstupů. Pokud jsem je schopen zhodnotit, vím pak maximálně to, co jsem použil za nástroje, co který zhruba dělá, a jak vypadá moje pipeline, a to mi pak může stačit. Dokud jsem schopný postupně kontrolovat to, co vzniklo, jak kód tak výstup, abych na konci neodevzdal nesmysl, jsem podle Doctorowa možná stále ještě kentaur, jak naznačuje v rozhovoru pro Novara Media. Naopak situace, kdy kentaurem nejsem, vyjmenovává ve sloupku pro Locus: když o tématu vím tak málo, že ve shrnutí analyzovaného textu od LLM nejsem schopný najít evidentní chybu, a ve světě programování tehdy, když o počítačích vím tak málo, že zprovozním vibecodovanou aplikaci, která v mém počítači napáchá neplechu nebo exponuje citlivá data na internetu. Už se mi stalo, že jsem odevzdal zavádějící výstup, ke kterému jsem dospěl vlivem přesvědčivé halucinace LLM. Je to hloupé, ale je také přirozené, že dokud to člověk nezažije, nemá tendenci si dávat takový pozor.

A teď zásadní otázka, co se stane, až bublina praskne? Budou LLMs pryč, a já náhle bez možnosti je používat, bez spodní (nebo horní, pokud se zapomenu) půlky kentaura? Eda Citrón se na odpověď na tuto otázku příliš nesoustředí, Cory Doctorow na ní odpovídá skrz srovnání s dot-com bublinou. Prasknutí dot-com bubliny bylo v něčem destruktivní, v něčem produktivní, jako v zlevnění hardwaru a vzniku webu 2.0, a něco podobného Doctorow očekává dle svého vyjádření v rozhovoru pro Kepler’s Books i po prasknutí AI bubliny. Slibuje si od ní zlevnění GPU, větší trvanlivost hardware, dobře využitelné open source modely. Argumentuje krátkým zábleskem krize, který nastal po zveřejnění DeepSeeku, jejž v Číně vybudovali s pomocí starších čipů, a přesto fungoval tak dobře, že Nvidia během jednoho dne přišla o 600 miliard dolarů tržní hodnoty.

Občas Doctorow nabídne i konkrétnější představu toho, jak bude technologie LLM vypadat po prasknutí bubliny, jako třeba ve sloupku pro Locus: bude k dispozici levný hardware z konkurzních výprodejů, hodně nezaměstnaných AI expertů a otevřené modely, které už byly vydány a které bude nadále možné používat a vylepšovat. Já si vždy kladl otázku, zda cloudové služby typu Claude budou nadále vůbec provozovány, a stejně tak mi nebylo jasné, zda všechna ta datacentra mají nějakou smysluplnou budoucnost: koupí je někdo jiný, stejně jako serverovny po dot-com bublině? Možná ano, alespoň to tedy je levnější a tedy i pravděpodobnější, než že bude někdo nadále provozovat trénink a inferenci nových modelů. Eda Citrón rád zdůrazňuje cenu, za kterou budou služby LLM nabízeny, ta totiž bude muset být nevyhnutelně vyšší, k čemuž mu přizvukuje i Cory Doctorow, a dodává k tomu jedno vysvětlení: takové peníze nejde získat jinak než slibem, že nakonec každou práci sežere chatbot, do té doby se výpočetní výkon prodává se slevou, kterou sám popisuje jako prodávání stodolarovek po dolaru. V rozhovoru s Jonem Stewartem Doctorow popisuje, jak společnost OpenAI zvažovala zvýšení ceny za tyto “stodolarovky” z 1 na 5 dolarů. Ředitelé firem, kteří tuto dotaci využívali, prohlásili, že při ceně 5 dolarů se jim už nevyplatí. Nejde tedy o to, že by ceny vzrostly stonásobně, ale o to, že nabízená hodnota nemusí ustát ani pětinásobné zdražení.

O kolik přesně se zdraží, se odhadnout nedá. Ať tak či onak, provozovat šílený roj agentů pak nejspíš bude dost nóbl koníček, něco jako let tryskáčem přes celý kontinent. Pro někoho jako je Standa ze STANDASHOW, který provozuje webovou televizi a dle svých vlastních slov si platí Claude Pro, ChatGPT Plus, Firecrawl, Elevenlabs, OpusClip, Gemini API, Tesla FSD a Cursor dohromady za dotovaných 17 600 Kč měsíčně, aby tím dle svých slov nahradil jeden ks programátora, bude pak třeba výhodnější platit si toho programátora, pokud tedy najde někoho ochotného převzít dílo vytvořené AI agenty.

Modely bude ale také nadále možné provozovat na vlastním železe, nebo díky nadšencům ve sklepeních akademických institucí (jednoho takového jsem naživo viděl a ano, dělá to pro vybrané členy fakulty už teď). Popravdě mám pocit, že pro moje standardní účely to stačí. Vylepšování modelů se pak může spíše odehrávat právě v takovém prostředí, za otevřené spolupráce, spíše než za zavřenými dveřmi firem hnaných neudržitelným závodem investorů ke dnu. 

Doctorow v textu pro Locus oproti kritikům uklidňuje, že AI není výjimečná. Není výjimečně nebezpečná, není výjimečně zlá, ale ani výjimečně užitečná či dobrá. Podle něj, kdyby nebylo investiční bubliny a zahlcení internetu AI slopem, říkali bychom těmhle věcem prostě pluginy, jako mnoha jiným pluginům do textových editorů za posledních několik dekád. S tím rozdílem, že žádný z nich v nikom nevyvolal potřebu vsadit na něj světovou ekonomiku, ani vyházet všechny pracovníky ze svých pozic a nahradit je LLM.

Když se tedy vrátím k svému pocitu hanby, není to jednoduché a Cory Doctorow mi nenabízí kompletní vykoupení, moje morální dilema ohledně srovnávání se se “skutečnými bioinformatiky” a hrozby odevzdání špatného výstupu je můj vlastní boj. Nabízí mi ale aspoň částečný pocit klidu, že v tom nejsem sám, není to morální selhání, možná dokonce můj způsob adaptace technologie není hloupý ani nelogický. Cory Doctorow gets me through.