Co vás čeká v tomto článku?
První AI projekt ve firmě nezačíná výběrem modelu. Začíná rozhodnutím, kterou jedinou činnost má smysl převést na software a jestli pro ni vůbec potřebujete umělou inteligenci.
Někdy při rozboru zjistíme, že proces má přesná pravidla. Pak je lepší klasický skript. Je levnější, neplatíte za zpracování jazykovým modelem a při stejném vstupu postupuje pokaždé stejně. AI přidávám až tam, kde je potřeba číst volný text, chápat souvislosti nebo se rozhodovat mezi více možnostmi.
Jako příklad použiji zpracování příchozích firemních poptávek. Čísla jsou ilustrační. Nejde o výsledek klienta ani příslib úspory.
Při návrhu agentů nejdřív odděluji kroky, které potřebují úsudek, od kroků s pevnými pravidly. Stejný princip používám i ve vlastním systému pro automatizaci blogu.
„Ve vlastní firmě používám přes 60 agentů. U systému pro zpracování připomínek k článkům hlídá skript, zda přibyl nový komentář a zda už byl zpracován. Tato část má pevná pravidla. Jazykový model se spustí až ve chvíli, kdy je potřeba připomínku pochopit a navrhnout úpravu. Kód hlídá jisté kroky, model řeší úsudek.“
Pavel Szabo
Potřebujete AI agenta, nebo stačí skript?
První kandidát má být ohraničená činnost s jasným výsledkem. Nestačí říct „chceme automatizovat obchod“. Potřebujete pojmenovat konkrétní práci, například „zpracovat novou poptávku, doplnit ji do CRM, tedy systému pro správu vztahů se zákazníky, a připravit obchodníkovi podklady“.
Pak rozdělte činnost na jednotlivé kroky. U každého se ptejte, zda má pevná pravidla, nebo potřebuje posoudit kontext.
| Krok | Vhodné řešení | Proč |
|---|---|---|
| Zkontrolovat povinná pole formuláře | Deterministický skript | Podmínky lze vyjmenovat přesně |
| Založit kontakt a poptávku v CRM | Deterministický skript | Jde o jednoznačný zápis dat |
| Přečíst volný text a určit, co firma potřebuje | Jazykový model | Stejný požadavek lidé popíšou mnoha způsoby |
| Spočítat termín podle kapacity týmu | Deterministický skript | Výpočet má daná pravidla |
| Navrhnout obchodníkovi další postup | Jazykový model s lidskou kontrolou | Rozhodnutí závisí na souvislostech a riziku |
Výsledkem často není čistý AI agent, ale hybrid. Pevné části drží klasický kód. Jazykový model řeší jen místa, kde by pravidla obsahovala příliš mnoho výjimek nebo kde vstup přichází jako běžný lidský text.
Tohle rozdělení má přímý vliv na návratnost. Každý krok, který zvládne skript, snižuje provozní náklady a chová se předvídatelně. Zároveň bych nesliboval stoprocentní dostupnost celého systému. Selhat mohou vstupní data, napojení na CRM nebo chyba v kódu. Rozdíl je v tom, že u deterministického kroku lze přesně určit, co se má stát, a výsledek automaticky ověřit.
Úspěchem prvního projektu nemusí být AI agent. Úspěchem je nejlevnější spolehlivé řešení konkrétní práce.
Pokud chcete zjistit, které části procesu patří do skriptu a kde má smysl AI, popište mi činnost na úvodní konzultaci. Výstupem může být i doporučení AI nepoužít.
Jaká data agent potřebuje a co má schvalovat člověk?
Agent může rozhodovat jen podle dat, která skutečně dostane. U modelové poptávky potřebuje celý text zprávy, historii komunikace, aktuální nabídku služeb, pravidla kvalifikace a správný stav kontaktu v CRM.
Největší problém nebývá formát. Jazykový model umí číst e-maily, dokumenty i volný text. Horší jsou zastaralé podklady, dvě různé verze ceníku nebo pravidlo, které zná jen jeden obchodník. Agent pak nemá z čeho poznat, která informace platí.
Ještě před vývojem proto potřebuji vědět:
- kde leží zdroj pravdy pro cenu, termíny a nabídku,
- kdo odpovídá za správnost těchto dat,
- co má agent udělat, když informace chybí nebo si odporují,
- které kroky může provést sám a které musí potvrdit člověk.
Ilustrační obrázek vytvořený pomocí AI.
Na začátku má člověk kontrolovat hlavně kroky s dopadem ven z firmy: odeslání odpovědi, vytvoření nabídky, změnu ceny, platbu, smazání dat nebo přidělení oprávnění. Interní návrh kategorie nebo shrnutí může agent připravovat automaticky, protože případná chyba má malý a vratný dopad.
Dohled ale nesmí znamenat, že zaměstnanec bez přemýšlení kliká na „schválit“. Musí mít čas výsledek posoudit, možnost ho odmítnout a jasný postup pro zastavení agenta. Jinak lidská kontrola existuje jen na papíře.
Podle dokumentu NIST AI Risk Management Framework 1.0 z roku 2023 se má rozsah dohledu řídit účelem systému, kontextem a rizikem. Prakticky to znamená: čím hůř lze chybu vrátit a čím větší škodu může způsobit, tím dřív musí rozhodnutí převzít člověk.
Pro první pilot dejte agentovi nejmenší oprávnění, se kterým dokáže prokázat hodnotu. Může například připravit návrh odpovědi, ale nesmí ji sám odeslat. Autonomii lze rozšířit později podle výsledků.
Kolik první agent skutečně stojí?
Cena modelu nebo objem zpracovaných dat je jen malá část účtu. Do rozhodnutí patří analýza procesu, příprava dat, napojení systémů, vývoj, testování, lidské kontroly, opravy, průběžné sledování provozu a dlouhodobá správa.
U mě stojí první pilot obvykle 40 až 70 tisíc Kč bez DPH podle složitosti. Provozní správa začíná na 5 000 Kč měsíčně. K tomu se přidává skutečná spotřeba modelu a externích služeb. Aktuální podmínky popisuji na stránce tvorba AI agentů na míru.
Vedle faktur dodavatele počítejte také čas vlastních lidí. Někdo musí vysvětlit proces, připravit příklady, kontrolovat první výstupy a řešit výjimky. Pokud kontrola jednoho návrhu zabere skoro stejně dlouho jako původní práce, agent zatím kapacitu neuvolnil.
Modelový výpočet návratnosti
Následující čísla jsou model, ne skutečný klientský výsledek. Firma dostává 240 poptávek měsíčně. Ruční zpracování jedné trvá v mediánu 12 minut. Při interním nákladu 600 Kč za hodinu stojí současná práce 28 800 Kč měsíčně.
Pilot ukáže, že po zavedení hybridního agenta potřebuje člověk v mediánu 5 minut na kontrolu a rozhodnutí. Lidská práce klesne na 20 hodin, tedy 12 000 Kč měsíčně. Uvolněná kapacita má v modelu hodnotu 16 800 Kč.
Pokud měsíční správa stojí 5 000 Kč a modelová spotřeba AI a dalších služeb 800 Kč, zbývá 11 000 Kč měsíčního přínosu. Pilot za 60 000 Kč by se v tomto modelu vrátil přibližně za pět a půl měsíce.
Počet hodin ale není automaticky peněžní úspora. Pokud firma nikoho neuvolní, nesníží externí výdaj ani díky rychlejším reakcím nezíská více zakázek, jde o volnou kapacitu. I ta může mít velkou hodnotu, ale ve výpočtu návratnosti ji odděluji od skutečně ušetřených peněz.
Stejný model může vyjít opačně. Při 60 poptávkách měsíčně má uvolněná kapacita hodnotu jen 4 200 Kč, tedy méně než modelové měsíční provozní náklady. V takové situaci bych projekt jen kvůli úspoře času nedoporučil. Smysl by musel prokázat jiný přínos, například rychlejší reakce nebo méně ztracených poptávek.
Ilustrační obrázek vytvořený pomocí AI.
U složitějších systémů počítám ještě s cenou chyby. Jedna špatně odeslaná nabídka může stát víc než měsíční spotřeba modelu. Proto se nevyplatí optimalizovat jen cenu jeho provozu. Jako pracovní metriku používám náklad na přijatelně dokončený případ: úplné náklady pilotu vydělené počtem případů, které splnily předem stanovenou kvalitu. Jde o modelovou metriku pro rozhodování, ne o obecně uznávaný účetní standard.
GAO Cost Estimating and Assessment Guide z roku 2020 doporučuje počítat náklady přes celý životní cyklus systému. Pro agenta to znamená zahrnout nejen vytvoření, ale také provoz, údržbu, změny a případné ukončení.
Jak poznáte, že se pilot vyplatil?
Pilot potřebuje výchozí stav a pravidla rozhodnutí ještě před spuštěním. Když je určíte až podle výsledků, snadno vyberete jen čísla, která vypadají dobře.
U zpracování poptávek bych před nasazením změřil:
- počet poptávek podle typu a složitosti,
- medián času od přijetí po první reakci,
- aktivní čas člověka na jeden případ,
- podíl případů vrácených k opravě,
- počet závažných chyb,
- náklad současného procesu na dokončený případ.
Během pilotu k tomu přidám podíl návrhů přijatých bez úpravy, čas lidské kontroly, důvody eskalací, provozní náklady a chyby, které kontrolou prošly. Samotná technická přesnost nestačí. Agent může odpovídat správně, ale pokud jeho kontrola zabere osm minut z původních dvanácti, ekonomika bude slabá.
Na stránce služby používám 3 až 5 skutečných případů jako přejímací test před předáním. To ověřuje, že agent zvládne domluvenou funkci na reálných datech. Není to vzorek, ze kterého lze spolehlivě určit návratnost. Tu ukáže až provoz na dostatečně pestré sadě běžných i okrajových případů.
Neexistuje univerzální počet případů ani pevná délka pilotu. Potřebný rozsah závisí na četnosti procesu, rozmanitosti vstupů a ceně chyby. Jinou jistotu potřebuji u interního shrnutí a jinou u agenta, který připravuje cenovou nabídku.
Tři možné výsledky pilotu
- Rozšířit: kvalita drží, závažné chyby nepřekročily domluvený limit, kontrola nezrušila očekávanou úsporu a úplné náklady dávají smysl.
- Upravit: přínos je vidět, ale chyby se soustřeďují do konkrétního typu případů nebo agent vyžaduje příliš mnoho zásahů člověka.
- Zastavit: proti současnému postupu není prokazatelné zlepšení, riziko zůstává vysoké nebo kontrola spotřebuje většinu získané kapacity.
V mé praxi se objevuje i čtvrtý výsledek: část pilotu převedeme z jazykového modelu na deterministický skript. Po prvních týdnech už známe výjimky a zjistíme, že některá rozhodnutí lze popsat pevnými pravidly. Systém je pak levnější a předvídatelnější.
Autonomii rozšiřuji postupně jen u nízkorizikových a vratných interních kroků. U odpovědí zákazníkům, nabídek, změn cen, plateb, mazání dat a změn oprávnění nechávám lidské schválení i po pilotu. Po každé změně modelu, nástroje nebo oprávnění systém znovu ověřuji.
Pokud zvažujete prvního agenta, přineste na úvodní hovor jednu činnost, několik skutečných vstupů a přibližný čas, který dnes zabírá. Řeknu vám, co má řešit skript, kde dává smysl jazykový model a podle čeho pilot vyhodnotit. Domluvte si konzultaci online.
Co si z článku odnést?
- Nejdřív zjistěte, zda proces potřebuje jazykový model. Pevná pravidla patří do levnějšího deterministického skriptu.
- První pilot musí mít ohraničený výsledek, dostupná data a předem danou lidskou kontrolu.
- Do nákladů započítejte vývoj, integrace, provoz, kontrolu, opravy i cenu chyb.
- Přejímací test ověřuje funkci. Návratnost musí potvrdit širší provozní data.
- Výsledkem pilotu může být rozšíření, úprava, zastavení nebo přesun části práce z AI do klasického kódu.
Časté otázky
Musí první firemní automatizace používat AI?
Nemusí. Pokud lze všechny kroky popsat pevnými pravidly, deterministický skript bývá levnější, rychlejší a snáz ověřitelný. AI se hodí do míst, kde je nutné chápat volný text, kontext nebo nejednoznačnou situaci.
Jaký proces je vhodný pro prvního AI agenta?
Proces musí mít jasný výsledek, dostupná data a dost případů, aby šel přínos změřit. Pro první pilot pomáhá také omezený dopad chyby a možnost nechat citlivé kroky schválit člověkem.
Jak dlouho má pilot běžet?
Univerzální délka neexistuje. Pilot má pokrýt běžné případy, výjimky a dostatečný objem pro srovnání se současným stavem. U častého interního procesu to může být kratší než u vzácné činnosti s vysokou cenou chyby.
Kdy může agent pracovat bez člověka?
Bez člověka může agent po ověření provádět nízkorizikové a vratné interní kroky. Výstupy s dopadem ven z firmy schvaluje člověk. Firma má zároveň průběžné sledování provozu, omezená oprávnění a možnost systém zastavit.
Jak se počítá návratnost AI agenta?
Porovnejte současný proces s výsledkem pilotu. Započítejte ušetřený čas, skutečně snížené výdaje nebo vyšší výkon a odečtěte vývoj, provoz, lidskou kontrolu, opravy a očekávané náklady chyb. Uvolněná kapacita není automaticky peněžní úspora.
Kolik stojí první AI agent?
U mě stojí první pilot obvykle 40 až 70 tisíc Kč bez DPH podle složitosti. Správa běžícího řešení začíná na 5 000 Kč měsíčně, k tomu se platí skutečná spotřeba modelu a dalších služeb.
Zdroje a další čtení
- NIST AI Risk Management Framework
- Anthropic: Building effective agents
- Anthropic: Demystifying evals for AI agents
- GAO Cost Estimating and Assessment Guide
- Co je AI agent a jak funguje
- Automatizace procesů v podnikání
Stavím firmám AI agenty a automatizace na míru
Pavel Szabo
Programátor webů, eshopů a informačních systémů s více než 23 lety praxe. Pomáhám firmám i jednotlivcům s online podnikáním, automatizacemi a využitím AI v praxi.
