Cíl není odpovědět na všechno
Než cokoliv začnu, musím říct jednu věc, která mi to celé vyjasnila. Cílem není, aby AI odpověděla na všechny maily. Cílem je, aby neodpověděla špatně. AI, která vyřeší šedesát procent a u zbytku se přizná, že neví, je výhra. AI, která odpoví na všechno, ale ve třetině napíše nesmysl, je katastrofa, každý ten nesmysl mě stojí důvěru zákazníka. Celý ten projekt je o tom naučit AI, kdy mlčet.
1) Vezmu vlastní poštu
První krok je banální. Stáhnu si stovky reálných mailů ze své podpory. Ne smyšlené ukázky, moje vlastní, z minulosti. Je v nich všechno: jak se zákazníci ptají i jak jsem jim odpovídal. Tenhle materiál má každý zdarma ve své poště.
2) Roztřídím podle toho, co v nich je
Druhý krok je třídění. Otevřu maily a dávám je do hromádek podle toho, o čem jsou. Dotaz na objednávku, reklamace, dotaz na produkt, změna adresy, B2B faktura. Kategorie si nevymýšlím dopředu, vznikají samy tím, jak procházím poštu. Když vidím deset podobných mailů, vznikne hromádka. Kategorie přicházejí z dat, ne z hlavy.
3) Z každé hromádky udělám vzor
Třetí krok je z každé hromádky vytáhnout vzor. Pár reprezentativních ukázek „otázka → moje odpověď", dvě tři věty pravidel, co v té situaci dělám a co nedělám. AI dostane balíček a má z něj kopírovat. Nepíše z hlavy, píše podle vzoru.
A důležité: kategorie, pro kterou ještě nemám vzor, zůstává zakázaná. AI ji nechá ležet a počká na mě. Lepší ticho než výmysl.
4) Otestuju na mailech, které AI ještě neviděla
Pak přijde testování. Jak poznám, jestli to funguje? Vezmu další várku mailů, které AI ještě neviděla, ale o kterých já vím, kam patří. Nechám AI hádat a porovnám její odpovědi s tím, co bych napsal já. Vyjde řekněme sedmdesát procent.
Sedmdesát procent samo o sobě nic neznamená
Je sedmdesát procent dobrý výsledek? Sama o sobě je to číslo k ničemu. Záleží, co se skrývá za těmi zbývajícími třiceti procenty.
Když většinou AI správně řekla „nevím", je to v pořádku, pošlu je sám. Když ale ve třiceti procentech s jistotou napsala blbost, je to problém.
Měřím proto dvě věci zvlášť:
- Kolik mailů AI zvládla
- Kolikrát odpověděla špatně s jistotou
To druhé číslo musí být skoro nula.
Reálné rozložení v praxi
Když si maily rozdělím, vyjde mi něco jako:
- Čtvrtinu vyřeší AI sama
- Čtvrtinu připraví draft a já jen odkliknu
- Polovinu si vezmu sám
A to je úplně v pořádku. Cíl není, aby AI dělala všechno. Cíl je, aby ta první čtvrtina šla beze mě.
Vylepšování bez programování
A teď to nejhezčí, jak to zlepšit. Bez programování, bez modelů. Vezmu maily, kde AI selhala, a téměř vždycky v tom najdu vzor. Skoro nikdy to není „AI je hloupá". Většinou je to jedna situace, na kterou jsem zapomněl mít kategorii. Nebo kategorie s málo ukázkami. Nebo pravidlo, které jsem nezdůraznil dost jasně.
Konkrétní příklad z praxe
Test ukázal, že AI si plete žádost o změnu adresy a změnu výdejního místa. Přidal jsem do slabší hromádky pět dalších ukázek z minulých mailů. Spustil test znova. Záměna zmizela. Žádný kód, jen pět zkopírovaných mailů.
Když AI v reklamacích občas požaduje fotku, ale já bych ji nikdy nepožadoval, dopíšu do pravidel jednu větu: „fotku nikdy nežádej". Stejně jako bych řekl nové kolegyni. A spustím test znova. Vyjde osmdesát dva procent.
Co jsem se naučil
- Nezačínat tabulkou kategorií, ale poštou — kategorie ať vzniknou z mailů, ne z hlavy.
- Vzor je víc než pravidlo — tři reálné ukázky naučí AI víc než stránka instrukcí.
- Sedmdesát procent není konec, je to startovní čára.
- „Nevím" je funkce, ne porucha.
- Vylepšování není programování. Je to čtení mailů a přidávání ukázek.
Shrnutí
Nepotřebujete strojové učení, modely ani datový tým. Potřebujete svoji vlastní poštu, hodinu na třídění a trpělivost doplnit, co AI netrefila. A smířit se s tím, že dobrá AI je ta, která ví, kdy mlčet.