AI-agentide kasutuselevõtul ei piisa küsimusest, milline mudel on “parim”. Oluline on näha, milline mudel sobib millisele töövoo osale, kui palju see maksab, millist kvaliteeti ta annab ja kus peab inimene tulemuse üle vaatama.

Selles töötoas kaardistame inimese ja agendi töövoo ning seome selle mudelivaliku, hinna ja mõõdikutega. Eesmärk on aidata tiimil teha paremaid otsuseid: millal kasutada kiiremat ja odavamat mudelit, millal täpsemat mudelit, mida mõõta ning kuidas optimeerida ilma kvaliteeti ja vastutust kaotamata.

See on suurettevõtte triloogia teine vaade: kui töövoog on nähtav, saab valida mudelid, hinnata kulu ja mõõta, kas agent aitab päriselt või lihtsalt nihutab töö inimesele kontrolli ja paranduste kaudu tagasi.

Teemad

Mudelivaliku kaart: milline töövoo osa vajab millist mudelit ja miks
Hinna ja kasutusmahu nähtavaks tegemine: päringud, tokenid, korduskatsed, tööaeg ja käsitsi ülevaatus
Kvaliteedi mõõtmine: täpsus, kasulikkus, usaldus, paranduste arv ja inimese sekkumise vajadus
Optimeerimisotsused: kus saab mudelit vahetada, prompti muuta, töövoogu lühendada või kontrollpunkti lisada
Inimese roll: kus otsus jääb inimesele ja kus agent võib aidata mõõta, võrrelda või ette valmistada

Tulemus

Osalejad lahkuvad mudelivaliku ja kuluoptimeerimise töökaardiga: milliseid mudeleid millistes töövoo osades kasutada, milliseid mõõdikuid jälgida, kus kulud tekivad ja milliseid optimeerimiskatseid järgmisena teha. Vajadusel saab seda kasutada ka lähtepunktina eraldi mõõtmise või tehnilise optimeerimise partneri kaasamiseks.