На захист метрики витрачених токенів: adoption vs delivery
Ви, напевно, бачили подібні меми або читали жарти про абсурдність метрики кількості токенів, витрачених співробітниками компанії. Хочу трохи вкинути на вентилятор і почеленджити думку про повну безкорисність цієї метрики.
Навіщо нам взагалі метрики? Щоб вимірювати й контролювати певний процес. Особливо процес, який перебуває на етапі раннього впровадження. Досить очевидно, що хороша метрика має вимірювати цінність процесу (outcome, а не output). І з цієї точки зору метрика кількості витрачених токенів справді виглядає абсурдною. Адже абсолютно незрозуміло, на що саме були витрачені токени і чи принесло це хоч якусь користь. Можна легко стати чемпіоном за цією метрикою, зламавши практики кешування контексту, на яких тримається вся економіка в агентному циклі.
Давайте подивимося на процес впровадження AI в організації трохи з іншого боку і розділимо його на 2 етапи:
- Adoption. Масове ознайомлення співробітників з AI-інструментами та старт їх практичного використання.
- Delivery. Оцінка використання AI і тюнінг для досягнення максимальної користі для організації.
Навіщо нам ці етапи? Тому що нові практики можна впроваджувати або в глибину, або в ширину. В глибину — це коли ми якісно налаштовуємо практику в одній команді чи проєкті, потім у другій, третій і далі масштабуємо досвід на всю організацію. В ширину — це коли ми одразу намагаємося запустити нову практику максимально широко в організації, а потім донастроюємо її емпірично на основі отриманого досвіду.
Перший підхід дешевший і надійніший, але значно довший у часі. Другий набагато швидший, але суттєво дорожчий і ризикованіший.
З AI основним фактором є час. Усі бояться запізнитися й відстати від глобальної революції. Тому формат «у глибину» можуть дозволити собі невеликі організації. А великі змушені йти «в ширину». І тоді наші 2 етапи стають дуже очевидними, а для них потрібно придумати метрики для вимірювання й контролю.
Для етапу adoption важливо розуміти, що досягнута максимальна ширина, і на другому етапі у людей не буде відмовок щодо того, що до них ще просто не дійшли зміни. Тому метрика кількості витрачених токенів ідеально підходить для цього етапу. Вона дозволяє:
- Знайти тих, хто чинить опір новій реальності й не готовий адаптуватися.
- Зрозуміти, хто не готовий інвестувати у власне навчання та використовує AI-інструменти неефективно.
- Знайти потенційні острівці інновацій і дослідити їх на предмет генерації цінності.
- Взяти під контроль на ранньому етапі масове використання LLM API та побудувати ефективну інфраструктуру.
- Трохи струснути організацію глобальною метрикою. Це особливо важливо для повільних enterprise-організацій.
Дорого? Однозначно! Може інтерпретуватися по-різному? Так і буде! Зате максимально швидко і на всю ширину організації.
А далі починається етап delivery, на якому можна брати конкретних людей, команди, проєкти й тюнити використання AI для досягнення максимальної цінності. Але це вже зовсім інша історія зі своїми метриками…