Jak ocenić jakość odpowiedzi AI w procesie firmy
Jak ocenić odpowiedzi AI w realnym procesie: oczekiwany wynik, poprawność, kompletność, powtarzalność, zatwierdzenie przez człowieka, eskalacja i zapis.
Jakość odpowiedzi AI w procesie firmy ocenia się na prawdziwych przykładach, według z góry ustalonych kryteriów: czy wynik jest poprawny faktycznie, kompletny, powtarzalny i zgodny z oczekiwanym formatem, oraz czy człowiek może go zatwierdzić albo przejąć sprawę. Bez takiej oceny nie wiadomo, czy AI pomaga, czy tylko wygląda przekonująco.
Zacznij od oczekiwanego wyniku
Zanim ocenisz odpowiedzi, opisz, jaki jest dobry wynik: format, zakres, ton, czego nie może zawierać. Najlepiej przygotować kilkanaście prawdziwych przykładów z procesu, razem z odpowiedziami, które uznałby za poprawne właściciel procesu. To zestaw wzorcowy, do którego porównuje się wyniki AI, także po zmianie modelu lub instrukcji.
Kryteria oceny
| Kryterium | Pytanie | Jak sprawdzić |
|---|---|---|
| Poprawność faktów | Czy informacje są prawdziwe i zgodne ze źródłem? | Porównanie ze źródłem, odnośniki do dokumentów |
| Kompletność | Czy zawiera wszystko, co potrzebne? | Lista wymaganych elementów dla danego typu sprawy |
| Powtarzalność | Czy podobne wejście daje podobny wynik? | Ten sam przypadek uruchomiony kilka razy |
| Zgodność z formatem i tonem | Czy pasuje do zasad firmy? | Szablon i przykłady dobrego wyniku |
| Bezpieczeństwo | Czy nie ujawnia danych ani nie obiecuje zbyt wiele? | Lista zakazanych treści, przegląd próbek |
Zatwierdzenie, eskalacja i zapis
- Zatwierdzenie przez człowieka: dla działań o istotnych skutkach człowiek sprawdza wynik, zanim zadziała.
- Eskalacja: gdy brakuje danych, pewność jest niska lub sytuacja wykracza poza opisane przypadki, sprawa trafia do człowieka z kontekstem.
- Ścieżka audytu: zapisujemy wejście, odpowiedź AI, decyzję człowieka i poprawki. Poprawki są materiałem do ulepszania zestawu wzorcowego.
Szerzej o organizacji nadzoru: Człowiek w pętli.
Prosty proces oceny
- Zbierz przykłady z prawdziwego procesu i odpowiedzi uznane za poprawne.
- Uruchom AI na tych przykładach i oceń według kryteriów.
- Zanotuj typy błędów (fakty, braki, ton) i popraw instrukcje lub dane.
- Powtórz po każdej zmianie modelu, instrukcji lub danych.
- Po uruchomieniu regularnie przeglądaj próbkę wyników i poprawek.
Kiedy takiej oceny nie da się zrobić
Jeśli nie da się określić, co jest dobrym wynikiem, albo błąd byłby kosztowny i nieodwracalny, AI powinno tylko przygotowywać dane, a decyzję podejmuje człowiek. Podobnie, gdy nie ma właściciela procesu, który oceni odpowiedzi.
Przykład
Firma chce, by AI przygotowywało szkice odpowiedzi na zapytania. Zestaw wzorcowy tworzą wcześniejsze zapytania i odpowiedzi uznane za dobre. AI ocenia się pod kątem poprawności faktów, kompletności i tonu, a każdy szkic zatwierdza człowiek, który może go poprawić. Poprawki wracają do zestawu. To ilustracja podejścia, nie opis wdrożenia klienta.
Najczęstsze błędy
- Ocena „na oko”, po kilku udanych próbach.
- Brak zestawu przykładów, więc nie widać skutków zmian.
- Brak zapisu poprawek.
- Uznanie pewnego tonu odpowiedzi za dowód jej poprawności.
Więcej o AI w firmach: AI dla firm, agenci AI i automatyzacja procesów. Przed wdrożeniem agenta zobacz: pięć pytań przed wdrożeniem.
Jak zmieniać wymagania w czasie
Zestaw wzorcowy nie jest dokumentem na zawsze. Gdy w procesie pojawia się nowy typ sprawy albo zmieniają się zasady firmy, dodaje się nowe przykłady i aktualizuje kryteria. Po każdej zmianie modelu, instrukcji lub danych uruchamia się zestaw ponownie i porównuje wyniki z poprzednimi. Dzięki temu widać, czy zmiana poprawiła jakość, czy ją pogorszyła w obszarze, którego nikt nie sprawdził.
Co robić z błędami
- Błędy faktów: sprawdź dane i źródła, które dostaje AI, zanim zmienisz cokolwiek innego.
- Braki: dopisz do instrukcji wymagane elementy odpowiedzi.
- Niepowtarzalność: uściślij instrukcję i ogranicz swobodę tam, gdzie liczy się stałość.
- Zbyt pewny ton: wymagaj wskazania źródła i przyznania się do braku danych.
Najczęstsze pytania
Ile przykładów potrzeba?
Na początek kilkanaście reprezentatywnych przypadków z prawdziwego procesu, a potem uzupełnianie o nowe typy błędów.
Czy da się to w pełni zautomatyzować?
Część kontroli tak, ale ocena istotnych odpowiedzi powinna zostać po stronie człowieka.
Następny krok
Jeśli chcesz ustalić, jak ocenić AI w jednym z Twoich procesów, Umów 30-minutową rozmowę: przejdziemy przez jeden proces i powiemy wprost, co warto zrobić, a czego nie.