Zrozumieć uczenie maszynowe #3: Macierz konfuzji czyli błąd, błędowi nie równy

Jednym z najbardziej typowych zadań nauczania maszynowego, są zadania klasyfikacyjne. Może się wydawać, że ocena funkcjonalności takiego modelu jest stosunkowo prosta. Przypuśćmy, że mamy model, który na podstawie danych historycznych szacuje czy dany klient spłaci kredyt. Ocenie poddajemy 100 klientów, a nasz model nie pomylił się w 93 przypadkach. Wydaje się, że to dobry wynik. Czy aby na pewno? Czy powinniśmy uznać, że model z dokładnością 93% jest zadawalający?

To zależy. W dzisiejszym odcinku pokażemy w jaki sposób najlepiej oceniać model predykcyjny.

 

Wróćmy zatem do naszego przykładu. Model pomylił się w zaledwie 7 przypadkach. Ale jego jakość zależy od tego, jakie to były przypadki. Załóżmy na przykład, że na tych 100 klientów tylko 10 nie spłaci kredytu. W takim wypadku możliwe są 2 scenariusze:

  • Na 7 popełnionych przez nasz model błędów, 6 z nich było przypadkiem, w którym osoba która spłaci kredyt została oznaczona jako niespłacająca i jeden przypadek odwrotny
  • Na 7 błędów, 6 z nich było przypadkiem, w którym osoba która nie spłaci kredytu została oznaczona jako spłacająca i jeden przypadek odwrotny

W dość oczywisty sposób, drugi scenariusz jest znacznie bardziej kosztowny dla banku. Ponieśliśmy stratę, bo przyznaliśmy kredyt osobie, która go nie spłaciła. By łatwiej wytłumaczyć cały proces, należy wyróżnić dwie kategorie instancji:

  • Positives – oznaczają instancje, przyjmujące wartość, na której nam zależy, którą chcemy przewidzieć wykorzystując model predykcyjny. Zazwyczaj oznaczają wartość rzadziej występującą. Na przykład: klient kupujący od nas ubezpieczenie, klient niespłacający kredytu.
  • Negatives – oznaczają instancje, przyjmujące wartość, która jest bardziej typowa w populacji. Na przykład: zdrowe osoby (gdy szukamy chorych), klient, który nie kupi od nas produktu (gdy zależy nam na znalezieniu tych, którzy będą nim zainteresowani).

Istnieją zatem dwie kategorie błędu. Uznanie postive’a za negative i uznanie negative’a za positive. Tak samo istnieją dwa przypadki prawidłowej diagnozy. Prawidłową klasyfikację określa się mianem true, a niepoprawną false. W ten sposób powstają cztery warianty które, razem nazywamy macierzą konfuzji (ang. Confusion Matrix).

Wyobraźmy sobie taką sytuację. Mamy 100 klientów.

10 osób z tych 100 nie spłaciło kredytu (positives), przy czym:

  1. poprawnie zidentyfikowaliśmy 8. Czyli w 8/10 przypadkach udało nam się zapobiec stracie, bo nie przyznaliśmy kredytu osobie, która by go i tak nie spłaciła [TRUE POSITIVES]
  2. niepoprawnie zidentyfikowaliśmy 2. Czyli w 2/10 przypadkach nie udało nam się zapobiec stracie [FALSE NEGATIVES]

Pozostałe 90 osób spłaciło kredyt (negatives), przy czym:

  1. Poprawnie zidentyfikowaliśmy 85. Czyli w 85/90 przypadkach przyznaliśmy kredyt osobom, które go spłaciły [TRUE NEGATIVES]
  1. Niepoprawnie zidentyfikowaliśmy 5. Czyli w 5/90 przypadkach nie przyznaliśmy kredytu osobom, które by go spłaciły. Strata, ale mniejsza niż w poprzednim przypadku. [FALSE POSITVES]

Zestawiając te informacje w tabelce otrzymujemy macierz konfuzji.

cm1

Jeżeli zsumujemy te wszystkie wypadki 8+2+85+5 wychodzi nam 100 klientów.

Taki sposób oceny jest bardziej miarodajny i pozwala oceniać model pod kątem konkretnych celów. Jak? O tym napiszemy w następnym wpisie  – zastosowania macierzy konfuzji razem z macierzą kosztów.


Interesują Cię podobne treści? Subskrybuj Newsletter !