Jak ocenić jakość i poprawność modeli klasyfikacyjnych? Część 5 – Krzywa LIFT

W tej części tutorialu dowiesz się więcej o definicji i rodzajach krzywej LIFT, skumulowanych LIFT ze skalą procentową, oraz jak skonstruować krzywą LIFT.

W poprzednich częściach naszego tutorialu omówiliśmy:

• Podstawowe oznaczenia w procesie oceny modeli klasyfikacyjnych
• Liczbowe wskaźniki jakości
• Confusion Matrix
• Krzywą ROC

W ostatniej części naszego tutorialu zajmiemy się krzywą Lift.

Definicja oraz rodzaje krzywej LIFT

Wykres LIFT obrazuje zysk z zastosowania modelu klasyfikacyjnego względem nie stosowania modelu (czyli klasyfikatora losowego) na wybranym wycinku danych.

Poniżej przedstawione są proste przykłady:

Wyróżniamy 4 odmiany krzywej LIFT:

LIFT ze skalą procentową

• skumulowany
• nieskumulowany

LIFT ze skalą ilorazową

• skumulowany
• nieskumulowany

W jaki sposób skonstruować krzywą LIFT?

Aby skonstruować krzywą LIFT należy posortować obserwacje według oceny wygenerowanej przez nasz model klasyfikacyjny od największej do najmniejszej wartości. W przykładzie przedstawionym poniżej, sortujemy wartości drugiej kolumny.

Ustalamy liczbę kwantyli, które podzielą zbiór obserwacji na odpowiednie części. Na przykład, przy podziale na kwartyle, czyli kwantyle rzędu 1/4, 2/4, 3/4 mamy:

• 1-szy kwartyl – dzieli zbiór obserwacji na dwie część odpowiednio po 25% położonych poniżej tego kwartyla i 75% położonych powyżej
• 2-gi kwartyl – dzieli zbiór obserwacji na dwie część, czyli na połowę – 50%
• 3-ci kwartyl – dzieli zbiór obserwacji na dwie część odpowiednio po 75% położonych poniżej tego kwartyla i 25% położonych powyżej

Liczba kwantyli ma znaczenie:

• Zbyt małe kwantyle spowodują, że wykres LIFT straci zarówno na przejrzystości jak i na wiarygodności
• Zbyt duże kwantyle spowodują, że wykres LIFT nie będzie zawierał zbyt wielu szczegółów

Następnie pokazujemy stężenie obserwacji pozytywnych (np. churn, klient zaprzestał korzystania z naszych produktów) w poszczególnych kwantylach.

LIFT ze skalą procentową skumulowany

Przykład ogólny:

Przykład szczególny: wysyłanie do klientów nowej oferty

LIFT ze skalą procentową nieskumulowany

Przykład ogólny:

Przykład szczególny: wysyłanie do klientów nowej oferty

Idealne klasyfikatory

LIFT ze skalą ilorazową skumulowany

Przypadek ogólny:

Przypadek szczególny: wysyłanie do klientów ofert

LIFT ze skalą ilorazową nieskumulowany

Przypadek ogólny:

Przypadek szczególny: wysłanie do klientów nowej oferty

Wykres LIFT – podsumowanie

• Pokazuje zysk z zastosowania badanego klasyfikatora względem klasyfikatora losowego
• Prosta interpretacja biznesowa
• Podzielenie wartości wykresu LIFT ze skalą procentową przez prawdopodobieństwo apriori daje wykres LIFT ze skalą ilorazową