Што такое матрыца блытаніны ў машынным навучанні?

Матрыца блытаніны – гэта інструмент для ацэнкі прадукцыйнасці тыпу класіфікацыі алгарытмаў машыннага навучання з наглядам.

Што такое матрыца блытаніны?

Мы, людзі, па-рознаму ўспрымаем рэчы – нават праўду і хлусню. Тое, што мне можа здацца лініяй даўжынёй 10 см, вам можа падацца лініяй 9 см. Але рэальнае значэнне можа быць 9, 10 ці іншым. Тое, што мы мяркуем, – гэта прагназуемае значэнне!

Як думае чалавечы мозг

Падобна таму, як наш мозг выкарыстоўвае нашу ўласную логіку, каб прадбачыць што-небудзь, машыны прымяняюць розныя алгарытмы (так званыя алгарытмы машыннага навучання), каб атрымаць прагназуемае значэнне для пытання. Зноў жа, гэтыя значэнні могуць быць аднолькавымі або адрознівацца ад фактычнага значэння.

У канкурэнтным свеце мы хацелі б ведаць, ці слушны наш прагноз, каб зразумець нашу працу. Такім жа чынам мы можам вызначыць прадукцыйнасць алгарытму машыннага навучання па колькасці правільных прагнозаў.

Такім чынам, што такое алгарытм машыннага навучання?

Машыны спрабуюць знайсці пэўныя адказы на праблему, ужываючы пэўную логіку або набор інструкцый, якія называюцца алгарытмамі машыннага навучання. Алгарытмы машыннага навучання бываюць трох тыпаў – кантраляваныя, некантраляваныя або з падмацаваннем.

Тыпы алгарытмаў машыннага навучання

Кантралююцца самыя простыя тыпы алгарытмаў, у якіх мы ўжо ведаем адказ, і мы навучаем машыны прыходзіць да гэтага адказу, навучаючы алгарытм вялікай колькасцю даных – гэтак жа, як дзіця адрознівае людзей розных узроставых груп па гледзячы на ​​іх асаблівасці зноў і зноў.

Кантраляваныя алгарытмы ML бываюць двух тыпаў – класіфікацыйныя і рэгрэсіўныя.

Алгарытмы класіфікацыі класіфікуюць або сартуюць дадзеныя на аснове некаторага набору крытэрыяў. Напрыклад, калі вы хочаце, каб ваш алгарытм групаваў кліентаў у залежнасці ад іх харчовых пераваг – тых, хто любіць піцу, і тых, хто не любіць піцу, вы павінны выкарыстоўваць алгарытм класіфікацыі, напрыклад, дрэва рашэнняў, выпадковы лес, наіўны Байес або SVM (падтрымка вектарная машына).

Які з гэтых алгарытмаў будзе працаваць лепш за ўсё? Чаму вы павінны выбраць адзін алгарытм перад іншым?

Увядзіце матрыцу блытаніны…

Матрыца блытаніны – гэта матрыца або табліца, якая дае інфармацыю пра тое, наколькі дакладным з’яўляецца алгарытм класіфікацыі пры класіфікацыі набору даных. Ну, назва не для таго, каб збіваць з панталыку людзей, але занадта шмат няправільных прагнозаў, верагодна, азначае, што алгарытм быў пераблытаны😉!

Праверце гэта:  Як раздрукаваць з тэлефона на настольны прынтэр

Такім чынам, матрыца блытаніны – гэта метад ацэнкі прадукцыйнасці алгарытму класіфікацыі.

як?

Дапусцім, вы ўжылі розныя алгарытмы да нашай раней згаданай бінарнай задачы: класіфікаваць (раздзяліць) людзей у залежнасці ад таго, любяць яны піцу ці не. Каб ацаніць алгарытм, які мае значэнні, найбольш блізкія да правільнага адказу, вы павінны выкарыстоўваць матрыцу блытаніны. Для задачы бінарнай класіфікацыі (падабаецца/не падабаецца, праўда/хлусня, 1/0) матрыца блытаніны дае чатыры значэнні сеткі, а менавіта:

  • Сапраўдны станоўчы (TP)
  • Праўдзівы адмоўны (TN)
  • Ілжывы станоўчы вынік (FP)
  • Ілжыва адмоўны (FN)

Што такое чатыры сеткі ў матрыцы блытаніны?

Чатыры значэння, вызначаныя з дапамогай матрыцы блытаніны, утвараюць сеткі матрыцы.

Матрычныя сеткі блытаніны

Сапраўднае станоўчае (TP) і сапраўднае адмоўнае (TN) – гэта значэнні, правільна прадказаныя алгарытмам класіфікацыі,

  • TP прадстаўляе тых, хто любіць піцу, і мадэль іх правільна класіфікавала,
  • TN прадстаўляе тых, хто не любіць піцу, і мадэль іх правільна класіфікавала,

Ілжывададатныя (FP) і ілжываадмоўныя (FN) – гэта значэнні, памылкова прадказаныя класіфікатарам,

  • FP прадстаўляе тых, хто не любіць піцу (адмоўны), але класіфікатар прадказаў, што яны любяць піцу (памылкова станоўчы). FP таксама называюць памылкай тыпу I.
  • FN прадстаўляе тых, хто любіць піцу (станоўча), але класіфікатар прадказаў, што яны не любяць (памылкова адмоўна). FN таксама называюць памылкай тыпу II.

Каб лепш зразумець канцэпцыю, давайце разгледзім рэальны жыццёвы сцэнар.

Дапусцім, у вас ёсць набор даных з 400 чалавек, якія прайшлі тэст на Covid. Цяпер вы атрымалі вынікі розных алгарытмаў, якія вызначалі колькасць людзей з станоўчым і адмоўным COVID-інфекцыяй.

Вось дзве матрыцы блытаніны для параўнання:

Гледзячы на ​​абодва, у вас можа ўзнікнуць спакуса сказаць, што першы алгарытм больш дакладны. Але, каб атрымаць канкрэтны вынік, нам патрэбны некаторыя паказчыкі, якія могуць вымераць дакладнасць, дакладнасць і шмат іншых значэнняў, якія даказваюць, які алгарытм лепшы.

Метрыкі з выкарыстаннем матрыцы блытаніны і іх значнасць

Асноўныя паказчыкі, якія дапамагаюць нам вырашыць, ці правільныя прагнозы зрабіў класіфікатар:

#1. Запамінанне/Адчувальнасць

Запамінанне, або адчувальнасць, або праўдзівы станоўчы паказчык (TPR), або верагоднасць выяўлення – гэта стаўленне правільных станоўчых прагнозаў (TP) да агульнай колькасці станоўчых вынікаў (напрыклад, TP і FN).

Праверце гэта:  Як заархіваваць або распакаваць файлы на Chromebook

R = TP/(TP + FN)

Адкліканне – гэта мера правільных станоўчых вынікаў, атрыманых з колькасці правільных станоўчых вынікаў, якія маглі быць атрыманы. Больш высокае значэнне Recall азначае меншую колькасць ілжывых адмоў, што добра для алгарытму. Выкарыстоўвайце Recall, калі важна ведаць ілжывыя адмоўныя вынікі. Напрыклад, калі ў чалавека некалькі закаркаванняў сэрца, і мадэль паказвае, што з ім усё ў парадку, гэта можа прывесці да смяротнага зыходу.

#2. Дакладнасць

Дакладнасць – гэта мера правільных станоўчых вынікаў з усіх прадказаных станоўчых вынікаў, у тым ліку як сапраўдных, так і ілжывых.

Pr = TP/(TP + FP)

Дакладнасць вельмі важная, калі ілжывыя спрацоўванні занадта важныя, каб іх ігнараваць. Напрыклад, калі ў чалавека няма цукровага дыябету, але гэта паказвае мадэль, і лекар выпісвае пэўныя лекі. Гэта можа прывесці да сур’ёзных пабочных эфектаў.

#3. Спецыфіка

Спецыфічнасць або сапраўды адмоўны ўзровень (TNR) – гэта правільныя адмоўныя вынікі, атрыманыя з усіх вынікаў, якія маглі быць адмоўнымі.

S = TN/(TN + FP)

Гэта мера таго, наколькі добра ваш класіфікатар вызначае адмоўныя значэнні.

#4. Дакладнасць

Дакладнасць – гэта колькасць правільных прагнозаў ад агульнай колькасці прагнозаў. Такім чынам, калі вы правільна знайшлі 20 станоўчых і 10 адмоўных значэнняў з выбаркі з 50, дакладнасць вашай мадэлі будзе 30/50.

Дакладнасць A = (TP + TN)/(TP + TN + FP + FN)

#5. Распаўсюджанасць

Распаўсюджанасць – гэта мера колькасці станоўчых вынікаў, атрыманых з усіх вынікаў.

P = (TP + FN)/(TP + TN + FP + FN)

#6. Ацэнка F

Часам бывае цяжка параўнаць два класіфікатары (мадэлі), выкарыстоўваючы толькі Precision і Recall, якія з’яўляюцца проста арыфметычнымі камбінацыяй чатырох сетак. У такіх выпадках мы можам выкарыстоўваць адзнаку F або адзнаку F1, якая з’яўляецца сярэднім гарманічным, што з’яўляецца больш дакладным, таму што яно не адрозніваецца занадта моцна для надзвычай высокіх значэнняў. Больш высокі бал F (макс. 1) паказвае на лепшую мадэль.

Ацэнка F = 2*Дакладнасць*Памяць/ (Памяць + Дакладнасць)

Калі жыццёва неабходна паклапаціцца як пра ілжывыя спрацоўванні, так і пра ілжывыя адмоўныя вынікі, адзнака F1 з’яўляецца добрым паказчыкам. Напрыклад, тых, у каго няма кавіда (але алгарытм гэта паказаў), не трэба ізаляваць без патрэбы. Такім жа чынам трэба ізаляваць тых, хто станоўчы на ​​Covid (але алгарытм сказаў, што гэта не так).

#7. ROC крывыя

Такія параметры, як Дакладнасць і Дакладнасць, з’яўляюцца добрымі паказчыкамі, калі даныя збалансаваны. Для незбалансаванага набору даных высокая дакладнасць неабавязкова можа азначаць, што класіфікатар эфектыўны. Напрыклад, 90 са 100 студэнтаў у групе ведаюць іспанскую мову. Зараз, нават калі ваш алгарытм кажа, што ўсе 100 ведаюць іспанскую мову, яго дакладнасць будзе 90%, што можа даць няправільнае ўяўленне аб мадэлі. У выпадках незбалансаваных набораў даных такія паказчыкі, як ROC, з’яўляюцца больш эфектыўнымі вызначальнікамі.

Праверце гэта:  Як спампаваць фільмы і тэлеперадачы Disney+ для прагляду ў аўтаномным рэжыме

Прыклад крывой ROC

Крывая ROC (працоўная характарыстыка прыёмніка) візуальна адлюстроўвае прадукцыйнасць двайковай мадэлі класіфікацыі пры розных парогавых значэннях класіфікацыі. Гэта графік TPR (частата сапраўдных станоўчых вынікаў) супраць FPR (частата ілжывых станоўчых вынікаў), якая разлічваецца як (1-спецыфічнасць) пры розных парогавых значэннях. Значэнне, якое бліжэй за ўсё да 45 градусаў (уверсе злева) на графіку, з’яўляецца найбольш дакладным парогавым значэннем. Калі парог занадта высокі, у нас не будзе шмат ілжывых спрацоўванняў, але мы атрымаем больш ілжывых адмоў і наадварот.

Як правіла, калі будуецца крывая ROC для розных мадэляў, тая, якая мае найбольшую плошчу пад крывой (AUC), лічыцца лепшай мадэллю.

Давайце разлічым усе значэнні метрык для нашых матрыц блытаніны Класіфікатара I і Класіфікатара II:

Метрычнае параўнанне для класіфікатараў 1 і 2 агляду піцы

Мы бачым, што дакладнасць вышэй у класіфікатары II, тады як дакладнасць крыху вышэй у класіфікатары I. У залежнасці ад разгляданай праблемы асобы, якія прымаюць рашэнні, могуць выбраць класіфікатар I або II.

Матрыца блытаніны N x N

Да гэтага часу мы бачылі матрыцу блытаніны для бінарных класіфікатараў. Што рабіць, калі б было больш катэгорый, чым проста так/не ці падабаецца/не падабаецца. Напрыклад, калі ваш алгарытм павінен быў сартаваць выявы чырвонага, зялёнага і сіняга колераў. Гэты тып класіфікацыі называецца шматкласавай класіфікацыяй. Колькасць выхадных зменных таксама вызначае памер матрыцы. Такім чынам, у гэтым выпадку матрыца блытаніны будзе 3×3.

Матрыца блытаніны для шматкласавага класіфікатара

Рэзюмэ

Матрыца блытаніны – выдатная сістэма ацэнкі, паколькі яна дае падрабязную інфармацыю аб прадукцыйнасці алгарытму класіфікацыі. Ён добра працуе як для бінарных, так і для мультыкласавых класіфікатараў, у якіх неабходна ўлічваць больш за 2 параметры. Лёгка візуалізаваць матрыцу блытаніны, і мы можам стварыць усе іншыя паказчыкі прадукцыйнасці, такія як бал F, дакладнасць, ROC і дакладнасць, выкарыстоўваючы матрыцу блытаніны.

Вы таксама можаце паглядзець, як выбраць алгарытмы ML для задач рэгрэсіі.