Entropia încrucișată categorială este o funcție de pierdere care este utilizată în sarcinile de clasificare cu mai multe clase. Acestea sunt sarcini în care un exemplu poate aparține doar uneia dintre multe categorii posibile, iar modelul trebuie să decidă care dintre ele. În mod oficial, este conceput pentru a cuantifica diferența dintre două distribuții de probabilitate.
De ce să folosiți entropia încrucișată în loc de MSE?
În primul rând, entropia încrucișată (sau pierderea softmax, dar entropia încrucișată funcționează mai bine) este o măsură mai bună decât MSE pentru clasificare, deoarece limita de decizie într-o sarcină de clasificare este mare(în comparație cu regresia). … Pentru probleme de regresie, ați folosi aproape întotdeauna MSE.
Care este diferența dintre entropia încrucișată rară și entropia încrucișată categorială?
Singura diferență dintre entropia încrucișată categorică rară și entropia încrucișată categorială este formatul etichetelor adevărate. Când avem o problemă de clasificare cu o singură etichetă, cu mai multe clase, etichetele se exclud reciproc pentru fiecare dată, ceea ce înseamnă că fiecare intrare de date poate aparține doar unei clase.
Cum interpretați pierderea de entropie încrucișată categorică?
Entropia încrucișată crește pe măsură ce probabilitatea estimată a unui eșantion diverge de valoarea reală. Prin urmare, estimarea unei probabilități de 0,05 atunci când eticheta reală are valoarea 1 crește pierderea de entropie încrucișată. indică probabilitatea prezisă între 0 și 1 pentru respectivul eșantion.
De ce este bună entropia încrucișată?
În general, după cum putem vedea, entropia încrucișată este pur și simplu o modalitate de a măsura probabilitatea unui model. Entropia încrucișată este utilă, deoarece poate descrie cât de probabil este un model și funcția de eroare a fiecărui punct de date. Poate fi folosit și pentru a descrie un rezultat prezis în comparație cu rezultatul adevărat.
