Din punct de vedere practic, L1 tinde să micșoreze coeficienții la zero, în timp ce L2 tinde să micșoreze coeficienții în mod uniform. Prin urmare, L1 este util pentru selectarea caracteristicilor, deoarece putem elimina orice variabile asociate cu coeficienții care ajung la zero. L2, pe de altă parte, este util atunci când aveți caracteristici coliniare/codependente.
La ce folosește regularizarea Ce sunt regularizarea L1 și L2?
Regularizarea
L1 oferă rezultate în ponderi binare de la 0 la 1 pentru caracteristicile modelului și este adoptată pentru a reduce numărul de caracteristici dintr-un set de date dimensional uriaș. Regularizarea L2 dispersează termenii de eroare în toate ponderile, ceea ce duce la modele finale personalizate mai precise.
Care sunt diferențele dintre regularizarea L1 și L2?
Principala diferență intuitivă dintre regularizarea L1 și L2 este aceea că Regularizarea L1 încearcă să estimeze mediana datelor, în timp ce regularizarea L2 încearcă să estimeze media datelor pentru a evita supraadaptarea. … Această valoare va fi, de asemenea, mediana distribuției datelor din punct de vedere matematic.
Ce este regularizarea L1 și L2 în deep learning?
Regularizarea
L2 este cunoscută și sub denumirea de scădere a greutății, deoarece forțează ponderile să scadă spre zero (dar nu exact zero). În L1, avem: În aceasta, penalizăm valoarea absolută a ponderilor. Spre deosebire de L2, greutățile pot fi reduse la zero aici. Prin urmare, este foarte util atunci când încercăm să comprimămmodelul nostru.
Cum funcționează regularizarea L1 și L2?
Un model de regresie care utilizează tehnica de regularizare L1 se numește Regresie Lasso, iar modelul care utilizează L2 se numește Regresie Ridge. Diferența cheie dintre cele două este termenul de pedeapsă. Regresia creastă adaugă „mărimea pătrată” a coeficientului ca termen de penalizare la funcția de pierdere.
