L2

[ML] 규제 Regularization

Norm 벡터의 크기(길이) 를 측정하는 방법이다. (두 벡터 사이의 거리를 측정하는 방법) L1 Norm $$d_{1}(p,q) = ||p-q||_{1}$$ p = (1, -2, 3) q = (5, 6, -7) 일때, L1 Norm은 |1-5| + |-2-6| + |3 - ( - 7 )| = 22 L2 Norm $$||x||_{2} := \sqrt{ x^{2}_{1}+ \ldots +x^{2}_{n}}$$ 벡터의 유클리디안 거리(직선 거리) L2는 항상 초록색 결과가 나온다. Unique한 값 L1은 빨간색, 파란색, 노란색 등 특정 Feature 없이도 같은 값을 낼 수 있다. L1, L2 loss L1 loss 는 실제값과 예측값 사이의 오차의 절대값 합 L2 loss 는 실제값과 예측값 사..