Norm

벡터의 길이/크기 측정하는 방법.

norm = 원점에서 벡터 좌표까지의 거리(Magnitude)

• p는 Lorm의 차수를 의미합니다. p가 1이면 L1 Norm이고 p가 2이면 L2 Norm.

n은 대상 벡터의 요소 수. Overfitting 방지를 위해 다음의 방법들을 사용

1. 더 많은 데이터
2. Cross validation
3. Regularization

Regularization에서 cost function을 위와 같이 변형한다.

Norm

벡터의 길이/크기 측정하는 방법.

 

• p는 Lorm의 차수를 의미. p가 1이면 L1 Norm이고 p가 2이면 L2 Norm.
• n은 대상 벡터의 요소 수.
• norm = 원점에서 벡터 좌표까지의 거리(Magnitude)
• 이는 Weight에 대한 L2 norm을 추가한 것이다.

 

L1 norm

각 성분의 변화량의 절대값의 합

 

L2 norm

유클리드 거리