지도 학습 알고리즘에 반드시 정의되어야 함 목적, 비용, 에너지 함수 등이라고도 불림 - 에너지, 코스트 등 다양한 표현에 따라 영문 표기명이 달라짐
알고리즘 학습 중 아직 얼마나 못하는지 표현
성능 척도
성능 측정 지표 - 정량적 평가 :: 비즈니스 목표와 연관이 높음
학습의 수학적 의미
argmin(오브젝티브 함수 > loss function 이라고 표현 함 ) 이를 최소화 시키는 세타(min) 값을 찾는 것
입력과 정답을 동시에 입력 받음
세타는 학습 될 모든 파라미터를 모은 벡터값 : 네트워크 학습 시 수학적 모델을 두고 학습을 한 다는 것 : 모델 안에 학습 될 수 있는 다양한 파라미터가 있다는 의미 ::
손실함수는 모델이 해당 모델이 얼마나 못하는지에 대한 지표 > 낮을 수록 좋음
손실 함수는 세타값에 의해서만 움직임 : x, y는 고정 - 세타값에만 의한 변화
평균제곱오차 함수 MSE
1/2 : 해당 식을 미분 시 제곱이 내려가 없어지기 때문에 관습적으로 사용한 것임
오차가 커질 수록 손실함수가 빠르게 증가함 > 선형 (직선) 함수일 경우 일정하게 증가함
아웃라이너가 뭉게져 나타남 /… 뭐래
e.g.
하나의 값 > 오차 :: 세타값 수정 ( gradient decent? ) > 추정치 (y 틸다)를 변경해서 오차 계산을 확인 > 종합적 판단이 가능
평균절대오차 함수 MAE
제곱이 아닌 절대값으로 표현함 > 오차가 커져도 손실함수가 일정하게 증가하며
, Robust with outliner : 좋은 추정을 해도 오차가 많이 발생 > 굳이 이런 것까지 맞추어야 하는 건 아님
// 통계적으로 중간 값 ( Median )과의 연관이 있음 -
One Hot Encoding
다중 클래스 분류 문제의 정답 표기 시 사용
교차 엔트로피 오차 CEE
yi > 원핫 인코딩으로 - 정답인 항 하나만 살아남고 나머지는 소멸 > 정답인 경우만 로그 … 만 살아남아 이걸 학습하게 됨
실제로는 다른 항들 (0)도 영향을 줌 > 분모에 덧셈이 되어 들어가기 때문