딥러닝

• input layer: 인풋을 넣는 곳
• hidden layer 구성 요소
  • 노드(node): 이전 레이어, 이전 층에서 온 값과 가중치를 연산한 다음 → 최종적으로 활성화 함수란 곳을 통과시켜 값을 낸 다음 → 그 값을 다음 노드로 전달
  • 가중치(weight): node에서 node로 이동할 때, 중요도에 따라 다르게 값을 곱해줌(보통 w로 표현)
    • 수능 점수 예측 모델을 예로 들었을 때, 6월 모평보다 9월 모평에 더 가중치를 두는 것이라고 볼 수 있음
  • 활성화 함수: 모델이 비선형적인 문제도 해결할 수 있게 만들기 위해, 넣는 함수.
    • 예를 들어, Sigmoid, Hyperbolic Tangent 등등…
• output layer: 아웃풋이 나오는 곳

순전파

가중치 연산과 활성화 함수를 통해 예측값을 모델이 추론함

Loss 계산

모델이 추론한 예측값과 실제 정답을 비교하여 오차를 확인하고, Loss Function을 통해 총 오차를 계산함

1. Loss Function: 실제값과 예측값의 오차를 정확하게 계산하기 위해 정의되는 함수
   1. MSE, RMSE, Binary Crossentorpy 등등…

역전파

각 가중치가 예측값에 얼마나 영향을 끼치는지 계산한 뒤, 오차를 줄이는 방향으로 가중치들을 업데이트

지역 최솟값(Local minima)

옵티마이저

1. 어떤 방식으로 가중치를 업데이트할지 결정하는 알고리즘
   1. Adam, SGD, Momentum 등등…

batch&epoch