#gradient-descent

2026년 5월 13일

손실 함수의 1차 테일러 전개로부터 음의 그래디언트 방향이 최급강하 방향임을 보이고, 배치·확률적·미니배치 변형과 모멘텀·Adam까지의 흐름을 정리한다.