Question 1

왜 세 가지 옵티마이저를 동시에 보나요?

Accepted Answer

같은 시작점·같은 학습률에서 알고리즘마다 경로와 수렴 속도가 크게 다릅니다. SGD는 단순하지만 골짜기에서 출렁이고, Momentum은 관성으로 방향을 유지하며, Adam은 스텝마다 적응형 학습률을 씁니다.

Question 2

로젠브록 골짜기(valley)는 무엇인가요?

Accepted Answer

f(x,y)=(1−x)²+10(y−x²)² 형태의 좁고 구불구불한 계곡입니다. 실제 신경망 손실 지형처럼 최솟값까지 가는 길이 길고, 학습률·옵티마이저 선택에 따라 발산하거나 매우 느리게 수렴하는 대표 예시입니다.

Question 3

시작점은 어떻게 바꾸나요?

Accepted Answer

손실 지형 캔버스를 클릭하면 흰색 시작 마커가 이동하고, 세 옵티마이저 경로가 처음부터 다시 그려집니다. 지형 프리셋을 바꿔도 해당 지형의 기본 시작점으로 리셋됩니다.

Question 4

안장점 지형은 왜 최솟값이 두 개인가요?

Accepted Answer

f(x,y)=(x²−1)²+y²는 가운데 (0,0)에 안장점, 좌·우 (-1,0)·(1,0)에 최솟값이 있는 이중 우물입니다. 시작점 위치에 따라 어느 골짜기로 수렴하는지, 안장을 어떻게 지나는지 비교할 수 있습니다.

손실 지형 탐험