은닉층 (보이지 않는 층)

은닉층(Hidden Layer)은 입력과 출력 사이에 있는 중간 단계예요. 사용자가 보는 건 입력(사진, 문장, 소리)과 출력(답, 레이블)뿐인데, 그 사이에서 '숨겨진 특징'을 만들어내는 층이 은닉층이에요.

동작 순서는 X → 선형(W₁·X+b₁) → ReLU → H(은닉 표현) → 선형(W₂·H+b₂) → ReLU → Y(출력) 이에요. H가 은닉층의 결과물이고, 이 H 속에 '입력의 핵심 특징'이 압축되어 있어요.

비유: 사진을 보고 '강아지'라고 답하기까지, '색상 → 선/모서리 → 눈/코/귀 → 강아지!' 순서로 특징을 뽑아가잖아요. 이 중간 사고 과정이 은닉층이에요.

은닉층의 뉴런 수(너비)가 크면 그 단계에서 더 다양한 특징을 담을 수 있어요. 층이 많을수록(깊을수록) 더 추상적인 개념까지 배울 수 있어요.

은닉층은 입력을 단계마다 요약·변형해요. 앞쪽은 '밝기, 선, 질감'처럼 단순한 특징을, 뒤쪽은 '눈, 바퀴, 물체 전체'처럼 복잡한 특징을 만들어요.

은닉층이 없으면 입력을 바로 출력으로만 바꿀 수 있어서 단순한 관계만 표현해요. 있으면 곡선, 여러 조건의 조합 같은 복잡한 관계를 배울 수 있어요.

은닉층의 너비와 깊이가 모델의 표현력을 결정해요. 너무 작으면 성능이 나쁘고, 너무 크면 과적합(외우기만 함)이 생길 수 있어요. 휴대폰용 작은 모델은 이 크기를 줄여서 가볍게 만들어요.

이미지 인식: '픽셀 → 선/모서리 → 질감 → 물체 부분 → 물체 전체'로 가는 중간 단계가 모두 은닉층이에요.

번역·챗봇: 문장을 숫자로 바꾼 뒤, 여러 개의 은닉층을 거치면서 '단어 의미 → 문맥 → 답'을 구체화해요. 검색에서는 '찾은 문서'를 은닉층을 거쳐 요약·통합해요.

음성 인식: 소리 → 음소 → 단어 → 문장으로 가는 중간 표현이 모두 은닉층이에요.

앞에서부터 순서대로: X → (W₁·X+b₁) → ReLU → H → (W₂·H+b₂) → ReLU → Y. 각 단계를 차례로 계산하면 돼요. 빈 칸이 H에 있으면 첫 번째 선형+ReLU까지만 계산하면 되고, Y에 있으면 H까지 구한 뒤 두 번째 선형+ReLU를 계산하면 돼요.

ReLU 주의: 선형 결과(W·입력+b)가 음수이면 ReLU가 0으로 만들어요. 그러면 다음 층에서 그 값은 0이 되니까, 해당 항은 아예 무시해도 돼요. 이게 은닉층 계산에서 자주 나오는 포인트예요.

빈 칸이 W나 b에 있을 때: 은닉층 문제는 두 단계(2개의 선형+활성화)로 나눠져 있으니까, 빈 칸이 어느 단계에 있는지 먼저 파악하세요. 해당 단계의 입력과 출력을 알면, 그 단계만의 식으로 빈 칸을 구할 수 있어요.