Question 1

Q, K, V는 무엇인가요?

Accepted Answer

Query는 '무엇을 찾을지', Key는 '무엇을 담고 있는지', Value는 '실제로 가져올 정보'입니다. Q와 K의 내적로 관련도 점수를 만들고, softmax로 가중치를 만든 뒤 V를 가중합해 토큰 표현을 업데이트합니다.

Question 2

softmax는 왜 쓰나요?

Accepted Answer

내적 점수를 0~1 사이 가중치로 바꿔, 한 쿼리가 모든 키에 분배하는 '주의 비율'의 합이 1이 되게 합니다. 가장 관련 높은 토큰에 더 큰 비중을 주는 확률적 집중 메커니즘입니다.

Question 3

인과 마스크(causal mask)는?

Accepted Answer

GPT처럼 왼쪽→오른쪽으로만 생성할 때, 미래 토큰(j>i)에 대한 점수를 −∞로 막아 softmax 후 가중치가 0이 되게 합니다. BERT는 양방향이라 전체 토큰을 동시에 볼 수 있습니다.

Question 4

√d_k로 나누는 이유는?

Accepted Answer

차원 d_k가 커지면 내적 값이 커져 softmax가 한쪽으로만 치우칠 수 있습니다. √d_k로 나누면 점수 스케일을 안정화해 학습·해석 모두에 유리합니다.

Question 5

설치 없이 무료로 쓸 수 있나요?

Accepted Answer

예. 브라우저만 있으면 바로 실행되는 무료 교육용 Playground입니다. PyTorch·TensorFlow 없이 Self-Attention의 QKV→softmax→가중합 흐름을 시각적으로 체험할 수 있습니다.

어텐션 놀이터