이 회차의 영역 구성

객관식 (1–22)

문제 1

문제 2

문제 3

문제 4

문제 5

두 개의 입력 $x_1 = 2$, $x_2 = -1$이고, 가중치 $w_1 = 0.3$, $w_2 = 0.4$, 편향 $b = -0.1$인 뉴런이 있다. 활성화 함수는 ReLU이다.

문제 6

문제 7

문제 8

어떤 파라미터에 대한 그라디언트가 $g = 0.2$이고, Adam 옵티마이저의 하이퍼파라미터는 $\beta_1 = 0.9$, $\beta_2 = 0.999$, $\eta = 0.01$이다. 이전 시점의 1차·2차 모멘트는 모두 0이며, 지금이 첫 번째 갱신(t=1)이다.

문제 9

문제 10

문제 11

문제 12

문제 13

문제 14

문제 15

입력 채널이 3, 필터 크기가 3x3, 출력 채널(필터 개수)이 32, 각 필터마다 편향이 1개 있는 합성곱층이 있다.

문제 16

문제 17

문제 18

문제 19

어휘 집합 크기가 8000이고 임베딩 차원을 64로 설정한 임베딩 레이어가 있다.

문제 20

문제 21

이진 분류 모델을 100개의 테스트 데이터에 적용해 다음 혼동행렬을 얻었다.

문제 22

어떤 회귀 모델이 4개의 테스트 데이터에 대해 실제값 y = [10, 12, 8, 14], 예측값 y_hat = [9, 13, 8, 16]로 예측했다.

서술형 (1–2)

서술형 문제 1: Adam 갱신 1스텝 전 과정

파라미터에 대한 그라디언트 $g = 0.4$, 하이퍼파라미터 $\beta_1 = 0.9$, $\beta_2 = 0.999$, 학습률 $\eta = 0.001$, 이전 시점 모멘트 $m_0 = 0$, $v_0 = 0$일 때, 시점 $t=1$에서 Adam이 파라미터를 갱신하는 전 과정을 서술하시오(엡실론은 무시할 수 있을 만큼 작다고 가정).

모범답안

1. 1차 모멘트(모멘텀 항) 갱신: $m_1 = \beta_1 m_0 + (1-\beta_1) g = 0.9 \times 0 + 0.1 \times 0.4 = 0.04$입니다.
2. 2차 모멘트(그라디언트 제곱의 이동평균) 갱신: $v_1 = \beta_2 v_0 + (1-\beta_2) g^2 = 0.999 \times 0 + 0.001 \times 0.16 = 0.00016$입니다.
3. 1차 모멘트 바이어스 보정: $\hat{m}_1 = \dfrac{m_1}{1-\beta_1^{1}} = \dfrac{0.04}{1-0.9} = \dfrac{0.04}{0.1} = 0.4$입니다.
4. 2차 모멘트 바이어스 보정: $\hat{v}_1 = \dfrac{v_1}{1-\beta_2^{1}} = \dfrac{0.00016}{1-0.999} = \dfrac{0.00016}{0.001} = 0.16$입니다.
5. 파라미터 갱신량 계산: $\Delta\theta = \eta \dfrac{\hat{m}_1}{\sqrt{\hat{v}_1}+\epsilon} \approx 0.001 \times \dfrac{0.4}{\sqrt{0.16}} = 0.001 \times \dfrac{0.4}{0.4} = 0.001$입니다.
6. 파라미터 갱신: $\theta_1 = \theta_0 - \Delta\theta = \theta_0 - 0.001$입니다.

해석: 바이어스 보정을 거치면 학습 초기(t가 작을 때)에 모멘트 추정치가 0에 가깝게 시작해 갱신량이 지나치게 작아지는 문제를 막을 수 있습니다. 이 예시에서는 $\hat{m}_1 / \sqrt{\hat{v}_1}$이 정확히 1이 되어, 실제 갱신량이 학습률 $\eta$와 같아지는 특수한 경우를 보여줍니다.

자주 틀리는 점: 바이어스 보정 단계를 생략하고 $m_1$, $v_1$을 그대로 갱신 공식에 대입하는 실수가 흔합니다. 그렇게 하면 $v_1$이 매우 작은 값(0.00016)이어서 제곱근을 취해도 분모가 작아지고, 학습 초기 갱신량이 실제보다 훨씬 크게(또는 왜곡되어) 계산되는 오류가 생깁니다.

서술형 문제 2: LSTM 셀 상태·은닉 상태 계산

어떤 LSTM 셀에서 이전 셀 상태 $C_{t-1} = 0.8$이고, 이번 시점에 계산된 망각 게이트 $f_t = 0.6$, 입력 게이트 $i_t = 0.7$, 후보 셀 상태 $\tilde{C}_t = 0.5$, 출력 게이트 $o_t = 0.65$가 주어졌다. 이번 시점의 셀 상태 $C_t$와 은닉 상태 $h_t$를 계산하는 과정을 서술하시오($\tanh(0.83) \approx 0.68$을 이용한다).

모범답안

1. 셀 상태 갱신 공식: LSTM의 셀 상태는 $C_t = f_t \times C_{t-1} + i_t \times \tilde{C}_t$로 갱신됩니다. 이 식은 망각 게이트가 과거 정보를 얼마나 남길지, 입력 게이트가 새 후보 정보를 얼마나 반영할지를 각각 조절한다는 의미를 담고 있습니다.
2. 망각 항 계산: $f_t \times C_{t-1} = 0.6 \times 0.8 = 0.48$입니다. 이는 과거 셀 상태 중 남기는 부분입니다.
3. 입력 항 계산: $i_t \times \tilde{C}_t = 0.7 \times 0.5 = 0.35$입니다. 이는 새로 반영하는 후보 정보의 크기입니다.
4. 셀 상태 합산: $C_t = 0.48 + 0.35 = 0.83$입니다.
5. 은닉 상태 계산: 은닉 상태는 $h_t = o_t \times \tanh(C_t)$로 계산합니다. $\tanh(0.83) \approx 0.68$이 주어졌으므로 $h_t = 0.65 \times 0.68 \approx 0.442$입니다.

해석: 망각 게이트(0.6)와 입력 게이트(0.7)가 모두 1보다 작은 값으로 과거 정보와 새 정보를 적절히 섞어 셀 상태를 갱신했고, 출력 게이트(0.65)는 이 셀 상태 중 일부만 걸러 은닉 상태로 내보냈습니다. 세 게이트가 각각 독립적인 역할(유지·반영·노출)을 한다는 점을 이 계산이 잘 보여줍니다.

자주 틀리는 점: 은닉 상태를 계산할 때 $\tanh$를 적용하지 않고 $C_t$ 값 자체에 출력 게이트만 곱하는 실수, 또는 셀 상태 갱신에서 망각 게이트와 입력 게이트를 더하지 않고 곱하는(예: $f_t \times i_t \times \tilde{C}_t$) 실수가 흔합니다. 셀 상태는 두 항의 합이며, 은닉 상태를 만들 때는 반드시 $\tanh$로 셀 상태를 한 번 압축한 뒤 출력 게이트를 곱해야 합니다.

참고 자료

• Ian Goodfellow 외, Deep Learning (Deep Learning Book) — https://www.deeplearningbook.org 
• Stanford CS231n: Convolutional Neural Networks for Visual Recognition — https://cs231n.stanford.edu 
• 국가평생교육진흥원 독학학위제 — https://bdes.nile.or.kr