이 회차의 영역 구성

객관식 (1–22)

문제 1

문제 2

문제 3

문제 4

문제 5

문제 6

문제 7

입력 $x_1 = 1$, $x_2 = 2$이고, 가중치 $w_1 = 0.5$, $w_2 = -0.3$, 편향(bias) $b = 0.2$인 하나의 뉴런이 있다.

문제 8

문제 7에서 구한 $z = 0.1$을 시그모이드 활성화 함수에 통과시킨다. $e^{-0.1} \approx 0.905$를 이용한다.

문제 9

문제 10

문제 11

문제 12

문제 13

문제 14

문제 15

입력 이미지 크기가 32x32이고 5x5 필터를 스트라이드 1, 패딩 0으로 합성곱 연산에 사용한다.

문제 16

입력 채널이 3, 필터 크기가 5x5, 출력 채널(필터 개수)이 16, 각 필터마다 편향 1개가 있는 합성곱층이 있다.

문제 17

문제 18

문제 19

문제 20

문제 21

어떤 3개 클래스 분류 문제에서 출력층 로짓(logit) 값이 $z = [2, 1, 0]$이다. $e^2 \approx 7.389$, $e^1 \approx 2.718$, $e^0 = 1$을 이용한다.

문제 22

서술형 (1–2)

서술형 문제 1: 역전파 1스텝 전 과정

하나의 뉴런에 입력 $x = 1$, 목표값(정답) $y = 1$, 가중치 $w = 0.5$, 편향은 없다고 가정한다. 활성화 함수는 시그모이드이며 손실 함수는 $L = \frac{1}{2}(y-a)^2$이다. 학습률 $\eta = 0.1$일 때, 경사하강법으로 가중치를 1회 갱신하는 전 과정을 순서대로 서술하시오.

모범답안

1. 순전파: $z = w x = 0.5 \times 1 = 0.5$이고, $a = \sigma(z) = \dfrac{1}{1+e^{-0.5}} \approx \dfrac{1}{1.6065} \approx 0.6225$입니다.
2. 손실 계산: $L = \dfrac{1}{2}(y-a)^2 = \dfrac{1}{2}(1-0.6225)^2 = \dfrac{1}{2}(0.3775)^2 \approx 0.0713$입니다.
3. 출력에 대한 손실의 그라디언트: $L = \dfrac{1}{2}(y-a)^2$을 $a$로 미분하면 $\dfrac{\partial L}{\partial a} = a - y = 0.6225 - 1 = -0.3775$입니다.
4. 활성화 함수의 국소 그라디언트: 시그모이드의 미분은 $\sigma'(z) = a(1-a)$이므로 $\dfrac{\partial a}{\partial z} = 0.6225 \times (1-0.6225) = 0.6225 \times 0.3775 \approx 0.235$입니다.
5. 가중치에 대한 국소 그라디언트: $z = wx$이므로 $\dfrac{\partial z}{\partial w} = x = 1$입니다.
6. 연쇄 법칙으로 전체 그라디언트 계산: $\dfrac{\partial L}{\partial w} = \dfrac{\partial L}{\partial a} \times \dfrac{\partial a}{\partial z} \times \dfrac{\partial z}{\partial w} = (-0.3775) \times 0.235 \times 1 \approx -0.0887$입니다.
7. 가중치 갱신: $w_{new} = w - \eta \dfrac{\partial L}{\partial w} = 0.5 - 0.1 \times (-0.0887) = 0.5 + 0.00887 \approx 0.5089$입니다.

해석: 예측값(0.6225)이 목표값(1)보다 작아 그라디언트가 음수로 나왔고, 경사하강법은 이 그라디언트의 반대 방향으로 이동하므로 가중치가 소폭 증가했습니다. 이는 다음 순전파에서 예측값을 목표값 방향으로 더 가깝게 만드는 방향입니다.

자주 틀리는 점: $\dfrac{\partial L}{\partial a}$를 계산할 때 부호를 $y-a$로 잘못 두는 실수가 흔합니다. $L=\frac{1}{2}(y-a)^2$을 $a$에 대해 미분하면 연쇄 법칙에 의해 $-(y-a) = a-y$가 되어야 합니다. 부호를 반대로 쓰면 가중치가 반대 방향으로 갱신되어 학습이 발산할 수 있습니다.

서술형 문제 2: CNN 출력 크기와 파라미터 수 종합 계산

입력 이미지 크기가 28x28이고 채널 수는 1(흑백)이다. 이 입력에 3x3 필터 8개를 스트라이드 1, 패딩 1(same padding)로 합성곱한 뒤, 2x2 최대 풀링(스트라이드 2)을 적용한다. 이 과정에서 합성곱층의 출력 크기, 파라미터 수, 풀링 후 출력 크기를 순서대로 계산하시오.

모범답안

1. 합성곱 출력 크기: 패딩이 1이므로 출력 크기 공식은 $\dfrac{(입력 크기 + 2 \times 패딩 - 필터 크기)}{스트라이드} + 1$입니다. 대입하면 $\dfrac{28 + 2 \times 1 - 3}{1} + 1 = \dfrac{27}{1}+1 = 28$이 되어, 합성곱 결과는 28x28 크기를 유지합니다(패딩 1을 준 이유가 바로 이 same padding 효과입니다).
2. 합성곱층 파라미터 수: 필터 하나의 파라미터는 (필터 높이 × 필터 너비 × 입력 채널) + 편향 1개 = $(3 \times 3 \times 1) + 1 = 10$개입니다. 필터가 8개이므로 전체 파라미터 수는 $10 \times 8 = 80$개입니다.
3. 채널 수 변화: 합성곱을 거친 특징 맵은 필터 개수만큼의 채널을 가지므로, 출력은 28x28x8이 됩니다.
4. 풀링 출력 크기: 2x2 최대 풀링을 스트라이드 2로 적용하면 각 변의 크기가 절반이 됩니다. $28 / 2 = 14$이므로 풀링 후 출력은 14x14x8이 됩니다(채널 수는 풀링으로 바뀌지 않습니다).

해석: 패딩을 필터 크기에 맞게(3x3 필터에 패딩 1) 주면 합성곱 전후 가로·세로 크기가 유지되는 same padding이 되고, 그 뒤에 오는 풀링층이 공간 크기를 줄이는 역할을 전담하게 됩니다. 채널 수는 합성곱의 필터 개수에 의해서만 바뀌고, 풀링에서는 바뀌지 않는다는 점이 자주 헷갈리는 부분입니다.

자주 틀리는 점: 풀링이 채널 수도 함께 줄인다고 착각하거나, same padding에서 패딩 값을 필터 크기와 무관하게 항상 1로 고정한다고 착각하는 경우가 많습니다. 패딩 값은 필터 크기에 따라 달라지며(홀수 크기 필터에서 same padding을 만들려면 패딩은 (필터 크기-1)/2), 위 예시에서는 필터가 3이므로 패딩 1이 정확히 맞아떨어진 것입니다.

참고 자료

• Ian Goodfellow 외, Deep Learning (Deep Learning Book) — https://www.deeplearningbook.org 
• Stanford CS231n: Convolutional Neural Networks for Visual Recognition — https://cs231n.stanford.edu 
• 국가평생교육진흥원 독학학위제 — https://bdes.nile.or.kr