문항 구성

영역 1: 퍼셉트론·MLP 구조 (1–5)

문제 1

가중치 $w_1 = 0.5$, $w_2 = -0.3$, 편향(bias) $b = 0.2$를 가진 단층 퍼셉트론(perceptron)에 입력 $x_1 = 1$, $x_2 = 1$을 넣었다.

문제 2

문제 1의 퍼셉트론이 계단 함수(step function)를 쓰되, 임계값이 0.5여서 net이 0.5 이상이면 출력 1, 미만이면 출력 0을 낸다고 하자.

문제 3

입력층 노드 4개, 은닉층 노드 5개, 출력층 노드 3개로 구성된 완전연결(fully connected) MLP가 있다. 입력층-은닉층, 은닉층-출력층 각 연결마다 편향이 하나씩 있다.

문제 4

단층 퍼셉트론과 다층 퍼셉트론(MLP)의 표현 능력에 대한 설명 중 옳지 않은 것을 고르시오.

문제 5

다음 설명에 해당하는 이론의 이름을 고르시오. “은닉층이 하나 이상이고 은닉 노드 수가 충분하다면, 비선형 활성화 함수를 가진 MLP는 임의의 연속 함수를 원하는 정확도로 근사할 수 있다.”

영역 2: 활성화·손실 함수 조합 (6–10)

문제 6

시그모이드 함수 $\sigma(x) = \frac{1}{1+e^{-x}}$의 미분은 $\sigma'(x) = \sigma(x)(1-\sigma(x))$이다. $\sigma(0) = 0.5$임을 이용한다.

문제 7

활성화 함수에 대한 설명 중 옳지 않은 것을 고르시오.

문제 8

문제 9

문제 10

3개 클래스 분류 문제에서 소프트맥스 출력이 [0.7, 0.2, 0.1]이고 정답 클래스는 첫 번째(원-핫 [1, 0, 0])이다. $\ln 0.7 \approx -0.357$을 이용한다.

영역 3: 순전파·역전파 계산 (11–16)

다음 세 문제(11–13)는 하나의 신경망을 공유한다. 입력 $x=1$이 가중치 $w_1=0.3$을 거쳐 은닉 뉴런에 들어가고, 은닉 뉴런의 시그모이드 출력은 $h=0.6$이다. $h$는 가중치 $w_2=0.5$를 거쳐 출력 뉴런에 들어가고, 출력 뉴런의 시그모이드 출력은 $y=0.7$이다. 정답(target)은 $t=1$이고, 손실 함수는 $L = \frac{1}{2}(t-y)^2$이다.

문제 11

문제 12

학습률 $\eta = 0.1$을 적용해 경사하강법으로 w2를 갱신한다.

문제 13

이제 은닉층 가중치 w1(입력 x=1과 은닉 뉴런 사이)에 대한 그라디언트를 구한다. 은닉 뉴런의 시그모이드 미분은 $h(1-h) = 0.6 \times 0.4 = 0.24$이고, 문제 11에서 구한 출력층 델타는 $\delta_o = -0.063$이다.

문제 14

문제 15

그라디언트 소실(vanishing gradient) 문제에 대한 설명 중 옳지 않은 것을 고르시오.

문제 16

문제 11–13에서 출력층 그라디언트(약 -0.063)보다 은닉층 그라디언트(약 -0.0076)의 절대값이 훨씬 작게 나왔다.

영역 4: 과적합·정규화 (17–22)

문제 17

한 모델의 훈련 손실은 학습이 진행될수록 계속 낮아졌지만, 검증 손실은 학습 중반부터 다시 상승하기 시작했다.

문제 18

가중치 $w = 0.8$, 원래 손실의 그라디언트 $\frac{\partial L_0}{\partial w} = 0.05$, 학습률 $\eta = 0.2$, L2 정규화 강도 $\lambda = 0.1$이다.

문제 19

L1 정규화와 L2 정규화에 대한 설명 중 옳지 않은 것을 고르시오.

문제 20

드롭아웃(dropout) 비율 $p = 0.3$을 적용한 은닉층에 노드가 10개 있다.

문제 21

문제 22

정규화 기법에 대한 설명 중 옳지 않은 것을 고르시오.

참고 자료

• Ian Goodfellow 외, Deep Learning (Deep Learning Book) — https://www.deeplearningbook.org 
• 국가평생교육진흥원 독학학위제 — https://bdes.nile.or.kr