22. Attention·Transformer·임베딩·Seq2Seq 유형 문제

재구성 출제 고지: 이 문제들은 국가평생교육진흥원 독학학위제 3단계 딥러닝 출제기준(임베딩·Seq2Seq·Attention·Transformer 개요 영역)을 근거로 새로 구성한 재구성 문항입니다. 실제 기출 문항을 그대로 옮긴 것이 아니며, 14·15편에서 다루는 이 영역의 출제 빈도가 높은 핵심 유형 21문항을 전 과정 해설과 함께 싣습니다.

문항 구성

영역	문항 번호	문항 수	관련 편
임베딩·Seq2Seq 구조	1–4	4	14편
Attention 점수·가중합 계산	5–8	4	14편
Self-Attention·Multi-Head·위치 인코딩	9–13	5	15편
Transformer 블록·비교 종합	14–21	8	15편

영역 1: 임베딩·Seq2Seq 구조 (1–4)

문제 1

문제 14지선다

단어 임베딩(word embedding)에 대한 설명으로 옳지 않은 것은?

원-핫(one-hot) 벡터와 달리 임베딩 벡터는 밀집(dense)하고 저차원이라 단어 사이의 의미적 유사성을 거리나 방향으로 표현할 수 있다.임베딩 벡터는 학습 과정에서 값이 갱신되는 학습 파라미터가 될 수 있다.어휘 집합(vocabulary) 크기가 커져도 임베딩 벡터의 차원 수는 반드시 함께 커져야 한다.의미가 비슷한 단어일수록 임베딩 공간에서 서로 가까운 위치에 놓이는 경향이 있다.

문제 2

어휘 집합 크기가 10000이고 임베딩 차원을 300으로 설정했다.

문제 24지선다

이 임베딩 레이어(embedding layer)의 학습 파라미터 개수는?

30000001030030010000

문제 3

문제 34지선다

Seq2Seq(sequence-to-sequence) 모델의 기본 구조에 대한 설명으로 가장 적절한 것은?

인코더(encoder)가 입력 시퀀스를 하나의 문맥 벡터(context vector)로 압축하고, 디코더(decoder)가 이 벡터를 바탕으로 출력 시퀀스를 순차적으로 생성한다.입력과 출력 시퀀스의 길이가 반드시 같아야 하며, 길이가 다르면 사용할 수 없다.인코더와 디코더는 반드시 같은 가중치를 공유해야 한다.Seq2Seq는 이미지 분류 전용 구조이며 텍스트에는 적용할 수 없다.

문제 4

문제 44지선다

기본 Seq2Seq 구조(어텐션 없이)의 한계로 지적되는 문제로 가장 적절한 것은?

입력 시퀀스가 길어질수록 하나의 고정 크기 문맥 벡터에 모든 정보를 압축해야 하므로 정보 손실이 커지고 성능이 떨어지는 경향이 있다.입력 시퀀스가 길어질수록 학습 파라미터 개수가 무한히 늘어난다.기본 Seq2Seq는 애초에 어떤 문제에도 적용할 수 없다.문맥 벡터의 크기가 입력 길이에 비례해서 자동으로 커진다.

영역 2: Attention 점수·가중합 계산 (5–8)

디코더의 쿼리(query) 벡터 $q = [1, 0]$ 이고, 인코더의 두 시점에 대한 키(key) 벡터가 각각 $k_1 = [1, 0]$ , $k_2 = [0, 1]$ 이다. 점수는 내적(dot product)으로 계산한다.

문제 5

문제 54지선다

어텐션 점수 (s1, s2) = (q·k1, q·k2)의 값은?

(1, 0)(0, 1)(1, 1)(0, 0)

문제 6

문제 5의 점수 $(s_1, s_2) = (1, 0)$ 을 소프트맥스(softmax)로 정규화한다. $e \approx 2.72$ 를 이용한다.

문제 64지선다

첫 번째 어텐션 가중치(softmax(s1))는 약 얼마인가?

0.730.51.00.27

문제 7

문제 6에서 나머지 가중치는 softmax(s2) ≈ 0.27이다. 인코더의 값(value) 벡터가 각각 $v_1 = [2, 0]$ , $v_2 = [0, 2]$ 이다.

문제 74지선다

어텐션 가중합으로 만든 문맥 벡터(context vector)의 첫 번째 성분 값은?

1.460.542.01.0

문제 8

문제 84지선다

위 계산 결과처럼 특정 인코더 시점에 대한 어텐션 가중치가 다른 시점보다 뚜렷하게 크게 나오는 것이 의미하는 바로 가장 적절한 것은?

디코더가 현재 출력을 만들 때 그 인코더 시점의 정보를 상대적으로 더 많이 참고하고 있다는 뜻이다.그 인코더 시점의 입력 데이터에 오류가 있다는 뜻이다.모델의 학습이 실패했다는 뜻이다.그 시점의 값 벡터가 0 벡터라는 뜻이다.

영역 3: Self-Attention·Multi-Head·위치 인코딩 (9–13)

문제 9

문제 94지선다

스케일드 닷프로덕트 어텐션(scaled dot-product attention)에서 점수를 키 벡터 차원의 제곱근(sqrt(d_k))으로 나누는 이유로 가장 적절한 것은?

차원이 커질수록 내적 값의 절댓값이 커져 소프트맥스가 한쪽으로 치우치고 그라디언트가 매우 작아지는 것을 막기 위해서이다.계산 속도를 인위적으로 느리게 만들기 위해서이다.점수를 항상 정수로 만들기 위해서이다.값(value) 벡터의 차원을 줄이기 위해서이다.

문제 10

문제 104지선다

셀프 어텐션(self-attention)의 정의로 가장 적절한 것은?

같은 입력 시퀀스로부터 쿼리(Q), 키(K), 값(V)을 모두 만들어, 시퀀스 내부의 토큰들이 서로에 대한 관련성을 계산하는 어텐션이다.반드시 서로 다른 두 시퀀스(예: 인코더와 디코더) 사이에서만 계산되는 어텐션이다.순환 구조 없이는 절대로 계산할 수 없는 어텐션이다.항상 이미지 데이터에만 적용되는 어텐션이다.

문제 11

멀티헤드 어텐션(multi-head attention)에 대한 설명 중 옳지 않은 것을 고르시오.

문제 114지선다

멀티헤드 어텐션에 대한 설명으로 옳지 않은 것은?

입력을 여러 개의 서로 다른 표현 부분공간(subspace)으로 나누어 각 헤드가 독립적으로 어텐션을 계산한 뒤 결과를 이어붙인다(concatenate).여러 헤드를 사용하면 한 헤드가 놓칠 수 있는 다양한 종류의 관계(예: 문법적 관계와 의미적 관계)를 동시에 포착할 수 있다.멀티헤드 어텐션은 언제나 단일 헤드 어텐션보다 전체 파라미터 수가 더 적다.각 헤드가 계산한 결과를 이어붙인 뒤 별도의 선형 변환(linear transformation)을 거쳐 최종 출력을 만든다.

문제 12

문제 124지선다

Transformer에 위치 인코딩(positional encoding)이 필요한 이유로 가장 적절한 것은?

Transformer는 RNN과 달리 순환 구조나 합성곱처럼 순서 정보를 자연스럽게 반영하는 장치가 없어, 토큰의 위치 정보를 별도로 더해주어야 하기 때문이다.위치 인코딩이 있어야만 어텐션의 계산량을 줄일 수 있기 때문이다.위치 인코딩은 임베딩 차원을 줄이기 위해 필요하기 때문이다.위치 인코딩이 없으면 소프트맥스 함수를 사용할 수 없기 때문이다.

문제 13

문제 134지선다

사인(sin)·코사인(cos) 함수를 이용한 위치 인코딩 방식에 대한 설명으로 가장 적절한 것은?

위치와 차원 인덱스에 따라 서로 다른 주기의 사인·코사인 값을 계산해, 각 위치마다 고유한 패턴의 벡터를 만들어 임베딩에 더한다.문장의 모든 위치에 항상 같은 값을 부여해 위치를 구분하지 않는다.사인·코사인 함수를 쓰면 시퀀스 길이가 제한 없이 학습 데이터에 등장한 길이로만 한정된다는 장점이 있다.사인·코사인 위치 인코딩은 학습 과정에서 역전파로 값이 갱신되는 파라미터이다.

영역 4: Transformer 블록·비교 종합 (14–21)

문제 14

문제 144지선다

Transformer 인코더 블록의 구성 요소로 가장 적절한 것은?

멀티헤드 셀프 어텐션 층과 위치별 피드포워드(feed-forward) 층을 각각 잔차 연결(residual connection)과 층 정규화(layer normalization)로 감싼 구조합성곱층과 풀링층만으로 구성된 구조순환 연결만으로 구성되어 시점마다 은닉 상태를 순차적으로 갱신하는 구조게이트가 세 개인 LSTM 셀을 그대로 반복해서 쌓은 구조

문제 15

문제 154지선다

Transformer 디코더가 인코더 블록과 구조적으로 다른 점으로 가장 적절한 것은?

현재 위치 이후의 토큰을 참고하지 못하게 막는 마스크드 셀프 어텐션과, 인코더의 출력을 키·값으로 사용하는 인코더-디코더 어텐션(교차 어텐션)이 추가된다.디코더에는 피드포워드 층이 전혀 없다.디코더는 위치 인코딩을 사용하지 않는다.디코더는 잔차 연결과 층 정규화를 사용하지 않는다.

문제 16

인코더-디코더 어텐션(교차 어텐션, cross-attention)에 대한 설명 중 옳지 않은 것을 고르시오.

문제 164지선다

인코더-디코더 어텐션에 대한 설명으로 옳지 않은 것은?

쿼리(Q)는 디코더의 표현에서, 키(K)와 값(V)은 인코더의 출력에서 만들어진다.이 어텐션 덕분에 디코더는 출력을 생성할 때마다 입력 시퀀스 전체를 다시 참고할 수 있다.쿼리(Q)와 키(K), 값(V) 모두 디코더의 표현에서만 만들어진다.Seq2Seq에서 다루었던 어텐션 메커니즘을 Transformer 구조 안에서 셀프 어텐션과 같은 형식으로 일반화한 것으로 볼 수 있다.

문제 17

문제 174지선다

마스크드 셀프 어텐션(masked self-attention)이 필요한 이유로 가장 적절한 것은?

디코더가 학습 시 정답 시퀀스를 미리 볼 수 있는 상황에서, 실제 추론처럼 앞쪽 토큰만 보고 다음 토큰을 예측하도록 미래 위치의 정보를 가려야 하기 때문이다.마스킹을 하면 어텐션 계산량이 항상 0이 되기 때문이다.마스킹은 임베딩 차원을 줄이기 위한 기법이기 때문이다.마스킹은 그라디언트 폭발을 막기 위해서만 사용되기 때문이다.

문제 18

문제 184지선다

RNN 계열 모델과 Transformer를 비교한 설명 중 옳지 않은 것은?

RNN은 시점을 순차적으로 처리해야 하지만, Transformer는 셀프 어텐션 덕분에 시퀀스 내 모든 위치를 동시에 병렬로 처리할 수 있다.Transformer는 위치 인코딩을 통해 순서 정보를 보완한다.셀프 어텐션의 계산량은 시퀀스 길이가 늘어나도 항상 일정하게 유지된다.RNN은 구조상 순서를 자연스럽게 반영하지만 병렬화가 어렵다.

문제 19

문제 194지선다

임베딩 행렬과 원-핫(one-hot) 벡터의 관계에 대한 설명으로 가장 적절한 것은?

원-핫 벡터와 임베딩 행렬을 곱한 결과는, 그 단어에 해당하는 임베딩 행렬의 한 행을 그대로 가져오는 조회(lookup)와 수학적으로 같은 결과를 낸다.원-핫 벡터와 임베딩 행렬을 곱하면 항상 0 벡터가 나온다.임베딩 행렬은 원-핫 벡터보다 항상 더 많은 메모리를 차지한다.원-핫 벡터는 임베딩 벡터보다 단어 사이의 의미적 유사성을 더 잘 표현한다.

문제 20

문제 204지선다

Seq2Seq에 Attention을 도입했을 때 디코더가 매 출력 시점마다 참고하는 정보로 가장 적절한 것은?

인코더의 모든 시점의 은닉 상태를 현재 디코더 상태와의 관련성에 따라 가중합한 문맥 벡터인코더의 마지막 시점 은닉 상태 하나만디코더 자신의 첫 번째 시점 은닉 상태만입력 시퀀스의 원본 텍스트 문자열 그대로

문제 21

문제 214지선다

임베딩, Seq2Seq, Attention, Transformer의 관계에 대한 설명으로 옳지 않은 것은?

임베딩은 단어를 밀집 벡터로 표현하는 방법으로, Seq2Seq·Attention·Transformer 모두 입력을 처리하기 전에 임베딩을 거치는 경우가 많다.Attention은 Seq2Seq의 문맥 벡터 병목 문제를 완화하기 위해 먼저 제안되었고, Transformer는 순환 구조 없이 셀프 어텐션만으로 시퀀스를 처리하도록 이 아이디어를 확장한 구조이다.Transformer는 Seq2Seq나 Attention과 전혀 무관하게 독립적으로 고안된, RNN보다 먼저 등장한 구조이다.Transformer의 인코더-디코더 구조는 Seq2Seq의 인코더-디코더 구조에서 아이디어를 이어받았다고 볼 수 있다.

참고 자료

Stanford CS224n: Natural Language Processing with Deep Learning — https://web.stanford.edu/class/cs224n
Ian Goodfellow 외, Deep Learning (Deep Learning Book) — https://www.deeplearningbook.org