포지셔널 인코딩 완전 정복: 트랜스포머에 순서를 부여하는 법

트랜스포머가 단어 순서를 추적하는 방식, 사인파·학습형·상대형·RoPE·ALiBi 인코딩 비교, 그리고 PyTorch 구현을 살펴보세요.

업데이트됨 2026년 8월 14일 · 14분 읽다

AI로 탐색하기

페이지의 모든 단어가 무작위 순서로 뒤섞인 소설을 읽는다고 상상해 보세요. 모든 단어를 안다고 해도, 단어의 순서가 의미를 결정하기 때문에 줄거리는 완전히 사라집니다. 엔지니어들이 처음 대규모 언어 모델(LLM)을 설계하기 시작했을 때, 비슷한 난관에 부딪혔습니다. 핵심 메커니즘이 모든 것을 동시에 처리하는 모델에게 단어의 순서를 어떻게 가르칠 수 있을까요?

여기서 포지셔널 인코딩이 등장합니다. 이 글에서는 포지셔널 인코딩의 내부 동작과 그것이 트랜스포머에 질서감을 부여하는 방식을 살펴봅니다. 원래의 사인파 공식을 시작으로 최신 회전 임베딩까지의 진화를 풀어보고, 다음 머신러닝 프로젝트에서 이를 구현하는 방법을 알아봅니다. 기본 아키텍처가 처음이라면, 먼저 트랜스포머의 작동 방식 가이드를 참고하시길 권합니다.

포지셔널 인코딩이란?

포지셔널 인코딩은 신경망이 입력 데이터의 순차적 순서를 이해하도록 하는 기법입니다. 토큰의 상대적 또는 절대적 위치를 나타내는 좌표 집합처럼 작동하며, 표준 데이터 표현에 결합됩니다.

텍스트가 신경망으로 들어가기 전, 단어는 연속적인 수치 형식인 임베딩으로 변환됩니다. 그러나 표준 임베딩은 의미론적 의미만 포착합니다. 특정 텍스트에서 단어의 위치에 대해서는 아무것도 알려주지 않습니다. 이 과정이 정확히 어떻게 작동하는지 알고 싶다면, 저희 과정인 OpenAI API로 배우는 임베딩 입문을 수강해 보세요.

포지셔널 인코딩은 이러한 토큰 임베딩에 직접 추가되는 추가적인 수학적 레이어입니다. 의미적 표현에 위치 정보를 결합하면, 트랜스포머 모델은 문장의 서로 다른 위치에 등장하는 동일한 단어를 구분할 수 있습니다.

치환 불변성 문제

순차 데이터는 순서에 크게 의존합니다. 자연어에서 "the dog bit the man"과 "the man bit the dog"는 의미가 완전히 다릅니다.

과거에는 순환 신경망(RNN)과 장단기 메모리 네트워크(LSTM)가 이 문제를 본질적으로 처리했습니다. 이들은 토큰을 순차적으로 처리하여, 네트워크가 첫 번째 단어를 처리한 후에야 두 번째 단어를 수학적으로 받아들입니다. 마찬가지로, 합성곱 신경망(CNN)은 국소 슬라이딩 윈도를 사용해 픽셀이나 인접 단어의 공간 배열을 포착합니다.

트랜스포머는 순차 처리를 완전히 포기합니다. 모든 토큰을 병렬로 처리합니다. 트랜스포머의 핵심 엔진은 셀프 어텐션 메커니즘으로, 시퀀스의 모든 토큰 쌍 사이의 관계 점수를 동시에 계산합니다. 수학적으로 셀프 어텐션은 치환 불변입니다. 입력 시퀀스를 섞어도, 셀프 어텐션은 단어 쌍에 대해 정확히 동일한 어텐션 점수를 출력합니다.

순서를 보존하는 메커니즘이 없으면, 모델은 순차 정보를 완전히 잃습니다. 의미는 정렬되지 않은 단어 자루로 붕괴됩니다. 포지셔널 인코딩은 입력 벡터를 강제로 변화시켜, 셀프 어텐션 메커니즘이 위치 1의 토큰과 위치 10의 토큰을 다르게 인식하도록 함으로써 치환 불변성 문제를 해결합니다.

포지셔널 인코딩은 어떻게 동작할까요?

포지셔널 인코딩은 셀프 어텐션 레이어에 도달하기 전에 입력 토큰 벡터를 수학적으로 수정하는 방식으로 작동합니다. 이를 통해 모델은 의미와 위치를 모두 기반으로 관계를 계산합니다.

어떤 의미인지 직관을 쌓아 봅시다. 표준 토큰 임베딩을 컨퍼런스의 이름표로 생각해 보세요. 이름표는 그 사람이 누구인지를 알려주지만, 컨퍼런스에서 어디에 있는지는 그 사람이나 다른 사람과의 관계를 바꾸지 않습니다. 포지셔널 인코딩은 그 이름표에 좌석 번호를 추가하는 것과 같습니다. 이를 결합하면, 그 사람이 누구인지와 어디에 앉아 있는지를 모두 알 수 있습니다. 이는 그 사람이 컨퍼런스에서 가질 수 있는 잠재적 상호작용에 맥락을 더합니다.

트랜스포머에서는 이 결합이 보통 간단한 원소별 덧셈으로 이루어집니다. 모델은 단어의 의미 임베딩 벡터에 동일한 크기의 포지셔널 인코딩 벡터를 더합니다. 그 결과 벡터에는 다음 레이어가 공간 좌표로 해석하는 미묘한 변조가 담깁니다.

계산 예시

단순화된 예시를 살펴봅시다. 차원이 4인 아주 작은 임베딩 공간이 있다고 가정합니다. 시퀀스에서 위치 0에 있는 "DataCamp"라는 단어를 처리하려고 합니다.

의미 임베딩: 신경망은 "DataCamp"의 임베딩을 가져옵니다. 예를 들어 [0.51, -0.22, 0.88, 0.14]처럼 보일 수 있습니다.
포지셔널 인코딩: 포지셔널 공식은 위치 0에 대한 좌표 벡터를 생성합니다. 이 예시에서는 [0.00, 1.00, 0.00, 1.00]으로 계산된다고 가정합니다.
결합: 두 벡터를 원소별로 더합니다.
최종 입력: 순전파는 [0.51, 0.78, 0.88, 1.14]를 받습니다.

같은 토큰 "DataCamp"가 나중에 위치 5에 등장하더라도, 포지셔널 인코딩 벡터는 달라집니다. 결과적으로 셀프 어텐션 메커니즘에는 최종 입력 벡터가 완전히 다르게 보입니다.

사인파 포지셔널 인코딩

원조 "Attention Is All You Need" 논문은 기본 삼각함수를 사용해 포지셔널 벡터를 생성하는 뛰어난 방법을 소개했습니다. 이 접근법은 머신러닝 가중치를 전혀 필요로 하지 않으며, 고정된 수학적 함수에만 의존합니다.

수학적 기반

사인파 포지셔널 인코딩은 서로 다른 주파수의 사인과 코사인 함수를 사용해 위치 정보를 인코딩합니다. 주어진 위치(pos)와 임베딩 벡터 내 특정 차원 인덱스(i)에 대해, 인코딩은 다음과 같이 계산됩니다:

짝수 차원(2i): PE(pos, 2i) = sin(pos / 10000^(2i/dmodel))
홀수 차원(2i+1): PE(pos, 2i+1) = cos(pos / 10000^(2i/dmodel))

이 공식에서 dmodel은 임베딩 벡터의 전체 크기입니다. 벡터의 차원을 인덱스 0에서 dmodel까지 따라가면, 사인파 함수의 파장이 기하급수적으로 증가합니다.

장점과 특성

이 기하급수적 주파수 증가는 몇 가지 뚜렷한 장점을 제공합니다.

사인과 코사인의 출력은 -1과 1 사이로 엄격히 제한됩니다. 이 제한된 특성 덕분에 포지셔널 인코딩이 의미 임베딩을 수치적으로 압도하지 않습니다.
함수는 주기적입니다. 삼각함수의 가법 정리에 의해, 선형 변환만으로도 미래 위치(pos + k)의 포지셔널 인코딩을 현재 위치(pos)의 함수로 쉽게 표현할 수 있습니다. 이 특성은 모델이 상대적 위치 인코딩을 자연스럽게 학습하도록 돕습니다.
사인파 인코딩은 고정 매개변수를 사용합니다. 학습 가능한 가중치가 0이므로 메모리 오버헤드가 크게 줄어듭니다. 연속적인 수학 함수로 작동하기 때문에, 학습 시 본 것보다 더 긴 시퀀스에 대해서도 위치 좌표를 사상할 수 있는 이론적 외삽 능력을 가집니다.

시각화

사인파 인코딩을 이해하는 데에는 히트맵으로 시각화하는 것이 도움이 됩니다.

시각화의 x축은 임베딩 차원 크기를, y축은 토큰의 위치를 나타냅니다.

왼쪽의 낮은 차원은 음수와 양수 값을 빠르게 오가며 진동하여, 인접한 토큰 위치를 구분할 수 있게 합니다. 차원 인덱스가 커질수록 파장이 길어지고 인코딩은 더 점진적으로 변합니다. 이러한 차원은 더 큰 거리에서의 위치 차이를 포착합니다.

여기 표시된 50개의 위치 범위에서는, 상위 차원 중 상당수가 거의 균일한 수직 줄무늬처럼 보입니다. 이는 파장이 너무 길어 짧은 시퀀스 내에서는 사인 값이 0에, 코사인 값이 1에 가깝게 유지되기 때문이지 각각 0과 1이기 때문은 아닙니다. 따라서 교차하는 줄무늬는 인접한 사인–코사인 차원을 반영한 것이지, 단순한 이진 인코딩을 의미하지 않습니다. 더 긴 시퀀스에서는 이러한 차원들도 눈에 띄게 변하기 시작합니다.

핵심은 서로 다른 주파수가 모델에 다중 스케일의 위치 정보를 제공한다는 점입니다. 빠르게 변하는 차원은 인접 토큰 간의 미세한 차이를 포착하고, 천천히 변하는 차원은 더 긴 시퀀스 내에서의 넓은 위치를 추적합니다.

학습형 포지셔널 인코딩

고정 수학 공식은 우아하지만, 현대 딥러닝 아키텍처는 종종 데이터를 통해 최적 표현을 학습하는 데 의존합니다. 학습형 포지셔널 임베딩은 배치의 부담을 전적으로 학습 단계로 옮깁니다.

개념과 구현

사인과 코사인 함수로 위치 값을 하드코딩하는 대신, 학습형 포지셔널 임베딩은 위치 좌표를 일반적인 학습 가능한 매개변수로 취급합니다.

모델은 각 행이 특정 시퀀스 위치에 대응되는 완전히 빈 임베딩 행렬을 초기화합니다. 표준 역전파 학습 루프 동안, 네트워크는 전체 손실 함수를 최소화하기 위해 의미 토큰 임베딩과 함께 이러한 위치 가중치를 업데이트합니다.

비교 우위

학습형 포지셔널 임베딩의 가장 큰 장점은 극도의 유연성입니다. 특정 데이터셋에 가장 잘 맞는 정확한 위치 표현을 완전히 자유롭게 학습할 수 있습니다. BERT와 GPT-2 같은 아키텍처는 높은 적응성 및 다운스트림 작업에서의 강력한 성능 덕분에 이 접근법을 성공적으로 대중화했습니다.

제한과 과제

학습형 포지셔널 임베딩의 가장 큰 제한은 시퀀스 길이에 대한 하드 바운더리입니다. 예를 들어 최대 2,048개의 학습된 위치 벡터로 학습된 모델은 2,049개의 토큰으로 구성된 문서를 물리적으로 처리할 수 없습니다.

이 제한은 길이 외삽을 심각하게 저해하며, 종종 컨텍스트 윈도우를 확장하기 위해 비용이 큰 재학습이 필요합니다.

상대적 포지셔널 인코딩

모델이 더 긴 문서를 처리하도록 발전함에 따라, 엔지니어들은 단어의 절대 위치보다 다른 단어와의 상대적 거리가 더 중요할 때가 많다는 점을 깨달았습니다.

상대적 위치로의 개념적 전환

"the rapid advancement of AI"라는 구문을 생각해 보세요. 이 구에서 "advancement"와 "AI"의 문법적 관계는 문서의 맨 앞에 있든 맨 뒤에 있든 동일합니다. 상대적 포지셔널 인코딩은 절대 격자 좌표를 버립니다. 대신 상호작용하는 토큰 간의 거리 오프셋에만 집중합니다.

어텐션 메커니즘에서의 구현

상대적 인코딩을 구현하기 위해, 엔지니어들은 네트워크 초입의 입력 임베딩을 바꾸는 대신 어텐션 점수 계산 자체를 직접 수정합니다.

"쿼리" 행렬과 "키" 행렬 사이의 어텐션 점수를 계산할 때, 연산에 상대적 거리를 나타내는 추가 학습형 바이어스 항을 포함합니다. 이 수정은 텍스트 내에서의 시프트 불변성을 보장합니다. 이러한 행렬이 어떻게 작동하는지 더 깊이 알아보려면, LLM의 어텐션 메커니즘 가이드를 읽어 보세요.

실용적 트레이드오프

이 접근법은 매우 정확한 문맥 이해를 제공하지만, 심각한 계산 오버헤드를 야기합니다. 모든 어텐션 헤드에 대해 고유한 상대 거리 행렬을 계산하면 메모리 소비가 급증합니다. 또한 텍스트 생성을 가속하기 위해 사용하는 내부 캐싱 메커니즘을 복잡하게 만듭니다.

절대 vs 상대 위치 정보

절대 인코딩과 상대 인코딩 중 무엇을 선택할지는 특정 작업에 달려 있습니다.

절대 인코딩은 정확한 공간 배치가 엄격하고 빠른 실행이 우선일 때 훌륭하게 작동합니다.
상대 인코딩은 문법 구조가 절대 문서 좌표보다 지역적 문맥 거리 전적으로 의존하는 장문의 자연어 처리에서 훨씬 뛰어납니다.

RoPE(Rotary Position Embedding)

트랜스포머 아키텍처를 완성하기 위한 지속적인 탐구에서, 연구자들은 RoPE(Rotary Position Embedding)를 도입했습니다. 이는 절대 및 상대 포지셔널 인코딩의 장점을 결합하며, 빠르게 업계 표준이 되었습니다.

혁신적 접근

RoPE는 회전 변환을 사용해 절대 위치와 상대 거리를 통합합니다. 임베딩에 벡터를 더하거나 어텐션 점수에 무거운 바이어스를 추가하는 대신, RoPE는 임베딩 벡터를 복소 평면에 사상하고 특정 각도만큼 회전시킵니다. 이 각도의 크기는 시퀀스에서 토큰의 절대 위치에 의해 엄격히 결정됩니다.

수학적 통찰

2차원 공간에서는 표준 2D 회전 행렬을 사용해 회전을 적용합니다. 더 높은 차원에서는 RoPE가 임베딩 차원을 쌍으로 묶고, 절대 위치 인덱스에 따라 각 청크에 고유한 2D 회전을 적용합니다.

회전 행렬의 기하학적 특성상, 회전된 쿼리 벡터와 회전된 키 벡터의 내적은 결국 그들 사이의 상대 각도에만 의존하게 됩니다. 따라서 RoPE는 절대 위치 매핑을 활용해 토큰 간의 상대 거리를 자연스럽게 인코딩합니다.

RoPE vs 사인파 인코딩

위의 그래픽에서 보듯이, 사인파 인코딩은 원래 벡터의 크기와 방향을 모두 변화시킵니다. 반면 RoPE는 크기 정보를 보존하고, 서로 다른 두 위치 사이의 상대 거리를 이해하는 데 필요한 것은 각도뿐입니다.

ALiBi(Attention With Linear Biases)

RoPE가 복잡한 회전 수학에 의존하는 반면, ALiBi(Attention with Linear Biases)라는 또 다른 기법은 완전히 다른 접근을 취합니다.

단순성과 효율성

ALiBi는 초기 토큰 임베딩에 위치 정보를 추가한다는 발상을 완전히 버립니다. 단어 임베딩은 트랜스포머에 전혀 손대지 않은 상태로 들어갑니다.

대신 ALiBi는 어텐션 계산의 마지막 단계에서 개입합니다. 어텐션 로짓이 소프트맥스 함수를 통과하기 직전에, 두 토큰 사이의 거리에 비례하는 정적 페널티를 빼줍니다. 두 단어가 멀수록, 그들의 어텐션 점수에서 차감되는 페널티가 더 커집니다.

성능

이 방법은 구현이 매우 간단하고 효율적입니다. 가장 큰 장점은 길이 외삽 작업에서 매우 뛰어나다는 점입니다. 1,024 토큰 시퀀스로 ALiBi를 학습한 모델은, 두 배 길이의 시퀀스에서도 쉽게 일관된 텍스트를 생성할 수 있습니다.

빠른 텍스트 생성 및 추론 작업에 활용되는 다른 고급 기법을 탐구하고 싶다면, 추정적 디코딩 가이드를 참고하세요.

포지셔널 인코딩 선택 가이드

무엇을 만들고 있는지에서 출발해, 그에 맞는 방법을 고르세요 — 하나일 때도 있고, 여러 개일 때도 있습니다.

단순한 제로-파라미터 기준선이 필요: 사인파(고정 공식, 학습 불필요).
시퀀스 길이가 고정이고, 특정 데이터셋에서 최대 성능을 원함: 학습형.
학습한 것보다 더 긴 시퀀스를 처리해야 함: 외삽 가능한 기법 중에서는 RoPE가 가장 강력.
문법이 절대 위치가 아니라 토큰 간 거리 의존: 상대형 또는 RoPE.
현대 범용 LLM을 구축 중: RoPE.
길이 외삽이 최우선 과제이고, 가장 단순한 구현을 원함: ALiBi.
메모리·캐싱 오버헤드 없이 상대 위치의 이점을 원함: RoPE(상대 인코딩은 이점은 있으나 비용이 더 큼).

실전 구현과 아키텍처 고려사항

이론과 실무의 간극을 메우려면, 포지셔널 인코딩을 실제 코드베이스에 통합하고 아키텍처적 제약을 관리하는 방법을 이해해야 합니다.

트랜스포머에서 포지셔널 인코딩 구현

PyTorch 같은 프레임워크에서 트랜스포머에 포지셔널 인코딩을 추가하려면, 보통 전용 모듈을 만듭니다. 이 모듈은 인코딩 행렬을 한 번 생성하고 버퍼로 등록하여 역전파 중에 실수로 업데이트되지 않도록 합니다.

아래는 사인파 인코딩을 통합한 순전파의 표준 실용 구현입니다. 인코딩은 사인과 코사인 공식으로 한 번 계산되고, 학습 중에 변경되지 않으므로 학습 가능한 파라미터가 아닌 버퍼로 저장됩니다(그래서 학습 비용을 추가하지 않습니다).

import torch
import torch.nn as nn
import math

class PositionalEncoding(nn.Module):
    def __init__(self, d_model: int, max_len: int = 5000):
        super().__init__()
        
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)
        
        # Calculate the division term for frequencies
        div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))
        
        # Apply sine to even indices and cosine to odd indices
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        
        pe = pe.unsqueeze(0)
        
        # Register as a buffer
        self.register_buffer('pe', pe)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # Add positional encoding directly to the input embeddings
        seq_len = x.size(1)
        x = x + self.pe[:, :seq_len, :]
        return x

__init__에서는 모듈이 max_len까지의 위치에 대한 인코딩 테이블을 미리 계산합니다. position은 인덱스(0, 1, 2, …)의 열이고, div_term은 주파수로, 1 / 10000^(2i/d_model)에 해당합니다. 따라서 낮은 차원은 빠른 파동, 높은 차원은 느린 파동을 갖습니다.

sin을 짝수 차원(0::2)에, cos를 홀수(1::2)에 적용해 테이블을 채웁니다. 그다음 forward는 실행 시에 할 일은 이것뿐입니다. 테이블을 입력의 시퀀스 길이에 맞게 슬라이스한 후 토큰 임베딩에 원소별로 더합니다. 모듈은 배치-우선 형태 [batch, seq_len, d_model]를 가정하므로, forward가 1번 차원에서 슬라이스합니다.

위치 바이어스와 중간 망실 현상

긴 시퀀스 길이를 매핑할 때 의도치 않은 결과로 위치 바이어스가 발생합니다. 이는 종종 "중간 망실(lost-in-the-middle)" 현상으로 나타납니다. 방대한 문서를 처리할 때, 언어 모델은 프롬프트의 맨 앞이나 맨 끝의 사실을 중간 부분보다 훨씬 더 잘 기억하는 경향이 있습니다. 익숙하게 들릴 수 있는데, 인간의 기억도 비슷하게 작동하기 때문입니다(적어도 제게는 그렇습니다. 책의 시작과 끝만 더 잘 기억하는 사람이 저뿐이라고는 하지 말아 주세요!).

이런 일이 벌어지는 이론적 이유는 어텐션 메커니즘이 무관한 문맥에 압도되어, 초기 토큰(지시를 설정하는 부분)과 최신 토큰(메모리에서 가장 최근인 부분)에 자연스럽게 닻을 내리기 때문이라고 합니다. 이 바이어스를 완화하기 위해 개발자들은 고급 청킹 전략과 시맨틱 검색 시스템을 활용합니다.

특수 도메인을 위한 포지셔널 인코딩

트랜스포머는 더 이상 텍스트에만 국한되지 않습니다. 포지셔널 인코딩 개념은 여러 도메인에서 다양한 데이터 유형을 처리하기 위해 빠르게 적응하고 있습니다.

비전 트랜스포머의 경우, 이미지는 패치 그리드로 잘립니다. 단순 1D 시퀀스 인코딩으로는 2D 공간에서의 공간적 근접성을 포착할 수 없습니다. 따라서 비전 모델은 이미지 패치의 X, Y 좌표를 모두 반영하는 2D 학습형 포지셔널 인코딩을 자주 사용합니다.

연속 시계열 모델을 위한 유사한 변형도 존재하며, 이 경우 특수 인코딩이 시간 간격, 계절성, 타임스탬프를 추적합니다.

포지셔널 인코딩 추가 연구

더 큰 컨텍스트 윈도우를 향한 경쟁이 가속화되면서, 모델이 위치를 이해하는 방식을 정교화하는 일은 머신러닝 연구에서 매우 활발하고 핵심적인 영역으로 남아 있습니다.

길이 외삽과 컨텍스트 확장

오늘날 사용자는 전체 코드베이스나 소설 시리즈를 한 번에 처리할 수 있는 거대한 컨텍스트 윈도우를 요구합니다. 극도로 긴 시퀀스 길이로 처음부터 모델을 학습하는 것은 너무 비싸기 때문에, 연구자들은 컨텍스트 확장 기법에 의존합니다.

포지셔널 인터폴레이션과 같은 방법은 훨씬 더 긴 시퀀스의 위치 좌표를 원래 학습 길이의 범위로 수학적으로 압축합니다. YaRN과 같은 적응형 방법은 RoPE 파라미터의 회전 주파수를 동적으로 조정하여, 모델의 거리 이해를 매끄럽게 늘립니다.

명시적 포지셔널 인코딩 없는 트랜스포머

놀랍게도, 명시적 포지셔널 인코딩이 항상 반드시 필요한 것은 아닐 수 있다는 연구도 있습니다. 디코더 전용 인과 언어 모델에서는, 표준 인과 마스킹(토큰이 과거만 보도록 강제하는 메커니즘)이 본질적으로 시간 순서 정보를 누출합니다.

이는 전략적 온도 튜닝과 아키텍처 조정을 통해, 인과 마스크만으로도 위치 규칙을 암묵적으로 학습할 수 있음을 의미할 수 있습니다.

과제와 미래 방향

궁극의 과제는 엄격한 적응(특정 시퀀스 길이에 대해 성능 최적화)과 완벽한 외삽(모델이 무한히 일반화) 간의 지속적인 트레이드오프를 부각합니다.

새롭게 떠오르는 연구 영역은 멀티모달 인코딩에 집중하고 있습니다. 3D 비디오 좌표를 텍스트 및 오디오 스트림과 결합하는 범용 포지셔널 표현을 만드는 것이 차세대 인공지능 모델의 목표 중 하나입니다.

결론

포지셔널 인코딩은 병렬 처리와 순차적 이해 사이의 간극을 메워, 순서를 유지한 채 대량의 데이터를 처리하는 모델을 만들 수 있게 합니다. 우리는 학습형 및 상대 임베딩이 제공하는 극도의 유연성과, RoPE와 ALiBi 같은 현대적 혁신이 수학적 우아함과 계산 효율성을 모두 최적화하는 방식을 살펴보았습니다.

컨텍스트 윈도우가 수천 토큰에서 수백만 토큰으로 확장됨에 따라, 신경망에 사물이 정확히 어디에 있는지 알려주는 단순한 수학적 행위는 모델 설계의 핵심에 남을 것입니다.

더 깊이 배우고 실습해 보고 싶다면, Developing Large Language Models 스킬 트랙에 등록해 보세요.