자기 지도 학습: 레이블 없는 데이터로 모델이 학습하는 방법

모든 머신러닝 프로젝트는 결국 레이블이 필요한 지점에 도달하지만, 레이블링에는 대부분의 팀이 감당하기 어려운 시간과 비용이 듭니다.

백만 장의 이미지를 태깅하거나 백만 개의 오디오 클립을 전사하기 위해 팀을 고용하면 비용이 수십만 달러에 이를 수 있습니다. 한편, 인터넷에는 레이블이 없는 텍스트, 이미지, 오디오, 동영상이 넘쳐납니다. ML 팀은 사용할 수 있는 것보다 훨씬 더 많은 원시 데이터를 갖고 있지만, 그중 모델 학습에 필요한 레이블이 함께하는 데이터는 거의 없습니다.

자기 지도 학습은 레이블링 단계가 필요 없습니다. 데이터의 구조 자체를 학습 정보로 바꿉니다. 사람에게 이미지에 무엇이 있는지, 문장의 의미가 무엇인지 말하도록 비용을 지불하는 대신, 데이터만으로 이미 답할 수 있는 과제를 설정합니다. 예를 들어 단어를 가리고 주변 단어로부터 모델이 그것을 추론하게 하는 방식입니다.

이 글에서는 자기 지도 학습이 어떻게 작동하는지 자세히 설명하고, 주요 기법을 살펴본 뒤, 지도 학습, 비지도 학습, 준지도 학습과 비교합니다.

자기 지도 학습이란?

자기 지도 학습은 데이터를 사람이 먼저 수작업으로 레이블링하지 않고 모델을 학습하는 방법입니다.

사람이 각 예시에 태그를 다는 대신, 데이터 자체가 정답지를 갖습니다. 모델은 입력의 일부를 보고 다른 일부를 가린 뒤, 그 빈칸을 채우려 시도하며 학습합니다. 사람의 개입이 필요 없습니다.

예를 들어 문장에서 한 단어를 가리고, 주변 단어를 바탕으로 모델에게 맞혀 보라고 할 수 있습니다. "The engineer pushed the ___ to the main branch"라는 문장만으로도 모델은 충분한 문맥을 통해 사람이 정답을 알려주지 않아도 "code"나 "changes"와 같은 답을 추론할 수 있습니다. 문장 자체가 레이블인 것입니다.

자기 지도 학습은 두 범주 사이의 독특한 위치에 있습니다. 학습 목적은 지도 학습처럼 보입니다. 즉, 명확한 입력과 목표가 있고, 예측이 얼마나 틀렸는지 측정하는 손실 함수가 있습니다. 그러나 그 목표를 사람이 만든 것이 아니기 때문에 대개 비지도 학습과 함께 분류됩니다. 비지도 학습 역시 원시의 레이블 없는 데이터를 다루기 때문입니다. 자기 지도 학습은 한쪽의 메커니즘과 다른 쪽의 데이터 출처를 차용합니다.

자기 지도 학습은 어떻게 작동할까요?

데이터 종류와 상관없이 과정은 반복 가능한 패턴을 따릅니다. 단계는 다음과 같습니다.

1. 레이블이 없는 데이터로 시작: 텍스트, 이미지, 오디오, 비디오 등 무엇이든 좋습니다. 많이만 있으면 됩니다.
2. 데이터 자체로 학습 과제 만들기: 이를 사전학습 과제(pretext task)라고 합니다. 실제로 중요하게 여기는 과제가 아니라, 모델이 유용한 것을 학습하도록 만드는 인위적 문제입니다. 단어를 가리고 예측하게 하는 것이 그 예입니다.
3. 그 과제를 풀도록 모델 학습: 모델이 추측하고 실제 값과 비교해 보며 조정합니다.
4. 유용한 표현 학습: 사전학습 과제를 푸는 동안 모델은 문법, 문맥, 형태, 패턴 등 데이터 구조에 대한 내부 이해를 쌓습니다.
5. 그 표현을 다운스트림 작업에 적용: 충분히 탄탄한 표현을 학습한 후에는 실제로 풀고자 했던 작업에 모델을 투입합니다. 이것이 다운스트림 작업입니다.

사전학습 과제는 말 그대로 훈련용 연습 문제일 뿐입니다. 빈칸 채우기 자체를 위해 모델을 배포하지는 않습니다. 가치가 생기는 지점은 그 과정에서 습득한 표현이 실제 문제로 이전될 때입니다.

자기 지도 학습과 다른 학습 방법의 비교

자기 지도 학습을 이해하는 가장 쉬운 방법은 다른 학습 패러다임과의 공통점과 차이점을 보는 것입니다.

자기 지도 vs. 지도 학습

지도 학습은 각 입력마다 레이블이 필요합니다. 예를 들어 "dog"로 태깅된 이미지나 "negative"로 태깅된 후기처럼요. 누군가가 손으로 그 레이블을 만들어야 하므로, 비용과 시간이 들고 현실적으로 사용할 수 있는 데이터량에 한계가 생깁니다.

자기 지도 학습에서는 모델이 예측해야 할 목표가 여전히 있지만, 그 목표는 데이터 자체에서 나옵니다. 예를 들어 가려진 단어나 시퀀스의 다음 토큰입니다. 학습 신호를 생성하는 데 사람의 주석이 필요하지 않습니다.

자기 지도 vs. 비지도 학습

두 방법 모두 레이블이 없는 데이터를 다루기 때문에 자주 혼동됩니다. 차이는 학습 목표에 있습니다.

비지도 학습은 특정 예측 목표 없이 구조를 찾습니다. 예를 들어 비슷한 고객들을 클러스터링하거나 데이터셋의 차원을 줄이는 작업입니다. 자기 지도 학습은 데이터로부터 명시적인 예측 과제를 만들어 모델을 그것을 풀도록 학습합니다. 이러한 예측 목적 덕분에, 레이블은 자체 생성되지만 학습 루프는 지도 학습과 유사해집니다.

자기 지도 vs. 준지도 학습

준지도 학습은 의도적으로 소량의 레이블 데이터와 더 큰 규모의 비레이블 데이터를 섞어 동시에 사용하여 모델을 개선합니다.

자기 지도 사전학습은 시작하는 데 레이블이 전혀 필요하지 않습니다. 완전히 레이블이 없는 데이터로만 사전학습한 뒤, 필요하면 나중에 레이블된 데이터셋으로 미세 조정할 수 있습니다. 레이블이 등장하더라도, 사전학습 이후 단계입니다.

다른 방법과 비교한 자기 지도 학습

자기 지도 학습의 유형

자기 지도 기법은 몇 가지 큰 계열로 나뉘며, 각기 다른 유형의 사전학습 과제에 기반합니다.

대조 학습

대조 학습은 관련 있는 예시와 관련 없는 예시를 구분하도록 모델을 훈련합니다. 수동 레이블 없이도 유사한 예시의 표현은 더 가깝게, 서로 다른 예시는 더 멀어지도록 만듭니다.

같은 이미지의 두 가지 증강 버전은 관련된 것으로 간주됩니다. 이미지와 그에 맞는 캡션 또한 관련됩니다. SimCLR은 동일 모달리티 내에서 이 아이디어를 적용하여 같은 이미지의 다른 크롭이나 변환을 비교합니다. CLIP은 모달리티를 넘나들며 이미지를 그것을 설명하는 텍스트와 정렬시킵니다.

마스킹 모델링

마스킹 모델링은 입력의 일부를 가리고 모델이 그것을 복원하도록 학습합니다. 앞서 소개한 빈칸 채우기 아이디어를 더 넓게 적용한 것입니다.

언어에서는 일부 단어를 가리고 나머지로 예측하는 마스크드 언어 모델링으로 나타납니다. 비전에서는 이미지의 패치를 가리고 모델이 누락된 픽셀이나 그 기저 표현을 복원하게 하는 마스크드 이미지 모델링으로 나타납니다.

오토리그레시브 학습

오토리그레시브 학습은 앞선 모든 요소를 사용해 시퀀스의 다음 요소를 예측합니다. 문장의 시작이 주어지면 다음 단어를 예측하고, 그다음에는 또 다음 단어를 예측하는 식입니다.

이는 대부분의 현대 언어 모델 사전학습의 목표입니다. 텍스트는 원래 좌에서 우로 이어지는 시퀀스이기에 자연스럽고, 추가 설정 없이도 방대한 텍스트 코퍼스에 깔끔하게 확장됩니다.

셀프 디스틸레이션

셀프 디스틸레이션은 데이터에 숨겨진 고정 답안 대신 모델 자신의 예측을 목표로 사용해 학습합니다.

일반적인 설정은 같은 네트워크의 두 버전(“학생”과 “교사”)을 동일 입력의 서로 다른 뷰에 대해 실행하는 것입니다. 학생은 교사의 출력을 맞추도록 배우고, 교사는 학생의 지수이동평균으로 천천히 업데이트됩니다. DINO와 BYOL이 대표적 접근입니다. 음성 쌍이나 마스크 입력이 필요 없으며, 모델은 서로 다른 뷰 간의 일관성으로부터 스스로 감독 신호를 끌어냅니다.

대규모 언어 모델에서의 자기 지도 학습

자기 지도는 대규모 언어 모델의 전체 사전학습 단계입니다. 여러분이 사용하는 모든 주요 LLM은 레이블 없는 원시 텍스트에서 자기 지도 사전학습 과제를 풀어가며 언어 구조, 사실, 추론 패턴을 학습했습니다.

다음 토큰 예측

대부분의 현대 LLM은 다음 토큰 예측으로 사전학습합니다. 즉, 토큰 시퀀스가 주어지면 그다음에 올 토큰을 예측합니다. 모델은 특정 위치 이전의 모든 것을 읽고 뒤를 추측한 다음, 실제 다음 토큰과 비교해 자신을 조정합니다.

이 과정을 웹사이트와 코드 저장소에서 수집한 수조 개 토큰에 걸쳐 수행하면, 모델은 그 과정에서 문법, 사실, 심지어 추론 패턴의 작동 모델을 구축합니다. 앞서 언급한 오토리그레시브 목적을 대규모로 적용한 것입니다.

마스크드 언어 모델링

오토리그레시브 사전학습이 대세가 되기 전, BERT와 같은 모델은 다른 사전학습 과제를 사용했습니다. 다음에 올 것을 예측하는 대신, 문장 전반에 무작위로 토큰을 가리고 양방향 문맥을 사용해 이를 예측합니다.

양방향 문맥 덕분에 마스크드 언어 모델은 텍스트를 생성하지는 않더라도 분류나 질의응답 같은 이해 과제에 강점을 보입니다.

대규모 텍스트 코퍼스에서의 학습

이 모든 것은 데이터의 양이 뒷받침되지 않으면 작동하지 않습니다. 사전학습은 웹페이지, 서적, 코드 저장소, 포럼 등에서 수집한 데이터를 정제·중복 제거하여 수십억~수조 개 토큰을 담은 코퍼스로 만듭니다. 코퍼스가 크고 다양할수록 생성되는 표현은 더 일반화됩니다.

사전학습은 자기 지도가 활약하는 단계지만, 마지막 단계는 아닙니다. 미세 조정은 사람이 작성한 지시 예시로 모델이 지시를 따르도록 가르치고, RLHF나 DPO 같은 선호 최적화는 사람의 선호 순위를 통해 응답을 다듬습니다. 이 두 후속 단계는 모두 레이블이 필요합니다. 자기 지도 사전학습만이 레이블이 필요 없는 유일한 단계입니다.

컴퓨터 비전에서의 자기 지도 학습

컴퓨터 비전은 레이블 데이터가 특히 부족한 대표 영역입니다. 바운딩 박스와 세그멘테이션 마스크 작성은 텍스트에 태그 하나 달기보다 훨씬 시간이 걸리므로, 자기 지도 방법이 이 분야에서 특히 가치가 컸습니다.

대조 이미지 학습은 앞서 설명한 ‘가까이 당기고 멀리 밀어내는’ 아이디어를 그대로 적용합니다. 같은 사진의 두 가지 증강본(크롭 또는 반전)을 관련된 것으로 인식하도록 모델을 훈련하고, 배치 내의 다른 이미지는 관련 없는 것으로 취급합니다. SimCLR은 이 접근을 이미지에 적용한 잘 알려진 예시입니다.

마스크드 이미지 모델링은 언어의 빈칸 채우기 아이디어를 픽셀에 적용합니다. 이미지를 패치 단위로 가리고 모델이 누락된 콘텐츠를 복원하도록 학습하는데, 원시 픽셀 자체를 복원하거나 학습된 특성 표현을 복원할 수 있습니다. 이는 MAE(Masked Autoencoders)의 목표이기도 합니다.

이미지-텍스트 정렬은 이미지를 그것들을 설명하는 캡션과 매칭하도록 모델을 학습합니다. 일치하는 쌍은 공유 임베딩 공간에서 가깝게, 불일치 쌍은 멀어지도록 합니다. CLIP이 가장 잘 알려진 예로, 이렇게 학습된 모델이 제로샷 분류를 지원하는 이유이기도 합니다. 이미지와 텍스트 설명을 비교하는 것만으로, 명시적으로 학습하지 않은 범주도 인식할 수 있습니다.

텍스트와 이미지를 넘어선 자기 지도 학습

사전학습 과제는 항상 데이터의 형태를 따릅니다. 따라서 레이블 없는 데이터가 많은 곳이라면 어디든 대개 자기 지도 과제를 설계할 수 있습니다.

음성 및 오디오에서는, 비전 모델이 이미지 크롭을 대조하듯 마스크드 오디오 구간을 예측하거나 서로 다른 클립을 대조합니다. 전사된 학습 데이터 없이도 음성 인식 같은 작업에 유용한 표현을 학습합니다.

비디오에서는, 미래 프레임을 예측하거나 같은 원본 비디오에서 나온 클립을 매칭하는 과제가 가능합니다. 단일 이미지로는 얻기 어려운 동작과 시간 구조에 대한 감각을 모델에 제공합니다.

멀티모달 모델은 이러한 아이디어를 결합해 텍스트, 이미지, 오디오, 비디오를 공유 표현 공간에 정렬합니다. CLIP이 이미지와 텍스트를 정렬하는 방식을 더 많은 데이터 유형으로 확장한 것과 유사합니다.

자기 지도는 과학 및 센서 데이터에서도 등장합니다. 예를 들어 유전체 서열이나 시계열 센서 측정치처럼, 신호의 일부를 가리거나 예측하게 하여 애초에 “레이블”을 염두에 두지 않은 측정값으로부터 구조를 학습하게 합니다.

자기 지도 모델의 다운스트림 활용

사전학습은 사전학습 과제를 잘 푸는 모델을 만듭니다. 하지만 그 자체는 목적이 아니며, 진짜 중요한 것은 그다음 활용입니다.

미세 조정

미세 조정은 사전학습된 모델의 모든 가중치를 고정하지 않고, 이번에는 실제로 원하는 작업의 레이블 데이터로 이어서 학습합니다. 모델이 이미 도메인 구조를 이해하고 있으므로, 처음부터 학습할 때보다 훨씬 적은 레이블 데이터로도 충분한 경우가 많습니다.

선형 프로빙

선형 프로빙은 사전학습된 모델을 완전히 고정하고, 그 출력 위에 단일 선형 계층만 학습합니다. 간단한 선형 분류기가 고정된 특성으로 클래스를 분리할 수 있다면, 사전학습 표현이 실제 구조를 포착했다는 뜻입니다. 따라서 선형 프로빙은 전체 모델의 미세 조정 성능과 별개로 표현 품질만을 평가하는 일반적 방법입니다.

특징 추출

특징 추출은 선형 프로빙과 유사하지만, 선형 계층 없이 진행합니다. 고정된 표현을 원하는 어떤 다운스트림 알고리즘에도 입력으로 사용할 수 있습니다. 사전학습 모델의 역할은 좋은 임베딩을 생성하는 것뿐이며, 그 이후는 전적으로 사용자의 선택입니다.

제로샷 및 퓨샷 활용

일부 표현은 다운스트림 학습 없이도 바로 활용할 만큼 충분히 강력합니다. CLIP은 이미지를 임베딩하고 후보 텍스트 레이블 세트를 같은 공간에 임베딩한 다음, 이미지에 가장 가까운 레이블을 선택하는 방식으로 이를 구현합니다. 퓨샷 학습은 같은 아이디어에 소수의 레이블 예시를 더합니다. 이미 표현에 대부분의 구조가 담겨 있으므로, 그 정도면 충분한 경우가 많습니다.

자기 지도 학습을 통해 재사용 가능한 표현을 얻게 됩니다. 한 번 사전학습하면, 동일한 코어를 다양한 다운스트림 작업에 대해 미세 조정, 프로빙, 특징 추출, 쿼리에 이르기까지 반복해서 사용할 수 있습니다. 가장 비용이 큰 작업은 사전학습 시 한 번만 일어나며, 작업별로 반복되지 않습니다.

Python에서의 자기 지도 학습

처음부터 자기 지도 시스템을 구축하기보다는, 사전학습된 모델을 사용하는 가벼운 예시를 보여드립니다. 워크플로를 이해하는 데 초점을 둡니다.

all-MiniLM-L6-v2는 sentence-transformers 패키지를 통해 사용할 수 있으며, 마스크드 언어 모델링 목표로 사전학습된 뒤 문장 쌍에 대한 대조 목표로 추가 학습되었습니다. 자기 지도 부분은 이미 끝났고, 여러분은 그 결과 표현을 활용하기만 하면 됩니다.

먼저 의존성을 설치하세요:

pip install sentence-transformers scikit-learn

이제 코드를 보겠습니다:

from sentence_transformers import SentenceTransformer
from sklearn.linear_model import LogisticRegression

# Create unlabeled data
support_tickets = [
    "My order arrived damaged and I need a replacement.",
    "The app crashes every time I try to upload a photo.",
    "I love how fast the checkout process is now.",
    "Can you tell me when my refund will be processed?",
    "The new dashboard layout is so much easier to use.",
    "I can't log in, it keeps saying my password is wrong.",
]

# Load a model pretrained with a self-supervised objective
model = SentenceTransformer("all-MiniLM-L6-v2")

# Obtain learned representations
embeddings = model.encode(support_tickets)
print(embeddings.shape)

임베딩 형태

.encode() 메서드는 각 티켓을 사전학습된 모델로 처리해 그 의미를 나타내는 밀집 벡터를 반환합니다. 그다음부터는 임베딩에 이미 대부분의 구조가 담겨 있으므로, 다운스트림 작업에는 소수의 레이블 예시만 있어도 됩니다.

# Use the representations for a downstream task, 1 = complaint, 0 = positive feedback
labels = [1, 1, 0, 1, 0, 1]

clf = LogisticRegression()
clf.fit(embeddings, labels)

new_ticket = ["The delivery was late and no one responded to my email."]
new_embedding = model.encode(new_ticket)
print(clf.predict(new_embedding))

로지스틱 회귀 예측

여기서는 6개의 레이블된 티켓과 LogisticRegression 분류기만으로 충분합니다. 분류기보다는 표현이 대부분의 일을 하고 있기 때문입니다.

자기 지도 학습의 장점과 한계

이제 자기 지도 학습의 장단점을 살펴보겠습니다.

장점

1. 수작업 레이블 의존도 감소: 사전학습 과제가 자체적으로 목표를 생성하므로, 레이블링 예산이 학습 데이터 규모의 상한이 되지 않습니다.
2. 매우 큰 데이터셋 활용: 웹 규모의 텍스트와 오디오 컬렉션을 학습에 활용할 수 있으며, 팀이 주석을 달 수 있었던 작은 레이블 하위집합에만 의존하지 않아도 됩니다.
3. 전이 가능한 표현 생성: 하나의 사전학습 모델이 여러 다운스트림 작업에서 미세 조정, 선형 프로빙, 특징 추출, 제로샷 활용을 지원할 수 있습니다.
4. 대규모 사전학습 가능: 오늘날의 파운데이션 모델이 가능해진 근본 이유입니다.

한계

1. 막대한 연산 자원 필요: 인터넷 규모 데이터로 사전학습하려면 상당한 하드웨어와 시간이 필요하며, 대부분의 개별 팀이 감당하기 어렵습니다.
2. 사전학습 과제 설계의 중요성: 과제를 잘못 고르면 데이터가 아무리 많아도 전이 성능이 떨어지는 표현이 만들어집니다.
3. 학습된 표현의 편향 상속: 학습 데이터에 존재하는 어떤 패턴, 공백, 왜곡이든 사전학습 중 걸러지지 않기 때문에 표현에도 그대로 나타납니다.
4. 강한 사전학습 성능 ≠ 다운스트림 성공 보장: 사전학습 과제를 잘 푸는 모델이라도, 직접 최적화되지 않은 특정 다운스트림 작업에서는 성능이 떨어질 수 있습니다.

현대 AI에서 자기 지도 학습이 중요한 이유

자기 지도 학습은 파운데이션 모델이 가능해진 이유입니다.

현대 모델이 요구하는 규모의 사전학습은 수작업 레이블에 의존했다면 불가능했을 것입니다. 누구도 수조 개의 텍스트 토큰이나 수십억 장의 이미지를 손으로 레이블링하지 않습니다. 자기 지도는 인터넷 규모 컬렉션으로 사전학습한 뒤, 작업마다 별도 모델을 학습하는 대신 하나의 모델을 광범위한 다운스트림 작업에 재사용하는 것을 실용적으로 만들었습니다.

여러 작업별 모델에서 하나의 범용 사전학습 모델을 다양한 용도로 적응시키는 방식으로 바뀐 것이 현대 AI의 주된 흐름입니다. 자기 지도 학습은 그 변화를 가능하게 한 메커니즘입니다.

결론

자기 지도 학습은 사람이 쓴 레이블 대신 레이블 없는 데이터의 구조에서 스스로 감독 신호를 생성합니다. 전형적인 패턴은 단어를 가리거나 다음 토큰을 예측하는 것입니다. 데이터가 스스로 질문에 답하고, 모델은 그 답을 맞히려 애쓰며 학습합니다.

주요 접근법은 모두 그 아이디어를 다른 방식으로 확장합니다. 대조 학습은 관련 예시는 당기고, 관련 없는 예시는 밀어냅니다. 마스킹 모델링은 입력의 일부를 가리고 복원하도록 학습합니다. 오토리그레시브 학습은 앞선 모든 것에서 시퀀스의 다음 요소를 예측합니다. 메커니즘은 다르지만, 데이터의 구조 자체가 학습 신호를 제공하게 한다는 기본 원리는 같습니다.

이 원리 덕분에 여러분이 이미 사용하는 대부분의 언어, 비전, 멀티모달 모델 뒤에는 자기 지도가 있습니다. LLM은 다음 토큰 예측으로 사전학습되고, 비전 모델은 대조 및 마스크 목적을 사용해 사전학습되며, 멀티모달 모델은 이미지-텍스트 정렬로 두 영역을 연결합니다.

처음부터 LLM을 만드는 법을 배우고 싶다면, PyTorch, Hugging Face, 최신 NLP 기법을 실전에서 다루는 Developing Large Language Models 트랙에 등록해 보세요.