After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
코스 설명
트랜스포머 아키텍처 심층 탐구
트랜스포머 모델은 텍스트 모델링에 혁신을 가져왔으며, 오늘날의 대규모 언어 모델(LLM)을 가능하게 하여 생성형 AI 붐의 시작을 이끌었습니다. 이 강의에서는 위치 인코딩, 어텐션 메커니즘, 피드포워드 서브레이어를 포함해 이 아키텍처의 핵심 구성 요소를 살펴봅니다. 이러한 구성 요소들을 모듈식으로 코딩하여 자신만의 트랜스포머를 단계별로 구축하게 됩니다.PyTorch로 어텐션 메커니즘 구현하기
어텐션 메커니즘은 트랜스포머 아키텍처를 정립하는 데 도움을 준 핵심 발전입니다. 셀프 어텐션은 트랜스포머가 토큰 간의 관계를 더 잘 파악하도록 해 주며, 이를 통해 생성되는 텍스트의 품질이 향상됩니다. 트랜스포머 모델의 핵심 구성 요소가 될 멀티헤드 어텐션 메커니즘 클래스를 만드는 방법을 배워보세요.나만의 트랜스포머 모델 구축하기
인코더 전용, 디코더 전용, 인코더-디코더 트랜스포머 모델을 구축하는 방법을 배워보세요. 텍스트 분류와 감성 분석, 텍스트 생성 및 완성, 시퀀스-투-시퀀스 번역을 포함한 다양한 언어 작업에 맞는 여러 트랜스포머 아키텍처를 선택하고 코딩하는 방법을 배워보세요.사전 요구 사항
커리큘럼
코스 개요
1
Transformer 모델의 구성 요소
현재 AI에서 가장 뜨거운 딥러닝 아키텍처가 어떻게 동작하는지 알아보세요! 유명한 논문 "Attention is All You Need"에서 설명한 셀프 어텐션 메커니즘을 포함해, Transformer 모델을 이루는 핵심 구성 요소들을 학습합니다.
2
Transformer 아키텍처 구축
Transformer 인코더와 디코더 블록을 설계하고, 이를 positional encoding, multi-headed attention, position-wise feed-forward network와 결합해 나만의 Transformer 아키텍처를 구축해 보세요. 과정을 통해 Transformer가 내부적으로 어떻게 작동하는지 깊이 이해하고 통찰을 얻을 수 있습니다.
PyTorch로 배우는 Transformer 모델
코스
완료
