courses
OpenAI API 활용하기
3
172.6K
OpenAI는 최신 대형 언어 모델인 GPT-4o를 발표했습니다. GPT-4 Turbo의 후속작입니다. 이 가이드를 통해 기능, 성능, 활용 방법을 살펴보세요.
OpenAI의 GPT-4o란 무엇인가요?
GPT-4o는 OpenAI의 최신 LLM입니다. GPT-4o의 'o'는 라틴어로 "모두"를 의미하는 "omni"를 뜻하며, 이 새 모델이 텍스트, 오디오, 이미지, 비디오가 혼합된 프롬프트를 받을 수 있음을 나타냅니다. 이전에는 ChatGPT 인터페이스가 콘텐츠 유형마다 별도 모델을 사용했습니다.
예를 들어, 음성 모드로 ChatGPT와 대화할 때는 Whisper가 음성을 텍스트로 변환하고, GPT-4 Turbo가 텍스트 응답을 생성한 뒤, TTS가 그 텍스트를 음성으로 변환했습니다.
음성 입력을 처리하는 GPT-4 Turbo와 GPT-4o의 비교
마찬가지로, ChatGPT에서 이미지를 다룰 때는 GPT-4 Turbo와 DALL-E 3의 조합을 사용했습니다.
여러 미디어를 단일 모델로 처리하면 속도와 결과 품질이 향상되고, 인터페이스가 단순해지며, 새로운 활용 사례도 가능해집니다.
GPT-4o mini란?
GPT-4o Mini는 GPT-4o의 간소화되고 더 빠른 버전으로, 속도와 효율성에 초점을 맞춘 작업을 처리하도록 설계되었습니다. 더 큰 GPT-4o 모델에서 지식 증류 과정을 통해 파생되었습니다.
텍스트, 오디오, 이미지 등 멀티모달 입력을 처리하는 원본 모델의 역량을 상당 부분 유지하면서도, 빠른 응답이 중요한 경량 애플리케이션에 최적화되어 있습니다.
GPT-4o의 전체 연산 능력이 필요하지 않은 코딩, 디버깅, 실시간 상호작용에 비용 효율적인 솔루션이 필요한 개발자에게 특히 유용합니다.
GPT-4o mini에 대한 자세한 내용은 이 글에서 확인할 수 있습니다.
GPT-4o는 GPT-4 Turbo와 무엇이 다른가요?
올인원 모델 접근법으로 GPT-4o는 기존 음성 상호작용의 여러 한계를 극복합니다.
1. 음성 톤을 고려해 감정이 담긴 응답 제공
이전 OpenAI 시스템에서는 Whisper, GPT-4 Turbo, TTS를 파이프라인으로 결합했기 때문에 추론 엔진인 GPT-4는 발화된 단어만 접근할 수 있었습니다. 이 방식에서는 말투, 배경 소음, 여러 화자의 음성 식별 같은 정보가 버려졌습니다. 결과적으로 GPT-4 Turbo는 다양한 감정이나 말하기 스타일을 제대로 표현하기 어려웠습니다.
텍스트와 오디오를 함께 추론할 수 있는 단일 모델을 사용함으로써, 이러한 풍부한 오디오 정보를 활용해 더 다양한 말하기 스타일과 더 높은 품질의 응답을 제공할 수 있습니다.
다음은 OpenAI가 제공한 예시로, GPT-4o가 빈정대는 어조의 출력을 제공합니다.
4. 비(非)로마자 알파벳의 토큰화 개선으로 속도 및 비용 효율 향상
LLM 워크플로의 한 단계는 프롬프트 텍스트를 토큰으로 변환하는 과정입니다. 토큰은 모델이 이해할 수 있는 텍스트의 단위입니다.
영어에서는 일반적으로 하나의 토큰이 하나의 단어나 문장 부호에 해당하지만, 일부 단어는 여러 토큰으로 분해될 수 있습니다. 평균적으로 영어 단어 세 개는 약 네 개의 토큰을 차지합니다.
언어가 더 적은 토큰으로 표현될수록 필요한 계산량이 줄고, 텍스트 생성 속도가 빨라집니다.
또한 OpenAI는 API 입력/출력 토큰당 비용을 청구하므로, 토큰 수가 적을수록 API 사용자 비용이 낮아집니다.
GPT-4o는 텍스트당 필요한 토큰 수를 줄이는 개선된 토큰화 모델을 갖추고 있습니다. 이 개선은 주로 로마자 알파벳을 사용하지 않는 언어에서 두드러집니다.
예를 들어, 인도계 언어의 경우 힌디, 마라티, 타밀어, 텔루구어, 구자라티에서 토큰이 2.9배에서 4.4배까지 감소했습니다. 아랍어는 2배, 중국어, 일본어, 한국어, 베트남어 등 동아시아 언어는 1.4배에서 1.7배의 감소를 보였습니다.
5. 무료 요금제까지 순차 제공
OpenAI의 기존 ChatGPT 가격 정책에서는 최고 성능 모델에 접근하려면 유료 결제가 필요했습니다. GPT-4 Turbo는 Plus 및 Enterprise 유료 요금제에서만 제공되었습니다.
이제 변경되어, OpenAI는 GPT-4o를 무료 요금제에도 제공하겠다고 약속했습니다. Plus 사용자는 무료 요금제 사용자보다 다섯 배 많은 메시지를 보낼 수 있습니다.
출시는 점진적으로 이뤄지며, 즉시 레드팀(문제를 찾기 위해 모델을 깨뜨리려는 테스터) 접근이 시작되고, 시간이 지남에 따라 더 많은 사용자가 접근 권한을 얻게 됩니다.
6. ChatGPT 데스크톱 앱 출시
GPT-4o에만 국한된 업데이트는 아니지만, OpenAI는 ChatGPT 데스크톱 앱 출시도 발표했습니다. 앞서 언급한 지연 시간과 멀티모달 업데이트, 그리고 앱 출시로 인해 ChatGPT를 사용하는 방식이 바뀔 가능성이 큽니다. 예를 들어, OpenAI는 음성과 ChatGPT 데스크톱 앱을 활용한 증강 코딩 워크플로 데모를 선보였습니다. 사용 사례 섹션으로 내려가면 실제 예시를 볼 수 있습니다!
GPT-4o는 어떻게 작동하나요?
여러 콘텐츠 유형, 하나의 신경망
GPT-4o의 작동 방식에 대한 세부 정보는 아직 많지 않습니다. OpenAI가 발표에서 제공한 유일한 내용은 GPT-4o가 텍스트, 비전, 오디오 입력으로 학습된 단일 신경망이라는 점입니다.
이 새로운 접근 방식은 데이터 유형별로 별도 모델을 학습시키던 기존 기법과 다릅니다.
다만, GPT-4o가 멀티모달 접근을 최초로 시도한 모델은 아닙니다. 2022년에는 텐센트 연구실이 SkillNet을 만들어, LLM 트랜스포머 특성과 컴퓨터 비전 기법을 결합해 한자 인식 능력을 향상시킨 바 있습니다.
2023년에는 ETH 취리히, MIT, 스탠퍼드 팀이 BERT 계열의 변형인 WhisBERT를 만들었습니다. 최초는 아니지만, GPT-4o는 이러한 초기 시도들보다 훨씬 더 야심차고 강력합니다.
GPT-4o는 GPT-4 Turbo와 비교해 급진적인 변화인가요?
GPT-4o의 아키텍처 변화가 GPT-4 Turbo 대비 얼마나 급진적인지는 OpenAI의 엔지니어링 팀과 마케팅 팀 중 누구에게 묻느냐에 따라 다릅니다. 4월에 LMSYS의 Chatbot Arena(최고 생성형 AI 순위표)에 "im-also-a-good-gpt2-chatbot"이라는 봇이 등장했는데, 그 정체가 바로 GPT-4o로 밝혀졌습니다.
이름의 "gpt2" 부분이 중요합니다. GPT-3.5와 GPT-4의 전신인 GPT-2와 혼동하지 말아야 하며, 접미사 "2"는 GPT 계열 모델의 완전히 새로운 아키텍처를 의미한다는 해석이 지배적이었습니다.
분명히 OpenAI 연구 혹은 엔지니어링 팀 내부에서는 텍스트, 비전, 오디오를 단일 모델로 결합하는 변화가 6년 만의 첫 메이저 버전 상승을 정당화할 만큼 크다고 보는 시각이 있습니다.
반면 마케팅 팀은 비교적 온건하게 "GPT-4" 네이밍을 이어가기로 했습니다.
GPT-4o 성능: 다른 모델과의 비교
OpenAI는 GPT-4o를 여타 고급 모델과 비교한 벤치마크 수치를 공개했습니다.
- GPT-4 Turbo
- GPT-4 (초기 릴리스)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
이 중 실제 비교에서 중요한 모델은 세 개뿐입니다. GPT-4 Turbo, Claude 3 Opus, Gemini Pro 1.5는 최근 몇 달간 LMSYS Chatbot Arena 순위표의 최상위를 두고 경쟁해 왔습니다.
Llama 3 400B는 잠재적 경쟁자지만 아직 완성되지 않았습니다. 따라서 여기서는 이 세 모델과 GPT-4o의 결과만 제시합니다.
여섯 가지 벤치마크 결과가 사용되었습니다.
- MMLU(Massive Multitask Language Understanding). 초등 수학, 미국 역사, 컴퓨터 과학, 법률 등 다양한 과제. 높은 정확도를 위해서는 폭넓은 배경지식과 문제 해결 능력이 필요합니다.
- GPQA(Graduate-Level Google-Proof Q&A). 생물학, 물리학, 화학 분야 전문가가 출제한 객관식 질문. 매우 난도가 높으며, 해당 분야 박사 또는 박사과정 전문가의 정확도는 74%에 달합니다.
- MATH. 중·고등학교 수학 문제.
- HumanEval. 코드 생성 점검을 위한 컴퓨터 코드의 기능적 정확성 테스트.
- MSGM(Multilingual Grade School Math). 벵골어, 스와힐리어 등 저대표 언어를 포함한 10개 언어로 번역된 초등 수학 문제.
- DROP(Discrete Reasoning Over Paragraphs). 여러 문장에 흩어진 값을 더하고, 세고, 정렬하는 등 단락 전체의 이해가 필요한 질문.
여섯 가지 LLM 벤치마크에서 GPT-4o, GPT-4 Turbo, Gemini Pro 1.5, Claude 3 Opus의 성능. 각 벤치마크 점수 범위는 0~100. OpenAI 제공 데이터를 바탕으로 재작성. GPQA 벤치마크에는 Gemini Pro 1.5 데이터가 제공되지 않음.
GPT-4o는 네 개 벤치마크에서 최고 점수를 기록했으며, MSGM에서는 Claude 3 Opus에, DROP에서는 GPT-4 Turbo에 뒤졌습니다. 전반적으로 인상적인 성능이며, 멀티모달 학습이라는 새로운 접근의 가능성을 보여줍니다.
GPT-4o 수치를 GPT-4 Turbo와 면밀히 비교해 보면, 성능 향상이 수 퍼센트포인트 수준임을 알 수 있습니다.
1년 만에 이 정도의 향상은 대단하지만, GPT-1에서 GPT-2, GPT-2에서 GPT-3로의 극적인 도약과는 거리가 있습니다.
텍스트 추론에서 해마다 10%가량 더 좋아지는 정도가 새로운 표준이 될 가능성이 큽니다. 쉬운 과제는 이미 해결되었고, 텍스트 추론에서 큰 도약을 이어가기는 어렵기 때문입니다.
반면, 이러한 LLM 벤치마크는 멀티모달 문제에서의 AI 성능을 포착하지 못합니다. 이 개념이 매우 새로워 텍스트, 오디오, 비전을 아우르는 모델의 성능을 측정할 좋은 방법이 아직 없습니다.
종합적으로 GPT-4o의 성능은 인상적이며, 멀티모달 학습의 새로운 접근에 대한 기대를 갖게 합니다.
GPT-4o 활용 사례는 무엇인가요?
1. 데이터 분석 및 코딩 작업을 위한 GPT-4o
최근 GPT 계열 모델과 GitHub Copilot 같은 파생 모델은 코드를 작성하고, 오류를 설명·수정하는 등 코딩 보조가 이미 가능합니다. GPT-4o의 멀티모달 기능은 흥미로운 가능성을 더합니다.
OpenAI CTO 미라 무라티가 진행한 홍보 영상에서, OpenAI 연구원 Mark Chen과 Barret Zoph가 GPT-4o를 사용해 Python 코드를 다루는 모습을 시연했습니다.
코드는 텍스트로 GPT에 공유하고, 음성 상호작용 기능으로 코드 설명을 요청합니다. 이후 코드를 실행한 뒤에는 GPT-4o의 비전 기능으로 플롯을 설명하게 합니다.
전반적으로, 화면을 ChatGPT에 보여주고 음성으로 질문하는 방식은, 플롯을 이미지 파일로 저장해 업로드한 다음 질문을 타이핑하는 것보다 더 간단한 워크플로가 될 수 있습니다.
4. 시각장애인 보조를 위한 GPT-4o
카메라의 비디오 입력을 이해하고 장면을 음성으로 설명하는 GPT-4o의 능력은 시각장애인에게 필수 기능이 될 수 있습니다. TV의 화면해설 기능을 현실 세계에 확장한 것과 같습니다.
GPT-4o 직접 사용기
저는 발표 직후부터 GPT-4o의 일부 새 기능에 접근할 수 있었고(아쉽게도 아직 음성 채팅은 불가), 많은 출력에 깊은 인상을 받았습니다. 응답이 더 빠르고 일관되며, 이전보다 제 요청을 더 잘 이해하는 듯합니다. 물론 완벽하다고 할 수는 없습니다.
아래는 ChatGPT-4o와 상호작용한 몇 가지 예시입니다.
데이터 분석 작업
먼저 음성 채팅을 사용해, 제가 응원하는 축구팀 리즈 유나이티드의 성과를 어떻게 분석할지 아이디어가 있는지 물었습니다. 여러 옵션과 함께 예시 Python 코드도 제공했습니다:
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
하지만 이 생각을 더 깊게 파고들자 다소 엇나갔습니다. 실제 데이터를 달라고 하자 웹에서 두 개의 좋은 소스를 찾았지만, 통계를 잘못 보고했습니다. 리즈는 정규 시즌에서 46경기를 치르고 81골, 득실 +38이었는데, 응답에는 40경기라고 했습니다.
그 다음 각 팀을 상대로 기록한 득점을 시각화해 달라고 요청했습니다:
역시 요청대로 시각화를 만들기는 했고, 겉보기에는 그럴듯합니다. 하지만 실제로는 많은 데이터가 부정확하게 지어졌습니다(팀이 중복 등장, 득점 누락, 리즈와 같은 디비전에 속하지 않은 팀 포함 등).
공정하게 말하면, 제가 완전한 데이터셋을 제공했다면 성능이 더 나았을 것이라 생각합니다. 다만 자신 있게 답을 꾸며내기보다는 그렇게 말해줬으면 좋겠습니다.
이미지 분석
다음으로 제 식물 사진을 분석해 달라고 요청했습니다. 아직 통합 비전 기능에 접근할 수 없어, 사진을 찍어 이게 어떤 식물인지 물었습니다:
나쁘지 않은 시도지만 완전히 정확하진 않습니다. 분재가 맞기는 하지만 Carmona retusa가 아니라 Ilex crenata입니다. 두 식물이 꽤 비슷하게 생겼기 때문에 쉬운 실수이고, 관리 방법에 대한 추가 맥락은 유용했습니다.
이미지 생성
마지막으로 새 모델의 이미지 기능을 시험해 보았습니다. 먼저 제 거북이 Darwin의 사진을 보여주고 제 친구에 대해 말해 달라고 했습니다:
이번에도 거의 맞았지만 완벽하진 않습니다. Darwin은 헤르만거북이 아니라 러시아거북(Horsefield)입니다. 하지만 매우 비슷하게 생겨서 이해할 만합니다. 이어서 원본 이미지를 호쿠사이 스타일로 재현해 달라고 요청했습니다. 결과는 다음과 같습니다:
꽤 좋은 시도이지만, 원본 이미지와의 유사성은 많지 않습니다. 그럴 수 있다고 봅니다. 생성에는 다소 시간이 걸렸습니다.
전반적으로 새 모델의 반응성과 제 요청을 이해하는 능력에 만족했습니다. 완벽과는 거리가 있고, 여전히 자신 있게 환각을 하기도 하지만, 개선된 음성과 통합 비전을 직접 써볼 날이 기대됩니다.
GPT-4o의 한계와 위험
생성형 AI에 대한 규제는 아직 초기 단계이며, 현재까지 주목할 만한 법적 프레임워크는 EU AI Act 정도입니다. 따라서 AI를 만드는 기업들은 안전한 AI의 기준에 대해 자체적으로 일부 결정을 내려야 합니다.
OpenAI는 새로운 모델을 대중에 공개할 준비가 되었는지 판단하기 위한 준비성 프레임워크를 운영합니다.
이 프레임워크는 네 가지 우려 분야를 테스트합니다.
- 사이버보안: AI가 사이버 범죄자의 생산성을 높이고 익스플로잇 제작을 돕는가?
- BCRN: AI가 생물학, 화학, 방사능, 핵 위협을 만드는 데 전문가를 도울 수 있는가?
- 설득: AI가 사람들의 신념을 바꾸도록 설득하는(잠재적으로 대화형) 콘텐츠를 만들 수 있는가?
- 모델 자율성: AI가 다른 소프트웨어와 함께 행동을 수행하는 에이전트로서 작동할 수 있는가?
각 우려 분야는 낮음, 중간, 높음, 중대 중 하나로 등급이 매겨지며, 모델의 점수는 네 가지 범주 중 최고 등급으로 결정됩니다.
OpenAI는 중대 위험 모델은 출시하지 않겠다고 약속합니다. 다만 이는 비교적 낮은 안전 기준으로, 해당 정의에서 중대 위험은 인류 문명을 뒤흔들 수준에 해당합니다. GPT-4o는 중간 수준으로 평가되어 이 기준을 무난히 통과했습니다.
불완전한 출력
모든 생성형 AI와 마찬가지로, 모델은 항상 의도대로 동작하지 않습니다. 컴퓨터 비전은 완벽하지 않기 때문에 이미지나 비디오 해석이 항상 정확하다고 보장할 수 없습니다.
마찬가지로, 특히 화자의 강한 억양이나 전문 용어 사용이 있을 경우 음성 전사는 거의 100% 정확하지 않습니다.
OpenAI는 GPT-4o가 의도대로 작동하지 않은 NG 영상도 공개했습니다.
특히 두 비영어권 언어 간 번역이 실패 사례 중 하나였습니다. 그 외에는 부적절한 말투(가르치려 드는 톤)와 잘못된 언어로 발화하는 문제도 있었습니다.