GPT-4 is de meest geavanceerde generatieve AI die door OpenAI is ontwikkeld. Het verandert de manier waarop we werken ingrijpend. GPT-4 is echter niet open-source, wat betekent dat we geen toegang hebben tot de code, modelarchitectuur, data of modelgewichten om de resultaten te reproduceren. We kunnen dus niet onze eigen GPT-4-achtige chatbot maken.
Om de balans te herstellen, zijn open-source LLM-gemeenschappen begonnen met het werken aan GPT-4-alternatieven die bijna vergelijkbare prestaties en functionaliteit bieden en minder rekenbronnen vereisen.
Je kunt meer leren over GPT-1, GPT-2, GPT-3 en GPT-4 in: Wat is GPT-4 en waarom is het belangrijk?, of je kunt leren hoe je ChatGPT voor data science-projecten gebruikt en prompt engineering onder de knie krijgen om beter te worden in het bouwen van end-to-end data science-projecten.
In dit artikel introduceren we 12 GPT-4-alternatieven met een korte beschrijving en links naar de relevante onderzoeksartikelen, blogposts, chatbotdemo’s, broncode en modelkaarten.
Let op: Sommige van de genoemde modellen hebben een niet-commerciële licentie, wat het gebruik beperkt tot onderzoeks- en academische doeleinden. Je moet deze beperkingen begrijpen voordat je ze gebruikt.
1. ColossalChat
ColossalChat is een open-sourceproject waarmee je AI-modellen kunt klonen met een complete RLHF-pijplijn (Reinforcement Learning from Human Feedback).
Het is volledig open-source en bevat de tweetalige dataset, trainingscode, demo en 4-bit gequantiseerde inferentie. Al deze componenten helpen je om goedkoper en sneller een aangepaste chatbot te bouwen.
Afbeelding van ColossalChat
- Onderzoeksartikel: Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training
- Blogpost: ColossalChat: An Open-Source Solution for Cloning ChatGPT With a Complete RLHF Pipeline
- GitHub: hpcaitech/ColossalAI
- Demo: ColossalChat (colossalai.org)
2. Alpaca-LoRA
Alpaca-LoRA is een model dat is gemaakt met behulp van Stanford Alpaca en low-rank adaptation (LoRA). Dankzij low-rank adaptation kun je een Instruct-model van vergelijkbare kwaliteit als GPT-3.5 draaien op een Raspberry Pi 4 met 4GB RAM.
Het project biedt broncode, fine-tuningvoorbeelden, inferentiecode, modelgewichten, dataset en een demo. Het mooiste is dat we ons model in een paar uur kunnen trainen op een enkele RTX 4090.
Afbeelding van Alpaca-LoRA
- GitHub: tloen/alpaca-lora
- Modelkaart: tloen/alpaca-lora-7b
- Demo: Alpaca-LoRA
3. Vicuna
Vicuna kan samenhangende en creatieve tekst genereren voor chatbots. Het is een transformer-gebaseerde architectuur die is fijn-afgesteld op een conversatiedataset die is verzameld van ShareGPT.com.
Vicuna levert bijna 90% van de ChatGPT-prestaties. Het maakt deel uit van FastChat, een open platform waarmee gebruikers hun chatbots kunnen trainen, uitrollen en evalueren. FastChat biedt alle benodigde componenten en tools om een aangepast chatbotmodel te bouwen.
Afbeelding van FastChat (lmsys.org)
- Blogpost: Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | by the Team with members from UC Berkeley, CMU, Stanford, and UC San Diego
- GitHub: lm-sys/FastChat
- Demo: FastChat (lmsys.org)
4. GPT4ALL
GPT4ALL is een chatbot ontwikkeld door het Nomic AI-team op een grote, gecureerde set van begeleide interacties zoals tekstproblemen, code, verhalen, beschrijvingen en meer-ronde dialogen. De modelarchitectuur is gebaseerd op LLaMa en gebruikt low-latency machinelearning-accelerators voor snellere inferentie op de CPU.
Met GPT4ALL krijg je een Python-client, GPU- en CPU-inferentie, Typescript-bindings, een chatinterface en een Langchain-backend.
Afbeelding van gpt4all-ui
- Technisch rapport: GPT4All
- GitHub: nomic-ai/gpt4al
- Chatbot-UI: nomic-ai/gpt4all-ui
- Modelkaart: nomic-ai/gpt4all-lora
5. Raven RWKV
Raven RWKV maakt deel uit van ChatRWKV, een open-sourcemodel zoals ChatGPT maar aangedreven door het RWKV-taalmodel (100% RNN), niet transformer-gebaseerd.
Door RNN’s te gebruiken behaalt het model vergelijkbare kwaliteit en schaalbaarheid als transformers, met als extra voordelen snellere verwerking en besparing van VRAM. Raven is fijn-afgesteld om instructies te volgen en getraind op Stanford Alpaca, code-alpaca en meer datasets.
Afbeelding van Raven RWKV 7B
- GitHub: BlinkDL/ChatRWKV
- Demo: Raven RWKV 7B
- Modelkaart: BlinkDL/rwkv-4-raven
6. OpenChatKit
OpenChatKit is een uitgebreide toolkit die een open-source alternatief voor ChatGPT biedt voor het ontwikkelen van chatbotapplicaties.
De toolkit bevat stapsgewijze instructies voor het trainen van je eigen instruction-tuned large language model, het fijn-afstellen van het model en een uitbreidbaar retrievalsysteem om de reacties van de bot te updaten. Daarnaast bevat het moderatiefuncties die kunnen helpen om ongepaste vragen te filteren.
Afbeelding van OpenChatKit
- Blogpost: Announcing OpenChatKit — TOGETHER
- GitHub: togethercomputer/OpenChatKit
- Demo: OpenChatKit
- Modelkaart: togethercomputer/GPT-NeoXT-Chat-Base-20B
7. OPT
OPT (Open Pre-trained Transformer) Language Models hebben opmerkelijke capaciteiten laten zien in zero-shot- en few-shot-leren, evenals in de analyse van stereotiepe vooringenomenheid, ook al evenaren ze niet de kwaliteit van ChatGPT.
OPT is een familie van large language models variërend van 125M tot 175B parameters. De modellen zijn decoder-only transformers, wat betekent dat ze tekst autoregressief van links naar rechts genereren.
Afbeelding van A Watermark for LLMs
- Onderzoeksartikel: OPT: Open Pre-trained Transformer Language Models
- GitHub: facebookresearch/metaseq
- Demo: A Watermark for LLMs
- Modelkaart: facebook/opt-1.3b
8. Flan-T5-XXL
Flan-T5-XXL zijn fijn-afgestelde T5-modellen die zijn getraind op een enorme verzameling datasets die in de vorm van instructies worden aangeboden. Dit type fine-tuning heeft de prestaties van verschillende modelklassen, zoals PaLM, T5 en U-PaLM, aanzienlijk verbeterd. Bovendien is het Flan-T5-XXL-model fijn-afgesteld op meer dan 1000 extra taken in meerdere talen.
Afbeelding van Chat Llm Streaming
- Onderzoeksartikel: Scaling Instruction-Fine Tuned Language Models
- GitHub: google-research/t5x
- Demo: Chat Llm Streaming
- Modelkaart: google/flan-t5-xxl
9. Baize
Baize levert indrukwekkende prestaties in meer-ronde dialogen dankzij de guardrails die helpen potentiële risico’s te beperken. Dit is bereikt met een hoogwaardige meer-ronde chatcorpus, ontwikkeld door ChatGPT met zichzelf te laten praten.
De broncode, het model en de dataset van Baize zijn uitgebracht onder een niet-commerciële (alleen voor onderzoeksdoeleinden) licentie.
Afbeelding van Baize 7B
- Onderzoeksartikel: Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data
- GitHub: project-baize/baize-chatbot
- Demo: Baize 7B
- Modelkaart: project-baize/baize-lora-7B
10. Koala
Koala is een chatbot die is getraind door LLaMa fijn af te stemmen op een dialoogdataset die van het web is verzameld. Koala presteert beter dan Alpaca en is in veel gevallen vergelijkbaar met ChatGPT.
Koala biedt trainingscode, openbare gewichten en een dialoog-finetuner, en is beoordeeld door 100 mensen.
Afbeelding van FastChat/Koala
- Blogpost: Koala: A Dialogue Model for Academic Research
- GitHub: young-geng/EasyLM
- Demo: FastChat/Koala
11. Dolly
Dolly is een large language model dat door het team van Databricks is getraind om te laten zien dat we oudere open-sourcetaalmodellen kunnen gebruiken en ze de ChatGPT-magie van instructievolgen kunnen geven. Het trainen van het model duurt 30 minuten op één machine, met behulp van hoogwaardige trainingsdata. Je hebt niet eens grote modellen nodig om hoge kwaliteit te bereiken. Het team gebruikte een model met 6 miljard parameters, vergeleken met 175 miljard voor GPT-3.
Bekijk Dolly 2.0, een instructievolgend taalmodel dat commercieel kan worden gebruikt.
Afbeelding van Hello Dolly
- Blogpost: Hello Dolly: Democratizing the magic of ChatGPT with open models
- GitHub: databrickslabs/dolly
- Modelkaart: databricks/dolly-v1-6b
12. Open Assistant
Open Assistant is een echt open-sourceproject, wat betekent dat iedereen toegang krijgt tot toonaangevende, chatgebaseerde large language models. Het wil een revolutie in taalinnovatie ontketenen door mensen in staat te stellen te interageren met systemen van derden, dynamisch informatie op te halen en nieuwe applicaties met taal te bouwen.
Je kunt de large language-chatbot draaien op één krachtige consumenten-GPU, en de code, modellen en data zijn gelicenseerd onder open-sourcelicenties.
Afbeelding van open-assistant.io
- Blogpost: Open Assistant First Models are here!
- GitHub: LAION-AI/Open-Assistant
- Demo: open-assistant.io
- Modelkaart: OpenAssistant/oasst-sft-1-pythia-12b
GPT-4-alternatieven: een vergelijkende aanpak
Laten we in deze vergelijkende tabel bekijken wat we tot nu toe hebben behandeld:
| Modelnaam | Belangrijkste kenmerken | Voordelen | Licentie |
| ColossalChat | Complete RLHF-pijplijn, tweetalige dataset, 4-bit gequantiseerde inferentie | Snellere, goedkopere chatbotaanpassing | Open-source |
| Alpaca-LoRA | Low-rank adaptation, draait op Raspberry Pi 4 | Hoogwaardig Instruct-model op beperkte hardware | Open-source |
| Vicuna | Fijn-afgesteld op conversatiedataset van ShareGPT.com | Bijna 90% van de prestaties van ChatGPT, onderdeel van het FastChat-platform | Open-source |
| GPT4ALL | LLaMa-architectuur, low-latency-accelerators | Snelle inferentie op CPU’s, meer-ronde dialoog | Open-source |
| Raven RWKV | RNN-gebaseerd taalmodel (geen transformer) | Snellere verwerking, besparing van VRAM | Open-source |
| OpenChatKit | Instruction-tuned LLM, fine-tuning, moderatiefuncties | Uitgebreide toolkit voor chatbotontwikkeling | Open-source |
| OPT | Decoder-only transformers, diverse parametergroottes | Zero-shot- en few-shot-leren, analyse van stereotiepe bias |
Niet-commerciële licentie (alleen onderzoek & academisch)
|
| Flan-T5-XXL | Instruction-fine-tuned op 1000+ taken, meertalig | Verbeterde prestaties over diverse modelklassen | Open-source |
| Baize | Meer-ronde dialoog, guardrails voor risicobeperking | Hoogwaardige chatcorpus |
Niet-commerciële licentie (alleen onderzoek & academisch)
|
| Koala | Fijn-afgestelde LLaMa op dialoogdataset | Prestaties beter dan Alpaca, in veel gevallen vergelijkbaar met ChatGPT | Open-source |
| Dolly | Instruction-following LLM getraind in 30 minuten op één machine | Toont ChatGPT-achtige capaciteiten met kleinere modellen | Open-source |
| Open Assistant | Large language-chatbot op één consumenten-GPU | Echt open-source, dynamische informatie-opvraging | Open-source |
Belangrijke aandachtspunten
Hoewel deze open-sourcealternatieven spannende mogelijkheden bieden, is het belangrijk om je bewust te zijn van hun beperkingen vergeleken met GPT-4.
- Prestatiekloof: Hoewel sommige modellen in de buurt komen van de capaciteiten van GPT-4, heeft geen enkel model de prestaties op alle taken volledig gerepliceerd.
- Beperkte middelen: Sommige modellen kunnen aanzienlijke rekenbronnen vereisen voor training en fine-tuning.
- Community-gedreven: Open-sourceprojecten zijn afhankelijk van bijdragen uit de community, wat kan leiden tot variaties in kwaliteit en ondersteuning.
Conclusie
Deze GPT-4-alternatieven kunnen onderzoekers, ontwikkelaars en kleine bedrijven helpen om hun eigen taalgesteunde technologie te creëren en te concurreren met de giganten in de sector. De prestaties van de modellen liggen niet boven GPT-4, maar met tijd en bijdragen uit de community zouden sommige het potentieel kunnen hebben om GPT-4 in te halen.
Ben je nieuw bij ChatGPT, volg dan onze cursus Introduction to ChatGPT. Als je al bekend bent met generatieve AI, kun je beter worden in prompten door de uitgebreide ChatGPT-cheat sheet voor data science te bekijken, of door de onderstaande bronnen te raadplegen.
