GPT-4 è la GenAI più avanzata sviluppata da OpenAI. Sta cambiando il modo in cui lavoriamo. Tuttavia, GPT-4 non è open source, il che significa che non abbiamo accesso al codice, all'architettura del modello, ai dati o ai pesi per riprodurne i risultati. Non possiamo creare un nostro chatbot tipo GPT-4.
Per riequilibrare la situazione, le comunità di LLM open source hanno iniziato a lavorare ad alternative a GPT-4 che offrono prestazioni e funzionalità quasi simili e richiedono meno risorse computazionali.
Puoi approfondire GPT-1, GPT-2, GPT-3 e GPT-4 leggendo: Che cos'è GPT-4 e perché è importante?, oppure imparare a usare ChatGPT per progetti di data science e padroneggiare il prompt engineering per migliorare nella costruzione di progetti di data science end-to-end.
In questo articolo presenteremo 12 alternative a GPT-4 con una breve descrizione e i link al relativo paper di ricerca, post sul blog, demo del chatbot, codice sorgente e scheda del modello.
Nota: alcuni dei modelli citati hanno una licenza non commerciale, che ne limita l'uso a fini di ricerca e accademici. È importante comprenderne i limiti prima di utilizzarli.
1. ColossalChat
ColossalChat è un progetto open source che ti permette di clonare modelli di IA utilizzando una pipeline completa RLHF (Reinforcement Learning from Human Feedback).
È un progetto completamente open source che comprende dataset bilingue, codice di training, demo e inferenza quantizzata a 4 bit. Tutti i componenti ti aiuteranno a creare un chatbot personalizzato in modo più economico e veloce.
Immagine da ColossalChat
- Paper di ricerca: Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training
- Post sul blog: ColossalChat: una soluzione open source per clonare ChatGPT con una pipeline RLHF completa
- GitHub: hpcaitech/ColossalAI
- Demo: ColossalChat (colossalai.org)
2. Alpaca-LoRA
Alpaca-LoRA è un modello creato utilizzando Stanford Alpaca e la low-rank adaptation (LoRA). L'adozione low-rank permette di eseguire un modello Instruct di qualità simile a GPT-3.5 su un Raspberry Pi 4 con 4 GB di RAM.
Il progetto fornisce codice sorgente, esempi di fine-tuning, codice per l'inferenza, pesi del modello, dataset e demo. La parte migliore è che possiamo addestrare il nostro modello in poche ore su una singola RTX 4090.
Immagine da Alpaca-LoRA
- GitHub: tloen/alpaca-lora
- Scheda del modello: tloen/alpaca-lora-7b
- Demo: Alpaca-LoRA
3. Vicuna
Vicuna può generare testo coerente e creativo per chatbot. È un'architettura basata su transformer che è stata sottoposta a fine-tuning su un dataset conversazionale raccolto da ShareGPT.com.
Vicuna offre quasi il 90% delle prestazioni di ChatGPT. Fa parte di FastChat, una piattaforma aperta che consente di addestrare, servire e valutare i propri chatbot. FastChat fornisce tutti i componenti e gli strumenti necessari per costruire un modello di chatbot personalizzato.
Immagine da FastChat (lmsys.org)
- Post sul blog: Vicuna: un chatbot open source che impressiona GPT-4 con il 90%* della qualità di ChatGPT | del team con membri di UC Berkeley, CMU, Stanford e UC San Diego
- GitHub: lm-sys/FastChat
- Demo: FastChat (lmsys.org)
4. GPT4ALL
GPT4ALL è un chatbot sviluppato dal team Nomic AI su una grande quantità di dati curati di interazioni assistite come problemi a parole, codice, storie, descrizioni e dialoghi multi-turno. L'architettura del modello si basa su LLaMa e utilizza acceleratori di machine learning a bassa latenza per un'inferenza più rapida su CPU.
Con GPT4ALL ottieni un client Python, inferenza su GPU e CPU, binding Typescript, un'interfaccia di chat e un backend Langchain.
Immagine da gpt4all-ui
- Report tecnico: GPT4All
- GitHub: nomic-ai/gpt4al
- Interfaccia chatbot: nomic-ai/gpt4all-ui
- Scheda del modello: nomic-ai/gpt4all-lora
5. Raven RWKV
Raven RWKV fa parte di ChatRWKV, un modello open source simile a ChatGPT ma basato su RWKV (RNN al 100%), non su transformer.
Utilizzando le RNN, il modello raggiunge livelli di qualità e scalabilità comparabili ai transformer, con i vantaggi aggiuntivi di una maggiore velocità di elaborazione e di un minor consumo di VRAM. Raven è stato sottoposto a fine-tuning per seguire istruzioni ed è stato addestrato su Stanford Alpaca, code-alpaca e altri dataset.
Immagine da Raven RWKV 7B
- GitHub: BlinkDL/ChatRWKV
- Demo: Raven RWKV 7B
- Scheda del modello: BlinkDL/rwkv-4-raven
6. OpenChatKit
OpenChatKit è un toolkit completo che offre un'alternativa open source a ChatGPT per sviluppare applicazioni chatbot.
Il toolkit include istruzioni passo-passo per addestrare il tuo LLM basato su istruzioni, eseguire il fine-tuning del modello e un sistema di retrieval estensibile per aggiornare le risposte del bot. Inoltre, include funzionalità di moderazione che possono aiutare a filtrare domande inappropriate.
Immagine da OpenChatKit
- Post sul blog: Annunciamo OpenChatKit — TOGETHER
- GitHub: togethercomputer/OpenChatKit
- Demo: OpenChatKit
- Scheda del modello: togethercomputer/GPT-NeoXT-Chat-Base-20B
7. OPT
I modelli linguistici OPT (Open Pre-trained Transformer) hanno dimostrato notevoli capacità nel learning zero-shot e few-shot, così come nell'analisi dei bias stereotipati, pur senza eguagliare la qualità di ChatGPT.
OPT è una famiglia di modelli linguistici di grandi dimensioni che vanno da 125M a 175B parametri. I modelli sono transformer solo decoder, il che significa che generano testo in modo autoregressivo da sinistra a destra.
Immagine da A Watermark for LLMs
- Paper di ricerca: OPT: Open Pre-trained Transformer Language Models
- GitHub: facebookresearch/metaseq
- Demo: A Watermark for LLMs
- Scheda del modello: facebook/opt-1.3b
8. Flan-T5-XXL
Flan-T5-XXL è una serie di modelli T5 sottoposti a fine-tuning su una vasta raccolta di dataset presentati sotto forma di istruzioni. Questo tipo di fine-tuning ha migliorato significativamente le prestazioni su varie classi di modelli, come PaLM, T5 e U-PaLM. Inoltre, il modello Flan-T5-XXL è stato affinato su oltre 1000 attività aggiuntive che coprono più lingue.
Immagine da Chat Llm Streaming
- Paper di ricerca: Scaling Instruction-Fine Tuned Language Models
- GitHub: google-research/t5x
- Demo: Chat Llm Streaming
- Scheda del modello: google/flan-t5-xxl
9. Baize
Baize mostra prestazioni notevoli nei dialoghi multi-turno grazie ai suoi guardrail che aiutano a mitigare i potenziali rischi. Ci è riuscito grazie a un corpus di chat multi-turno di alta qualità, sviluppato sfruttando ChatGPT per facilitare conversazioni con se stesso.
Il codice sorgente, il modello e il dataset di Baize sono rilasciati con licenza non commerciale (per scopi di ricerca).
Immagine da Baize 7B
- Paper di ricerca: Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data
- GitHub: project-baize/baize-chatbot
- Demo: Baize 7B
- Scheda del modello: project-baize/baize-lora-7B
10. Koala
Koala è un chatbot addestrato eseguendo il fine-tuning di LLaMa su un dataset di dialoghi estratto dal web. In molti casi Koala ha prestazioni migliori di Alpaca ed è simile a ChatGPT.
Koala fornisce codice di training, pesi pubblici e un fine tuner per i dialoghi, ed è stato valutato da 100 persone.
Immagine da FastChat/Koala
- Post sul blog: Koala: un modello di dialogo per la ricerca accademica
- GitHub: young-geng/EasyLM
- Demo: FastChat/Koala
11. Dolly
Dolly è un modello linguistico di grandi dimensioni addestrato da Databricks per dimostrare che possiamo utilizzare vecchi modelli linguistici open source e conferire loro la capacità magica di seguire istruzioni in stile ChatGPT. L'addestramento del modello richiede 30 minuti su una sola macchina, utilizzando dati di training di alta qualità. Non servono nemmeno modelli enormi per ottenere alta qualità. Il team ha utilizzato un modello da 6 miliardi di parametri, rispetto ai 175 miliardi di GPT-3.
Dai un'occhiata a Dolly 2.0, un modello linguistico che segue istruzioni e può essere utilizzato commercialmente.
Immagine da Hello Dolly
- Post sul blog: Hello Dolly: democratizzare la magia di ChatGPT con modelli open
- GitHub: databrickslabs/dolly
- Scheda del modello: databricks/dolly-v1-6b
12. Open Assistant
Open Assistant è un progetto davvero open source, che significa dare a tutti accesso ai migliori modelli linguistici basati su chat. Mira a creare una rivoluzione nell'innovazione del linguaggio, permettendo alle persone di interagire con sistemi di terze parti, recuperare informazioni in modo dinamico e creare nuove applicazioni usando il linguaggio.
Puoi eseguire il chatbot di grandi dimensioni su una singola GPU consumer di fascia alta e il suo codice, i modelli e i dati sono rilasciati con licenze open source.
Immagine da open-assistant.io
- Post sul blog: Open Assistant: i primi modelli sono arrivati!
- GitHub: LAION-AI/Open-Assistant
- Demo: open-assistant.io
- Scheda del modello: OpenAssistant/oasst-sft-1-pythia-12b
Alternative a GPT-4: un approccio comparativo
Rivediamo quanto visto finora in questa tabella comparativa:
| Nome del modello | Caratteristiche principali | Vantaggi | Licenza |
| ColossalChat | Pipeline RLHF completa, dataset bilingue, inferenza quantizzata a 4 bit | Personalizzazione del chatbot più rapida ed economica | Open source |
| Alpaca-LoRA | Low-rank adaptation, gira su Raspberry Pi 4 | Modello Instruct di alta qualità su hardware limitato | Open source |
| Vicuna | Fine-tuning sul dataset conversazionale di ShareGPT.com | Quasi il 90% delle prestazioni di ChatGPT, parte della piattaforma FastChat | Open source |
| GPT4ALL | Architettura LLaMa, acceleratori a bassa latenza | Inferenza veloce su CPU, dialogo multi-turno | Open source |
| Raven RWKV | Modello linguistico basato su RNN (non transformer) | Elaborazione più veloce, risparmio di VRAM | Open source |
| OpenChatKit | LLM basato su istruzioni, fine-tuning, funzionalità di moderazione | Toolkit completo per lo sviluppo di chatbot | Open source |
| OPT | Transformer solo decoder, varie dimensioni di parametri | Zero-shot e few-shot learning, analisi dei bias stereotipati |
Licenza non commerciale (solo ricerca e ambito accademico)
|
| Flan-T5-XXL | Fine-tuning su oltre 1000 task, multilingue | Prestazioni migliorate su varie classi di modelli | Open source |
| Baize | Dialogo multi-turno, guardrail per la mitigazione dei rischi | Corpus di chat di alta qualità |
Licenza non commerciale (solo ricerca e ambito accademico)
|
| Koala | Fine-tuning di LLaMa su dataset di dialoghi | Prestazioni superiori ad Alpaca, simile a ChatGPT in molti casi | Open source |
| Dolly | LLM che segue istruzioni addestrato in 30 minuti su una macchina | Dimostra capacità simili a ChatGPT con modelli più piccoli | Open source |
| Open Assistant | Chatbot linguistico di grandi dimensioni su una singola GPU consumer | Davvero open source, recupero dinamico delle informazioni | Open source |
Considerazioni importanti
Sebbene queste alternative open source offrano possibilità interessanti, è importante essere consapevoli dei loro limiti rispetto a GPT-4.
- Lacune prestazionali: anche se alcuni modelli si avvicinano alle capacità di GPT-4, nessuno ne ha replicato completamente le prestazioni in tutti i compiti.
- Vincoli di risorse: alcuni modelli possono richiedere risorse computazionali notevoli per training e fine-tuning.
- Guidati dalla community: i progetti open source si basano sui contributi della community, il che può portare a variazioni nella qualità e nel supporto.
Conclusione
Queste alternative a GPT-4 possono aiutare ricercatori, sviluppatori e piccole aziende a creare la propria tecnologia basata sul linguaggio e a competere con i giganti del settore. Le prestazioni dei modelli non superano GPT-4, ma con il tempo e il contributo della community alcune potrebbero avere il potenziale per superarlo.
Se sei alle prime armi con ChatGPT, prova il nostro corso Introduzione a ChatGPT e, se conosci già la GenAI, puoi migliorare nel prompting consultando il ChatGPT Cheat Sheet per la Data Science, oppure esplora le risorse qui sotto.
