Programma
Nozioni di base sull'intelligenza artificiale
10 ore
In tutto il mondo le aziende sono sempre più preoccupate di proteggere le informazioni sensibili pur sfruttando la potenza dell'AI. Questa guida presenta una soluzione completa per creare applicazioni di AI locali e sicure usando una combinazione potente di strumenti open source.
Useremo il Self-hosted AI Starter Kit per configurare rapidamente un ambiente AI locale. Questo kit eseguirà automaticamente Ollama, Qdrant, n8n e Postgres. Inoltre, impareremo a creare un flusso di lavoro AI per un chatbot RAG (Retrieval-augmented generation) usando il dataset di Harry Potter tramite la dashboard di n8n.
Che tu sia uno sviluppatore, un data scientist o un professionista non tecnico che vuole implementare soluzioni di AI sicure, questo tutorial ti fornirà le basi per creare potenti workflow di AI self-hosted mantenendo il pieno controllo sui tuoi dati sensibili.
Che cos'è la Local AI?
La Local AI ti permette di eseguire sistemi e workflow di intelligenza artificiale sulla tua infrastruttura invece che su servizi cloud, offrendo maggiore privacy ed efficienza dei costi.
Se sei nuova/o dell'ecosistema AI, dai prima un'occhiata al nostro skill track su AI Fundamentals per metterti in pari. Completando questa serie di corsi, acquisirai conoscenze pratiche su temi popolari di AI come ChatGPT, large language model, generative AI e altro ancora.
Immagine dell'autore
Ecco l'elenco degli strumenti che useremo per creare ed eseguire le nostre applicazioni di AI locali:
- Docker: è la piattaforma di containerizzazione che impacchetta tutti i componenti di AI in ambienti isolati e gestibili. Ci aiuterà a eseguire tutti gli strumenti di AI con un solo comando.
- n8n: un framework di automazione dei workflow che ti permette di costruire flussi di lavoro di AI con un'interfaccia drag-and-drop. Non richiede conoscenze di coding, ed è quindi ideale per chi non è tecnico.
- Postgres: archivia tutti i dati e i log, fungendo da buffer di memoria per il framework n8n.
- Qdrant: un database vettoriale e motore di ricerca che rende i contenuti generati dall'AI ricercabili e gestibili.
- Ollama: un gestore di modelli AI che ti consente di eseguire in locale qualsiasi large language model open source con requisiti hardware minimi.
n8n è il nostro framework principale per costruire il workflow AI del chatbot RAG. Useremo Qdrant come vector store e Ollama come provider del modello AI. Insieme, questi componenti ci aiuteranno a creare il sistema RAG.
Installazione di Docker
Scaricheremo e installeremo l'app desktop di Docker dal sito ufficiale di Docker. È piuttosto semplice da installare e iniziare a usare.
Per saperne di più su Docker, segui il tutorial Docker for Data Science o segui il nostro corso Introduction to Docker.
Fonte: Docker: Accelerated Container Application Development
Gli utenti Windows hanno bisogno di uno strumento aggiuntivo per eseguire correttamente i container Docker: il Windows Subsystem for Linux (WSL). Questo consente agli sviluppatori di installare una distribuzione Linux e usare applicazioni Linux direttamente su Windows.
Per installare WSL su Windows, digita il seguente comando nel terminale o in PowerShell. Assicurati di avviare PowerShell come amministratore.
$ wsl --installDopo aver installato correttamente WSL, riavvia il sistema. Quindi, digita il seguente comando in PowerShell per verificare che Docker funzioni correttamente.
$ docker run hello-worldDocker ha scaricato con successo l'immagine hello-world e ha avviato il container.
Installare ed eseguire applicazioni di AI locali con Docker Compose
In questa guida impareremo a usare Docker Compose per configurare servizi di AI in locale. Questo approccio ti permette di caricare le immagini Docker e distribuire i container in pochi minuti, offrendo un modo semplice per eseguire e gestire più servizi di AI sulla tua infrastruttura.
Per prima cosa cloneremo n8n-io/self-hosted-ai-starter-kit digitando il seguente comando nel terminale.
$ git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git
$ cd self-hosted-ai-starter-kitLo starter kit è il modo più semplice per configurare i server e le applicazioni necessari per costruire un workflow di AI. Poi caricheremo le immagini Docker ed eseguiremo i container.
$ docker compose --profile cpu upSe hai una GPU NVIDIA, prova a digitare il comando qui sotto per sfruttare l'accelerazione nella generazione delle risposte. Inoltre, configura la GPU NVIDIA per Docker seguendo la guida Ollama Docker.
$ docker compose --profile gpu-nvidia upCi vorranno alcuni minuti, perché scaricherà tutte le immagini Docker e poi avvierà i container Docker una per volta.
Tutti i servizi Docker sono in esecuzione. I container Docker terminati sono stati usati per scaricare il modello Llama 3.2 e importare il workflow di backup di n8n.
Possiamo anche controllare lo stato di esecuzione del container docker digitando il seguente comando nel terminale.
$ docker compose psLo starter kit includeva lo script per scaricare il modello Llama 3.2. Tuttavia, per un'applicazione RAG Chatbot completa, ci serve anche il modello di embedding. Andremo nel container Docker di Ollama, cliccheremo sulla scheda “Exec” e digiteremo il seguente comando per scaricare il modello “nomic-embed-text”.
$ ollama pull nomic-embed-textCome possiamo vedere, possiamo interagire con un container Docker come se fosse una macchina virtuale separata.
Apri l'URL della dashboard n8n http://localhost:5678/ nel browser per creare un account utente n8n con email e password. Poi, clicca il pulsante Home nella pagina principale della dashboard e accedi al workflow Demo.
La demo è un semplice workflow LLM che prende l'input dell'utente e genera la risposta.
Per eseguire il workflow, clicca sul pulsante Chat e inizia a digitare la tua domanda. Nel giro di pochi secondi verrà generata una risposta.
Nota che stiamo usando un modello linguistico piccolo con accelerazione GPU, quindi la risposta di solito richiede solo circa 2 secondi.
Crea il workflow di AI con la dashboard n8n
In questo progetto costruiremo un chatbot RAG (Retrieval-Augmented Generation) che usa dati dai film di Harry Potter per fornire risposte accurate e con consapevolezza del contesto. Questo progetto è una soluzione no-code: tutto ciò che devi fare è cercare i componenti necessari del workflow e collegarli per creare un flusso di lavoro AI.
n8n è una piattaforma no-code simile a Langchain. Segui il tutorial RAG con Llama 3.1 8B, Ollama e Langchain per una panoramica su come creare un workflow AI simile usando Langchain.
1. Aggiungere il trigger della chat
Clicca sul pulsante “Add the first step” al centro della dashboard, cerca “Chat Trigger” e aggiungilo.
Assicurati di aver abilitato “Allow File Uploads”.
2. Aggiungere il vector store Qdrant
Puoi aggiungere un altro componente chiamato “Qdrant Vector Store” cliccando sul pulsante più (+) nel componente “Chat Trigger” e cercandolo.
Cambia la modalità di operazione in “Insert Documents”, cambia la collection di Qdrant in “By ID” e inserisci l'ID “Harry_Potter”.
Quando usciamo dall'opzione, vedremo che il trigger della chat è collegato al nostro vector store.
3. Collegare il modello di embedding con il vector store
Clicca sul pulsante più sotto al vector store Qdrant etichettato “Embedding”. Verrai portato nel menu di gestione modelli, dove selezioneremo embeddings Ollama e cambieremo il modello in “nomic-embed-text:latest”.
4. Collegare il document loader con il vector store
Clicca sul pulsante più sotto al vector store Qdrant con scritto “Document” e seleziona “Default Data Loader” dal menu. Cambia il tipo di dato in “Binary”.
Quindi aggiungi un token splitter con una dimensione dei chunk di 500 e un overlap di 50 al document loader.
Ecco come dovrebbe apparire alla fine il nostro workflow. Questo flusso caricherà i file CSV dall'utente, li convertirà in testo, poi trasformerà il testo in embedding e li archivierà nel vector store.
5. Testare il vector store Qdrant
Clicca sul pulsante Chat in fondo alla dashboard. Una volta aperta la finestra della chat, clicca sul pulsante del file come mostrato sotto.
In questo workflow caricheremo tutti i file CSV dal dataset Harry Potter Movies. Tuttavia, per testare il nostro flusso, caricheremo solo un singolo file CSV chiamato 'spell' in base a una query dell'utente.
Puoi accedere al server Qdrant tramite l'URL http://localhost:6333/dashboard e verificare se il file è stato caricato o meno nel vector store.
Ora aggiungi il resto dei file al vector store.
6. Aggiungere l'agente AI
Collegheremo il trigger della chat al vector store, lo collegheremo all'agente AI e cambieremo il tipo di agente in “Conversation Agent”.
7. Collegare il chat model con l'agente AI
Clicca sul pulsante “Chat Model” sotto l'agente AI e seleziona dal menu il modello Chat di Ollama. Dopo di che, cambia il nome del modello in “Llama3.2:latest”.
8. Collegare lo strumento del vector store con l'agente AI
Clicca sul pulsante “Tool” sotto l'agente AI e seleziona dal menu lo strumento del vector store. Fornisci il nome dello strumento e la descrizione.
9. Collegare il retriever Qdrant con lo strumento del vector store
Dobbiamo aggiungere componenti allo strumento del vector store. Per prima cosa, includeremo Qdrant come vector store e imposteremo l'ID della collezione su "Harry_Potter". Questo vector store accederà alla collezione di Harry Potter durante la similarity search. Inoltre, cambia la modalità di operazione in "Retrieved Documents".
10. Collegare il chat model con lo strumento del vector store
Anche lo strumento del vector store richiede un modello LLM. Collegheremo il modello chat di Ollama e cambieremo il modello in “llama3.2:latest”.
11. Collegare il modello di embedding con il retriever Qdrant
Nel passaggio finale forniremo al retrieval vector store il modello di embedding. Questo gli consente di convertire la query dell'utente in un embedding e poi riconvertire l'embedding in testo da far processare all'LLM.
Assicurati di fornire il modello di embedding corretto per il tuo vector store.
Ecco come dovrebbe apparire il workflow di AI.
12. Testare il workflow di AI
Clicca sul pulsante chat per iniziare a fare domande sull'universo di Harry Potter.
Prompt: “Qual è il luogo più segreto di Hogwarts?”
Prompt: “Qual è l'incantesimo più potente?”
Il nostro workflow di AI è veloce e funziona senza intoppi. Questo approccio no-code è piuttosto semplice da mettere in pratica. n8n consente anche di condividere le proprie applicazioni in modo che chiunque possa accedervi tramite un link, proprio come ChatGPT.
Conclusione
n8n è uno strumento perfetto per progetti LLM/AI, soprattutto per chi non è tecnico. A volte non serve nemmeno creare il workflow da zero. Basta cercare progetti simili sul sito di n8n, copiare il codice JSON e incollarlo nella nostra dashboard di n8n. È davvero così semplice.
Fonte: Discover 900+ Automation Workflows from the n8n's Community
In questo tutorial abbiamo visto cos'è la Local AI e come usare lo starter kit self-hosted per creare e distribuire vari servizi di AI. Abbiamo poi avviato la dashboard n8n e creato il nostro workflow di AI usando Qdrant, modelli di embedding, strumenti di vector store, LLM e document loader. Con n8n, creare ed eseguire workflow è piuttosto semplice. Se sei nuova/o agli strumenti di AI e vuoi conoscere soluzioni di AI no-code, dai un'occhiata alle nostre altre risorse:
