Local AI

LOCAL AI

Artificial Intelligence dentro a un PC

Quando si parla di AI subito si pensa a un sito internet, un servizio online, dove poter scrivere una domanda per ottenere una risposta. Si pensa ad un CHABOT come ChatGPT, Gemini Copilot. MA in realtà è possibile ospitare una istanza AI su un normale PC di casa o ufficio.

Per capire come sia possibile questo si deve prima capire come funzionano le applicazioni AI come i chatbot online. Tutto il meccanismo si basa su una grande struttura monolitica che si chiama LLM (LARGE LANGUAGE MODEL MODELLO LINGUISTICO DI GRANDI DIMENSIONI). Questa struttura è il prodotto di una immensa elaborazione di milioni i dati di ogni tipo da parte di strutture complesse chiamate ANN (Artificial Neural Networks). Le ANN analizzano i dati e collocano le informazioni di spazi multidimensionali, ogni parola, concetto, regola, informazione ha delle coordinate per essere ritrovata in questo spazio e la sua posizione ha una relazione con le informazioni che sono in un qualche modo connesso. Le informazioni quindi hanno un peso e informazioni collegate hanno pesi simili.

Per esempio la parola CEMENTO e la parola MORBIDO hanno pesi diversi e sono lontane, mentre la parola DIVANO ha un peso vicino a quello di MORBIDO e sono vicine.

Seguendo queste regole gli LLM sono in grado di analizzare il testo scritto di una domanda e di comprendere come è organizzato per poi generare una risposta che sia collegata alla domanda e che abbia un senso logico.

Quello che viene simulato è un comportamento intelligente, ma in realtà è un calcolo di probabilità basato su regressione in modo da fornire la risposta più probabile e meno errata. La risposta giusta non esiste, esiste solo quella meno sbagliata (che poi potrebbe accidentalmente coincidere con quella giusta).

Interagire con un LLM direttamente in genere non è possibile, di solito l'utente usa una interfaccia grafica, un SW che permette di scrivere domande che verranno inviate al LLM. l'interfaccia riceve le risposte del LLM e le mostra all'utente.

Bene adesso sappiamo come funziona un chatbot.

CHATBOT IN LOCALE
Esistono LLM il cui contenuto e struttura non sono noti e sono quelli prodotti da grandi aziende come Microsoft e Google, sono di proprietà dei produttori e si possono solo usare dove e come i produttori lo consentono.
Ma esistono anche LLM di pubblico dominio che possono essere scaricati e usati da chiunque sia capace.
Esistono inoltre programmi in grado di usare gli LLM scaricati e fornire una interfaccia grafica o a linea di comando per parlare agli LLM.
Alcuni dei programmi o framework di utilizzo degli LLM sono:

Tutti forniscono una interfaccia di interazione con gli LLM
- Ollama permette un utilizzo elementare via linea di comando oppure con una interfaccia grafica minimale.

- Newelle (solo per Linux) offre molti più strumenti e ha una interfaccia più complessa.

- Follamac ha una interfaccia grafica ma è povero di strumenti.

- LM Studio è un programma complesso e articolato che permette un uso avanzato dei LLM

- AnythingLLM è forse il più esteso e completo SW per la gestione a 360 gradi di LLM in molteplici maniere, molto complesso e non immediato da utilizzare ma di certo il più ampio che sia disponibili come opzioni.

I modelli LLM possono essere scaricati da molti repository, due tra tutti:

Questo permette di installare tutti i modelli che si desidera e farli funzionare nel proprio PC senza che si debba essere connessi alla rete. I modelli usato la potenza del PC (che deve essere adeguata e non banale). Se si possiede una scheda grafica NVIDIA tutto il calcolo può essere spostato sulla GPU e le prestazioni aumentano decisamente.
Questo coporta che l'AI è locale, totalmente sotto il nostro controllo e tramite tecniche particolari ma non complesse può essere arricchita, modificata, specializzata su argomenti che si desidera e che non sono previsti nel modello che si usa:

LIBERTÀ TOTALE!!!

GENERAZIONE IMMAGINI IN LOCALE
Nello stesso modo è possibile installare programmi per la generazione di immagini in locale con totale libertà di azione, generazioni illimitate, nessun tipo di censura sulle immagini. Si devono installare i programmi adatti all'operazione e si deve possedere un PC di potenza adeguata. Inoltre i SW non sono semplici da usare ma la resa è enorme e il controllo sulle immagini è totale.
Alcuni programmi locali per la generazione di immagini sono:

Stable diffusion è un prodotto potentissimo e completo, ma complesso da installare e da usare.

Easy Diffusion ha un interessante sistema di auto installazione, impiega molto tempo a completare l'operazione ma fa tutto in un solo click. Presenta meno opzioni per gestire la creazione di immagini ma offre risultati di altissimo livello. Nonostante la semplificazione resta complesso nella gestione, ma molto meno di Stable Diffusion.

Repository da cui scaricare modelli generativi immagini sono: