Viaggio nel mondo delle AI, modelli di linguaggio (Parte 1)

Negli ultimi tempi ChatGPT ha fatto molto parlare di sé, come anche Google Bard, ma più che “intelligenze artificiali” sarebbe opportuno chiamarle modelli di linguaggio, ma andiamo con ordine.

Cosa sono di preciso i modelli di linguaggio?

In termini semplici, i modelli di linguaggio possiamo definirli come programmi o un sistemi informatici progettati per comprendere e generare il linguaggio umano in modo simile a come lo fa una persona.

Questi modelli sono basati sull’apprendimento automatico e utilizzano algoritmi avanzati per analizzare grandi quantità di testi scritti o parlati al fine di identificare modelli e strutture linguistiche. Una volta addestrati su questi dati, i modelli di linguaggio:

• Predire la prossima parola in una frase incompleta.
• Generare testo coerente e significativo a partire da un input o da zero.
• Tradurre automaticamente il testo da una lingua all’altra.
• Rispondere a domande basate sul contesto fornito.
• Fornire suggerimenti di completamento testo durante la digitazione.
• Eseguire analisi del sentiment nelle opinioni espresse nel testo.

Un esempio famoso di modello di linguaggio è GPT-3, su cui si basa ChatGPT; questi modelli sono sempre in continua evoluzione grazie all’incremento dei dati di addestramento e delle tecniche di apprendimento automatico, migliorando (almeno in linea teorica) costantemente la loro capacità di comprendere e generare il linguaggio umano.

Cos’è l’apprendimento automatico in informatica?

Per capire i modelli di linguaggio bisogna prima capire l’apprendimento automatico.

In informatica, l’apprendimento automatico, noto anche come machine learning, è un campo della scienza dei dati che si occupa dello sviluppo di algoritmi e modelli che consentono a un sistema informatico di apprendere da dati passati e migliorare le proprie prestazioni senza essere esplicitamente programmato per svolgere una specifica attività.

Invece di seguire istruzioni dettagliate fornite dagli esseri umani, come avviene nella programmazione tradizionale, i modelli di machine learning vengono addestrati utilizzando dati di input e output, consentendo loro di riconoscere modelli, fare previsioni o prendere decisioni sulla base di nuovi dati non visti in fase di addestramento.

Esistono diverse categorie di apprendimento automatico, ma possiamo riassumere il tutto in tre macrocategorie:

• Apprendimento supervisionato: Il modello viene addestrato su un insieme di dati etichettati, dove le risposte corrette sono fornite insieme ai dati di input. L’obiettivo è far sì che il modello possa generalizzare e fare previsioni accurate su nuovi dati simili.
• Apprendimento non supervisionato: In questo caso, il modello viene addestrato su dati non etichettati, e l’obiettivo principale è individuare pattern o strutture nascoste nei dati senza avere una risposta nota a cui fare riferimento.
• Apprendimento per rinforzo: In questo approccio, il modello impara a prendere decisioni successive in un ambiente dinamico al fine di massimizzare una ricompensa o un obiettivo specifico.

• 

L’apprendimento automatico trova applicazioni in molti campi, come il riconoscimento di immagini, la traduzione automatica, l’analisi dei dati, la classificazione dei testi, la previsione del tempo, i veicoli autonomi e molto altro. Grazie all’aumento della potenza computazionale e all’abbondanza di dati disponibili, l’apprendimento automatico è diventato uno strumento cruciale per l’elaborazione e l’interpretazione di grandi quantità di informazioni in modo efficiente ed efficace.

Pro e contro dei modelli di linguaggio

I modelli di linguaggio, come GPT-3 e simili, offrono numerosi vantaggi e hanno portato a importanti sviluppi in diversi campi, ma presentano anche alcune criticità. Di seguito, elenco alcuni dei principali pro e contro dei modelli di linguaggio:

Vantaggi dei modelli di linguaggio

Di seguito s

• Generazione di testo: I modelli di linguaggio sono in grado di generare testo coerente e naturale, utile in applicazioni come la scrittura assistita, la creazione di contenuti e molto altro.
• Traduzione automatica: Possono essere impiegati per tradurre testi tra diverse lingue, agevolando la comunicazione globale e l’accesso a informazioni provenienti da altre culture, in un certo senso già Google Traduttore si può definire un modello di linguaggio molto primordiale.
• Ricerca e analisi dei testi: Consentono di analizzare grandi quantità di testo per estrarre informazioni, scoprire pattern e tendenze, e fornire risultati utili per la ricerca e l’analisi dei dati.
• Supporto per assistenti virtuali: Contribuiscono a migliorare l’efficacia degli assistenti virtuali fornendo risposte più accurate e pertinenti alle domande degli utenti.
• Apprendimento automatico di compiti specifici: I modelli di linguaggio pre-addestrati possono essere ulteriormente adattati e specializzati per compiti specifici, riducendo la necessità di addestrare modelli da zero per ciascun compito.

Sfide e criticità dei modelli di linguaggio

Ovviamente non è tutto rosa e fiori ciò che le AI portano, ecco alcune problematiche legate ai modelli di linguaggio.

• Bias nel training data: I modelli di linguaggio possono assimilare e riflettere i bias presenti nei dati di addestramento, perpetuando discriminazioni e pregiudizi esistenti.
• Assenza di comprensione semantica: Anche se possono generare testo coerente, i modelli di linguaggio spesso mancano di una vera comprensione semantica e di conoscenza del mondo reale.
• Produzione di informazioni false: I modelli possono generare informazioni che sembrano accurate ma che, in realtà, sono errate, poiché non riescono a verificare la veridicità delle affermazioni.
• Dimensioni e risorse computazionali: I modelli di linguaggio più avanzati richiedono enormi risorse computazionali per essere addestrati e utilizzati, rendendoli accessibili solo a poche organizzazioni e limitando la partecipazione di piccoli attori.
• Sicurezza e privacy: L’uso indiscriminato di modelli di linguaggio potrebbe portare a minacce per la sicurezza e la privacy, come l’elaborazione di contenuti falsi o manipolati e la creazione di attacchi di phishing più sofisticati.

Linguaggio naturale, cos’è

Questi modelli di linguaggio si basano su una cosa chiamata “linguaggio naturale“.

In informatica, il termine “linguaggio naturale” si riferisce al linguaggio utilizzato dagli esseri umani per comunicare tra loro, sia oralmente che per iscritto; è in pratica il modo con cui le persone esprimono pensieri, idee, informazioni e sentimenti nel corso delle loro interazioni quotidiane.

Il linguaggio naturale è caratterizzato dalla sua complessità e varietà, con molteplici lingue parlate in tutto il mondo, ognuna con le proprie regole grammaticali, strutture sintattiche, vocabolari e sfumature culturali. Esempi di linguaggi naturali includono l’inglese, l’italiano, il cinese, il francese, l’arabo e così via.

Nel campo dell’informatica, il linguaggio naturale è di grande interesse perché rappresenta una delle principali forme di interazione tra gli esseri umani e le macchine. Gli esseri umani possono comunicare tra loro in modo naturale e intuitivo utilizzando il linguaggio naturale, ma per le macchine, la comprensione e la generazione di testo in linguaggio naturale sono tradizionalmente stati compiti molto difficili.

Le tecnologie di elaborazione del linguaggio naturale (Natural Language Processing, NLP) si concentrano sullo sviluppo di algoritmi e modelli che consentono alle macchine di comprendere, interpretare e generare testo in linguaggio naturale. Queste tecnologie hanno portato a una serie di applicazioni, come assistenti vocali, motori di ricerca basati su linguaggio naturale, traduttori automatici, sistemi di analisi del testo e molto altro.

Un esempio di applicazione pratica dell’elaborazione del linguaggio naturale possono essere proprio Bard di Google e ChatGPT, che è in grado di comprendere le tue domande in linguaggio naturale e fornire risposte coerenti utilizzando algoritmi di NLP e modelli di linguaggio appositamente addestrati per questa funzione.

Librerie di linguaggio naturale

Esistono diverse librerie e framework per l’elaborazione del linguaggio naturale (NLP) in informatica, che facilitano lo sviluppo di applicazioni basate sul linguaggio naturale. Queste librerie forniscono funzioni e strumenti per svolgere compiti come analisi del testo, tokenizzazione, riconoscimento di entità, classificazione di testo, traduzione automatica e molto altro. Alcune delle librerie più popolari e utilizzate per il NLP includono:

• NLTK (Natural Language Toolkit): È una delle librerie NLP più famose e ampiamente utilizzate in Python. Offre una vasta gamma di strumenti per l’elaborazione del linguaggio naturale e include risorse linguistiche preaddestrate come corpora e dizionari.
• spaCy: È una libreria NLP veloce e efficiente per Python, progettata per essere utilizzata in produzione. È dotata di funzionalità avanzate per l’analisi del linguaggio naturale e di modelli addestrati per diverse lingue.
• Stanford NLP: È una suite di strumenti NLP sviluppata dal gruppo di ricerca di Intelligenza Artificiale dell’Università di Stanford. Fornisce modelli preaddestrati e strumenti per vari task di NLP.
• Gensim: È una libreria NLP in Python che si concentra principalmente sulle tecniche di elaborazione del linguaggio naturale come il topic modeling e l’embedding di parole.
• Hugging Face Transformers: È una libreria NLP popolare che offre una vasta gamma di modelli di linguaggio preaddestrati e consentendo di accedere e utilizzare modelli di punta, come BERT, GPT-3, XLNet, e molti altri.
• OpenNLP: È una libreria NLP di Apache che fornisce strumenti e modelli per svolgere una varietà di task come il POS tagging, il parsing, la segmentazione delle frasi, e altro ancora.

Queste sono solo alcune delle molte librerie NLP disponibili, e la scelta di quale utilizzare dipenderà dalle esigenze specifiche del progetto e dalle preferenze di programmazione.

Oltre chat GPT e Bard esistono altri modelli di linguaggio

Altri modelli di linguaggio più o meno noti sono:

• Bing AI: il modello di linguaggio di Microsoft.
• Colossal Chat: brevemente, si può definire una sorta di clone di ChatGPT.
• Tiny Wow: va un po’ oltre il concetto di modello di linguaggio, ma vale la pena provarlo.
• You.com: un curioso modello di linguaggio che è ibrido tra un motore di ricerca come Google e un classico modello di linguaggio;
• JasperAi: non diversissimo da quelli elencati poc’anzi.

Ce ne sono comunque molti altri, se fai una ricerca puoi scoprirne.

Conclusione

Sebbene i modelli di linguaggio siano una tecnologia agli albori, è interessante come la loro popolarità sia cresciuta negli ultimi tempi, per alcuni sono un valido aiuto, per altri invece sono le classiche “macchine che rubano il lavoro”, sebbene la loro capacità sia ben lontana dal “furto” di certi lavori.