Internazionalizzazione della Didattica | NATURAL LANGUAGE PROCESSING AND LARGE LANGUAGE MODELS

cod. 0622700126

NATURAL LANGUAGE PROCESSING AND LARGE LANGUAGE MODELS

	0622700126
	DIPARTIMENTO DI INGEGNERIA DELL'INFORMAZIONE ED ELETTRICA E MATEMATICA APPLICATA
	CORSO DI LAUREA MAGISTRALE
	INGEGNERIA INFORMATICA
	2025/2026

CURRICULUM ARTIFICIAL INTELLIGENCE AND INTELLIGENT ROBOTICS Coorte 2024/2025

	ANNO CORSO 2
	ANNO ORDINAMENTO 2022
	SECONDO SEMESTRE

MODULI

SSD	CFU	ORE	ATTIVITÀ	TIPO DI ATTIVITÁ FORMATIVA
ING-INF/05	3	24	LEZIONE	CARATTERIZZANTE
ING-INF/05	3	24	LABORATORIO	CARATTERIZZANTE

DOCENTI

	NICOLA CAPUANO T Curriculum
	-

	Obiettivi
	L'INSEGNAMENTO FORNISCE LE CONOSCENZE TEORICHE, METODOLOGICHE, TECNOLOGICHE E PROGETTUALI RELATIVE ALLA COMPRENSIONE AUTOMATICA DEL LINGUAGGIO E DEL TESTO, INQUADRANDO NEL FRAMEWORK GENERALE PER LA REALIZZAZIONE DI SISTEMI DI NATURAL LANGUAGE PROCESSING GLI INNOVATIVI PARADIGMI INTRODOTTI DAI LARGE LANGUAGE MODELS E LE INNUMEREVOLI APPLICAZIONI MODERNE DI TALI TECNOLOGIE. CONOSCENZA E CAPACITÀ DI COMPRENSIONE CONCETTI DI BASE SUI SISTEMI DI NATURAL LANGUAGE PROCESSING. MODELLI DI LINGUAGGIO STANDARD. LARGE LANGUAGE MODELS BASATI SU TRANSFORMERS. APPLICAZIONI DI NATURAL LANGUAGE PROCESSING CON LARGE LANGUAGE MODELS. PROMPT ENGINEERING. FINE TUNING DI LARGE LANGUAGE MODELS. CAPACITÀ DI APPLICARE CONOSCENZA E COMPRENSIONE PROGETTAZIONE E REALIZZAZIONE DI UN SISTEMA DI NATURAL LANGUAGE PROCESSING BASATO SU LARGE LANGUAGE MODELS, INTEGRANDO IN MANIERA EFFICACE LE TECNOLOGIE E GLI STRUMENTI ESISTENTI E CONFIGURANDO IN MANIERA OTTIMALE I PARAMETRI DI FUNZIONAMENTO

L'INSEGNAMENTO FORNISCE LE CONOSCENZE TEORICHE, METODOLOGICHE, TECNOLOGICHE E PROGETTUALI RELATIVE ALLA COMPRENSIONE AUTOMATICA DEL LINGUAGGIO E DEL TESTO, INQUADRANDO NEL FRAMEWORK GENERALE PER LA REALIZZAZIONE DI SISTEMI DI NATURAL LANGUAGE PROCESSING GLI INNOVATIVI PARADIGMI INTRODOTTI DAI LARGE LANGUAGE MODELS E LE INNUMEREVOLI APPLICAZIONI MODERNE DI TALI TECNOLOGIE.

CONOSCENZA E CAPACITÀ DI COMPRENSIONE
CONCETTI DI BASE SUI SISTEMI DI NATURAL LANGUAGE PROCESSING. MODELLI DI LINGUAGGIO STANDARD. LARGE LANGUAGE MODELS BASATI SU TRANSFORMERS. APPLICAZIONI DI NATURAL LANGUAGE PROCESSING CON LARGE LANGUAGE MODELS. PROMPT ENGINEERING. FINE TUNING DI LARGE LANGUAGE MODELS.

CAPACITÀ DI APPLICARE CONOSCENZA E COMPRENSIONE
PROGETTAZIONE E REALIZZAZIONE DI UN SISTEMA DI NATURAL LANGUAGE PROCESSING BASATO SU LARGE LANGUAGE MODELS, INTEGRANDO IN MANIERA EFFICACE LE TECNOLOGIE E GLI STRUMENTI ESISTENTI E CONFIGURANDO IN MANIERA OTTIMALE I PARAMETRI DI FUNZIONAMENTO

	Prerequisiti
	ESAME PROPEDEUTICO: MACHINE LEARNING

	Contenuti
	UNITÀ DIDATTICA 1: FONDAMENTI DI ELABORAZIONE DEL LINGUAGGIO NATURALE (ORE LEZIONE/ESERCITAZIONE/LABORATORIO 8/8/0) - 1 (2 ORE LEZIONE): CONCETTI DI BASE, TASK, EVOLUZIONE ED APPLICAZIONI DELL'ELABORAZIONE DEL LINGUAGGIO NATURALE - 2 (2 ORE LEZIONE): RAPPRESENTARE UN TESTO, TOKENIZZAZIONE, STEMMING, POS TAGGING, LEMMATIZZAZIONE - 3 (2 ORE ESERCITAZIONE): INTRODUZIONE AL FRAMEWORK SPACY, NAMED ENTITY RECOGNITION, DEPENDENCY PARSING - 4 (2 ORE LEZIONE): BAG OF WORDS, VETTORI TF-IDF, VECTOR SPACE MODEL, DOCUMENT SIMILARITY - 5 (2 ORE ESERCITAZIONE): TEXT CLASSIFICATION, ESEMPIO DI TOPIC LABELING, ESERCITAZIONE SU SENTIMENT ANALYSIS - 6 (2 ORE LEZIONE): WORD EMBEDDINGS, WORD2VEC, ALGORITMI CBOW E SKIP-GRAM, ALTERNATIVE (GLOVE, FASTTEXT) - 7 (2 ORE ESERCITAZIONE): USARE WE PRE-ADDESTRATE, ADDESTRAMENTO DI UN MODELLO WE, RETI NEURALI ED ANALISI DEL TESTO - 8 (2 ORE ESERCITAZIONE): APPLICAZIONI DI RNN, LSTM E GRU ALL'ANALISI DEL TESTO, INTRODUZIONE ALLA TEXT GENERATION CONOSCENZE E CAPACITÀ DI COMPRENSIONE: CONOSCENZA DEI CONCETTI E DELLE TECNICHE DI BASE PER L'ELABORAZIONE DEL LINGUAGGIO NATURALE. CONOSCENZE E CAPACITÀ DI COMPRENSIONE APPLICATE: APPLICARE I CONCETTI E LE TECNICHE DI BASE ALLA REALIZZAZIONE DI SEMPLICI TOOL DI CLASSIFICAZIONE E ANALISI DEL TESTO. UNITÀ DIDATTICA 2: FONDAMENTI DEI LARGE LANGUAGE MODELS (ORE LEZIONE/ESERCITAZIONE/LABORATORIO 6/6/0) - 1 (2 ORE LEZIONE): INTRODUZIONE AGLI LLM - 2 (2 ORE LEZIONE): LLM IN AZIONE: ADDESTRAMENTO, FINE TUNING, GESTIONE DELL'OUTPUT - 3 (2 ORE ESERCITAZIONE): INTRODUZIONE A HUGGINGFACE - 4 (2 ORE LEZIONE): PROMPTING - 5 (2 ORE ESERCITAZIONE): INTRODUZIONE A LANGCHAIN E LLAMAINDEX - 6 (2 ORE ESERCITAZIONE): PROMPTING CON LANGCHAIN CONOSCENZE E CAPACITÀ DI COMPRENSIONE: CONOSCENZA DEI CONCETTI DI BASE SUI LARGE LANGUAGE MODELS. CONOSCENZE E CAPACITÀ DI COMPRENSIONE APPLICATE: REALIZZARE SEMPLICI APPLICAZIONI BASATE SU LLM, UTILIZZARE LE PRINCIAPLI TECNICHE DI PROMPT ENGINEERING. UNITÀ DIDATTICA 3: RETRIEVAL AUGMENTED GENERATION E AGENTI (ORE LEZIONE/ESERCITAZIONE/LABORATORIO 6/6/0) - 1 (2 ORE LEZIONE): RETRIEVAL AUGMENTED GENERATION (RAG) - 2 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU RAG E LANGCHAIN (CHATBOT) - 3 (2 ORE LEZIONE): ADVANCED RAG - 4 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU ADVANCED RAG E LLAMA - 5 (2 ORE LEZIONE): AGENTI BASATI SU LLM - 6 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU AGENTI CONOSCENZE E CAPACITÀ DI COMPRENSIONE: CONOSCENZA DEI CONCETTI E DELLE TECNICHE DI BASE PER I RAG E GLI AGENTI BASATI SU LLM. CONOSCENZE E CAPACITÀ DI COMPRENSIONE APPLICATE: REALIZZARE APPLICAZIONI BASATE SU RAG E AGENTI PER RISOLVERE PROBLEMI REALI DI DIVERSA COMPLESSITA'. UNITA' DIDATTICA 4: FINE TUNING DI LLM (ORE LEZIONE/ESERCITAZIONE/LABORATORIO 4/4/0) - 1 (2 ORE LEZIONE): FINE TUNING DI LLM CON TECNICHE PARAMETER EFFICIENT - 2 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU FINE TUNING - 3 (2 ORE LEZIONE): REINFORCEMENT LEARNING FROM HUMAN FEEDBACK (RLHF) - 4 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU RLHF CONOSCENZE E CAPACITÀ DI COMPRENSIONE: CONOSCENZA DELLE TECNICHE DI BASE ED AVANZATE DI FINE TUNING DEI LARGE LANGUAGE MODELS. CONOSCENZE E CAPACITÀ DI COMPRENSIONE APPLICATE: APPLICAZIONE DELLE TECNICHE DI FINE TUNING PER ADATTARE I LARGE LANGUAGE MODELS A SPECIFICHE APPLICAZIONI DI INTERESSE. TOTALE ORE LEZIONE/ESERCITAZIONE/LABORATORIO 24/24/0

Contenuti

UNITÀ DIDATTICA 1: FONDAMENTI DI ELABORAZIONE DEL LINGUAGGIO NATURALE
(ORE LEZIONE/ESERCITAZIONE/LABORATORIO 8/8/0)
- 1 (2 ORE LEZIONE): CONCETTI DI BASE, TASK, EVOLUZIONE ED APPLICAZIONI DELL'ELABORAZIONE DEL LINGUAGGIO NATURALE
- 2 (2 ORE LEZIONE): RAPPRESENTARE UN TESTO, TOKENIZZAZIONE, STEMMING, POS TAGGING, LEMMATIZZAZIONE
- 3 (2 ORE ESERCITAZIONE): INTRODUZIONE AL FRAMEWORK SPACY, NAMED ENTITY RECOGNITION, DEPENDENCY PARSING
- 4 (2 ORE LEZIONE): BAG OF WORDS, VETTORI TF-IDF, VECTOR SPACE MODEL, DOCUMENT SIMILARITY
- 5 (2 ORE ESERCITAZIONE): TEXT CLASSIFICATION, ESEMPIO DI TOPIC LABELING, ESERCITAZIONE SU SENTIMENT ANALYSIS
- 6 (2 ORE LEZIONE): WORD EMBEDDINGS, WORD2VEC, ALGORITMI CBOW E SKIP-GRAM, ALTERNATIVE (GLOVE, FASTTEXT)
- 7 (2 ORE ESERCITAZIONE): USARE WE PRE-ADDESTRATE, ADDESTRAMENTO DI UN MODELLO WE, RETI NEURALI ED ANALISI DEL TESTO
- 8 (2 ORE ESERCITAZIONE): APPLICAZIONI DI RNN, LSTM E GRU ALL'ANALISI DEL TESTO, INTRODUZIONE ALLA TEXT GENERATION
CONOSCENZE E CAPACITÀ DI COMPRENSIONE: CONOSCENZA DEI CONCETTI E DELLE TECNICHE DI BASE PER L'ELABORAZIONE DEL LINGUAGGIO NATURALE.
CONOSCENZE E CAPACITÀ DI COMPRENSIONE APPLICATE: APPLICARE I CONCETTI E LE TECNICHE DI BASE ALLA REALIZZAZIONE DI SEMPLICI TOOL DI CLASSIFICAZIONE E ANALISI DEL TESTO.

UNITÀ DIDATTICA 2: FONDAMENTI DEI LARGE LANGUAGE MODELS
(ORE LEZIONE/ESERCITAZIONE/LABORATORIO 6/6/0)
- 1 (2 ORE LEZIONE): INTRODUZIONE AGLI LLM
- 2 (2 ORE LEZIONE): LLM IN AZIONE: ADDESTRAMENTO, FINE TUNING, GESTIONE DELL'OUTPUT
- 3 (2 ORE ESERCITAZIONE): INTRODUZIONE A HUGGINGFACE
- 4 (2 ORE LEZIONE): PROMPTING
- 5 (2 ORE ESERCITAZIONE): INTRODUZIONE A LANGCHAIN E LLAMAINDEX
- 6 (2 ORE ESERCITAZIONE): PROMPTING CON LANGCHAIN
CONOSCENZE E CAPACITÀ DI COMPRENSIONE: CONOSCENZA DEI CONCETTI DI BASE SUI LARGE LANGUAGE MODELS.
CONOSCENZE E CAPACITÀ DI COMPRENSIONE APPLICATE: REALIZZARE SEMPLICI APPLICAZIONI BASATE SU LLM, UTILIZZARE LE PRINCIAPLI TECNICHE DI PROMPT ENGINEERING.

UNITÀ DIDATTICA 3: RETRIEVAL AUGMENTED GENERATION E AGENTI
(ORE LEZIONE/ESERCITAZIONE/LABORATORIO 6/6/0)
- 1 (2 ORE LEZIONE): RETRIEVAL AUGMENTED GENERATION (RAG)
- 2 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU RAG E LANGCHAIN (CHATBOT)
- 3 (2 ORE LEZIONE): ADVANCED RAG
- 4 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU ADVANCED RAG E LLAMA
- 5 (2 ORE LEZIONE): AGENTI BASATI SU LLM
- 6 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU AGENTI
CONOSCENZE E CAPACITÀ DI COMPRENSIONE: CONOSCENZA DEI CONCETTI E DELLE TECNICHE DI BASE PER I RAG E GLI AGENTI BASATI SU LLM.
CONOSCENZE E CAPACITÀ DI COMPRENSIONE APPLICATE: REALIZZARE APPLICAZIONI BASATE SU RAG E AGENTI PER RISOLVERE PROBLEMI REALI DI DIVERSA COMPLESSITA'.

UNITA' DIDATTICA 4: FINE TUNING DI LLM
(ORE LEZIONE/ESERCITAZIONE/LABORATORIO 4/4/0)
- 1 (2 ORE LEZIONE): FINE TUNING DI LLM CON TECNICHE PARAMETER EFFICIENT
- 2 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU FINE TUNING
- 3 (2 ORE LEZIONE): REINFORCEMENT LEARNING FROM HUMAN FEEDBACK (RLHF)
- 4 (2 ORE ESERCITAZIONE): ESERCITAZIONE SU RLHF
CONOSCENZE E CAPACITÀ DI COMPRENSIONE: CONOSCENZA DELLE TECNICHE DI BASE ED AVANZATE DI FINE TUNING DEI LARGE LANGUAGE MODELS.
CONOSCENZE E CAPACITÀ DI COMPRENSIONE APPLICATE: APPLICAZIONE DELLE TECNICHE DI FINE TUNING PER ADATTARE I LARGE LANGUAGE MODELS A SPECIFICHE APPLICAZIONI DI INTERESSE.

TOTALE ORE LEZIONE/ESERCITAZIONE/LABORATORIO 24/24/0

	Metodi Didattici
	IL CORSO COMPRENDE LEZIONI FRONTALI ED ESERCITAZIONI IN CLASSE. LE LEZIONI FRONTALI FORNIRANNO AGLI STUDENTI LE CONOSCENZE FONDAMENTALI SULLE PRINCIPALI TECNICHE DI BASE E AVANZATE PER LA RAPPRESENTAZIONE, L'ANALISI E LA CLASSIFICAZIONE DI TESTO IN LINGUAGGIO NATURALE CON LARGE LANGUAGE MODELS. LE ESERCITAZIONI SVILUPPERANNO LA CAPACITÀ DI APPLICARE QUESTE TECNICHE ALLA REALIZZAZIONE DI STRUMENTI DI CLASSIFICAZIONE E ANALISI DEL TESTO E DI QUESTION ANSWERING. LA PARTECIPAZIONE ALLE LEZIONI FRONTALI È OBBLIGATORIA E PER ACCEDERE ALL’ESAME È RICHIESTA UNA FREQUENZA MINIMA DEL 70%. LA PRESENZA SARÀ MONITORATA TRAMITE IL SISTEMA AUTOMATICO EASYBADGE FORNITO DALL’ATENEO.

Metodi Didattici

IL CORSO COMPRENDE LEZIONI FRONTALI ED ESERCITAZIONI IN CLASSE. LE LEZIONI FRONTALI FORNIRANNO AGLI STUDENTI LE CONOSCENZE FONDAMENTALI SULLE PRINCIPALI TECNICHE DI BASE E AVANZATE PER LA RAPPRESENTAZIONE, L'ANALISI E LA CLASSIFICAZIONE DI TESTO IN LINGUAGGIO NATURALE CON LARGE LANGUAGE MODELS. LE ESERCITAZIONI SVILUPPERANNO LA CAPACITÀ DI APPLICARE QUESTE TECNICHE ALLA REALIZZAZIONE DI STRUMENTI DI CLASSIFICAZIONE E ANALISI DEL TESTO E DI QUESTION ANSWERING. LA PARTECIPAZIONE ALLE LEZIONI FRONTALI È OBBLIGATORIA E PER ACCEDERE ALL’ESAME È RICHIESTA UNA FREQUENZA MINIMA DEL 70%. LA PRESENZA SARÀ MONITORATA TRAMITE IL SISTEMA AUTOMATICO EASYBADGE FORNITO DALL’ATENEO.

	Verifica dell'apprendimento
	L’ESAME CONSISTE NELLA REALIZZAZIONE DI UN PROGETTO DI GRUPPO E IN UNA PROVA ORALE. IL PROGETTO RICHIEDE AGLI STUDENTI DI APPLICARE CRITICAMENTE LE METODOLOGIE APPRESE DURANTE IL CORSO A UN CASO PRATICO. LA PROVA ORALE VALUTERÀ LE COMPETENZE TEORICHE ACQUISITE DURANTE IL CORSO, LA CAPACITÀ DI ARGOMENTARE LE SCELTE PROGETTUALI EFFETTUATE NEL PROJECT WORK E DI RISPONDERE A DOMANDE SU ARGOMENTI SPECIFICI TRATTATI NELLE LEZIONI FRONTALI. IL VOTO FINALE SARÀ DETERMINATO DALLA MEDIA DEI VOTI OTTENUTI NELLE DUE PROVE.

Verifica dell'apprendimento

L’ESAME CONSISTE NELLA REALIZZAZIONE DI UN PROGETTO DI GRUPPO E IN UNA PROVA ORALE. IL PROGETTO RICHIEDE AGLI STUDENTI DI APPLICARE CRITICAMENTE LE METODOLOGIE APPRESE DURANTE IL CORSO A UN CASO PRATICO. LA PROVA ORALE VALUTERÀ LE COMPETENZE TEORICHE ACQUISITE DURANTE IL CORSO, LA CAPACITÀ DI ARGOMENTARE LE SCELTE PROGETTUALI EFFETTUATE NEL PROJECT WORK E DI RISPONDERE A DOMANDE SU ARGOMENTI SPECIFICI TRATTATI NELLE LEZIONI FRONTALI. IL VOTO FINALE SARÀ DETERMINATO DALLA MEDIA DEI VOTI OTTENUTI NELLE DUE PROVE.

	Testi
	TESTI DI RIFERIMENTO: H. LANE, C. HOWARD, H. M. HAPKE: NATURAL LANGUAGE PROCESSING IN ACTION, 2ND EDITION, MANNING, 2025. L.F. BOUCHARD, L. PETERS: BUILDING LLMS FOR PRODUCTION, TOWARDS AI, 2024. MATERIALE DIDATTICO INTEGRATIVO SARÀ DISPONIBILE NELLA SEZIONE DEDICATA DELL'INSEGNAMENTO ALL'INTERNO DELLA PIATTAFORMA E-LEARNING DI ATENEO (HTTPS://ELEARNING.UNISA.IT) ACCESSIBILE AGLI STUDENTI DEL CORSO TRAMITE LE CREDENZIALI UNICHE DI ATENEO.

Testi

TESTI DI RIFERIMENTO:

H. LANE, C. HOWARD, H. M. HAPKE: NATURAL LANGUAGE PROCESSING IN ACTION, 2ND EDITION, MANNING, 2025.

L.F. BOUCHARD, L. PETERS: BUILDING LLMS FOR PRODUCTION, TOWARDS AI, 2024.

MATERIALE DIDATTICO INTEGRATIVO SARÀ DISPONIBILE NELLA SEZIONE DEDICATA DELL'INSEGNAMENTO ALL'INTERNO DELLA PIATTAFORMA E-LEARNING DI ATENEO (HTTPS://ELEARNING.UNISA.IT) ACCESSIBILE AGLI STUDENTI DEL CORSO TRAMITE LE CREDENZIALI UNICHE DI ATENEO.

BETA VERSION Fonte dati ESSE3

Internazionalizzazione della Didattica | NATURAL LANGUAGE PROCESSING AND LARGE LANGUAGE MODELS