Obiettivi dell’insegnamento
La teoria dell’informazione studia i limiti fondamentali relativi alla rappresentazione e alla trasmissione dell’informazione. Il corso ha come obiettivo quello di introdurre gli studenti al calcolo delle probabilità e ai processi casuali visti attraverso le lenti della teoria dell’informazione e delle sue principali applicazioni nell’ambito dell’ingegneria informatica e delle comunicazioni. In aggiunta ai concetti base di probabilità e processi casuali, si introdurranno i concetti di entropia, entropia relativa, informazione mutua e, successivamente, si considererà il loro utilizzo nella compressione dei dati, la codifica di sorgente, la trasmissione dei dati, la complessità computazionale, l’inferenza probabilistica. L’insegnamento introduce anche i concetti fondamenti della stima e della simulazione numerica di esperimenti casuali, entrambi essenziali come strumento di analisi e di progetto dei moderni sistemi di comunicazione.
L’attività di laboratorio sarà incentrata sulla costruzione di modelli simulativi in MATLAB aventi come obiettivo l’applicazione e la verifica della teoria studiata durante le lezioni. Le ore in laboratorio serviranno come confronto di approfondimento per l’argomento assegnato.
Risultati di apprendimento attesi
| Descrittori di Dublino | Risultati attesi |
|---|---|
| 1. Conoscenza e comprensione | A seguito del superamento dell’esame, lo studente: conosce i fondamenti della teoria della probabilità e della stima che servono per una corretta progettazione di sistemi di comunicazione ed elaborazione delle informazioni; è in grado di calcolare l’entropia e l’informazione mutua di variabili casuali; conosce e applica i concetti fondamentali della teoria dell’informazione; è in grado di comprendere i concetti relativi alla memorizzazione e alla compressione dei dati. |
| 2. Capacità di applicare conoscenza e comprensione | A seguito del superamento dell’esame, lo studente: è in grado di applicare a casi reali i metodi ed i modelli probabilistici appresi a diversi ambiti dell’ingegneria dell’informazione; ha acquisito le nozioni fondamentali per affrontare corsi avanzati di inferenza statistica, machine learning, sistemi di comunicazione e ingegneria dell’informazione. |
| 3. Autonomia di giudizio | A seguito del superamento dell’esame, lo studente: È in grado di gestire problemi non strettamente inerenti alle problematiche affrontate nel corso assumendo decisioni motivate. |
| 5. Capacità di apprendimento | A seguito del superamento dell’esame, lo studente: è in grado di apprendere in maniera autonoma nuovi concetti e modelli basati su fenomeni non strettamente deterministici; ha acquisito le nozioni fondamentali per affrontare corsi avanzati di inferenza statistica, machine learning, sistemi di comunicazione e ingegneria dell’informazione. |
Argomenti trattati
Probabilità e variabili casuali. Introduzione: frequenze relative e probabilità. Definizioni e proprietà elementari. Spazi con un’infinità numerabile e non numerabile di risultati. Probabilità condizionate, indipendenza statistica, regola di Bayes. Elementi di calcolo combinatorio. Introduzione all’ottimizzazione combinatoria. Elementi di teoria della complessità computazionale. Variabili casuali, funzione di distribuzione, densità di probabilità. Valore atteso, valore atteso di una funzione di variabile casuale, varianza e deviazione standard. Densità congiunte e condizionate, indipendenza condizionata. Funzioni di variabili casuali.
Prove ripetute e teoremi limite. Distribuzione binomiale. Approssimazione gaussiana. Misura di una probabilità. Momenti, funzione caratteristica e funzione generatrice dei momenti. Varianza della somma di variabili casuali. Distribuzioni di maggiore interesse pratico. Legge dei grandi numeri. Teorema del limite centrale. Variabili casuali congiuntamente gaussiane.
Processi casuali. Processi casuali discreti e continui. Descrizione statistica di un processo casuale. Momenti. Valore medio e autocorrelazione. Processi stazionari. Ergodicità. Processi casuali gaussiani. Esempi e applicazioni.
Introduzione alla teoria dell’informazione. Misura dell’informazione. Entropia, entropia relativa e informazione mutua. Sequenze di variabili casuali e tasso di entropia. Relazione tra entropia ed informazione mutua. Regola a catena per l’entropia, l’entropia relativa e l’informazione mutua. Disuguaglianze di Jensen, elaborazione dei dati e log-sum. Codifica di sorgente. Compressione dati. Applicazioni.
Introduzione alla stima. Media e varianza campionaria. Stima di parametri a massima verosimiglianza. Stima a minimo errore quadratico medio. Stima lineare a minimo errore quadratico medio. Relazione tra misura dell’informazione e stima a minimo errore quadratico medio. Filtraggio, predizione, decisione. Esempi ed applicazioni.
Simulazione di esperimenti casuali. Esempi di simulazione per determinare la probabilità di eventi e la distribuzione di variabili casuali. Generazione di sequenze numeriche pseudocasuali. La simulazione Monte Carlo e le tecniche semi-analitiche. Simulazione di eventi rari. Test d’ipotesi. Applicazioni a problemi ingegneristici.
Prerequisiti
Sono necessarie conoscenze elementari di analisi matematica, con particolare riferimento a calcolo differenziale e integrale. Questi argomenti sono previsti nei programmi degli insegnamenti di Analisi Matematica I e II.
Modalità di valutazione
L’esame può essere superato attraverso due prove in itinere o presentandosi a uno degli appelli di luglio, settembre o febbraio. Secondo la prima modalità - la cui partecipazione non è obbligatoria, ma fortemente consigliata - il programma d’esame riguarderà parti distinte del programma. Se il voto ottenuto in una prova non è gravemente insufficiente (p.es >15) esso concorre alla valutazione finale, determinata come media aritmetica dei risultati parziali. Gli appelli successivi al primo perdono memoria di eventuali valutazioni parziali e riguardano l’intero programma d’esame. In entrambi i casi, nella composizione del voto si terrà conto anche della chiarezza di esposizione e di partecipazione attiva alle lezioni.
Lo studente dovrà, in sede di esame:
- dimostrare di conoscere le principali definizioni e concetti inerenti al calcolo delle probabilità e i fondamentali enunciati della teoria (descrittore di Dublino 1)
- saper tradurre in formalismo matematico un testo che descrive un problema di calcolo delle probabilità (descrittori di Dublino 1, 2, e 5)
- saper utilizzare i principali risultati analitici per risolvere un quesito che enuncia un problema di calcolo delle probabilità (descrittori di Dublino 1 e 2)
- saper reinterpretare e applicare i concetti di calcolo delle probabilità nell’ambito di teoria dell’informazione e teoria della stima (descrittore di Dublino 1, 2, e 5)
- progettare un algoritmo per simulare un esperimento casuale su un calcolatore (descrittori di Dublino 1 e 2)
- decidere di escludere un esercizio dalla valutazione finale (descrittore di Dublino 3)