Stima Bayesiana

Note

Consideriamo una quantità da stimare , e la interpretiamo con variabile aleatoria conosciuta a priori. A questo punto tramite uno strumento di misura osserviamo . Infine tramite uno stimatore otterremo .

Se è discreta potremo testare la sua ipotesi per ottenere . Avendo poi conoscenza a priori di potremo dire che:

Calcolando poi la legge a posteriori di dato , per la regola di Bayes:

Da cui possiamo calcolare:

Per continua possiamo dire che:

Con:

Data una generica variabile aleatoria o variabile , da adesso in poi utilizzeremo per indicare le sue stime.

Stima classica

Consideriamo una quantità da stimare non osservabile direttamente. Tramite uno strumento di misura osserviamo una variabile aleatoria , misurata da una funzione . Una volta fatto passeremo da uno stimatore, che ci restituirà una variabile aleatoria .

Stimatore Massimo a posteriori (MAP)

Note

Per discreta, il risultato dopo aver applicato Bayes è:

Decidiamo per l’ipotesi con la massima probabilità a posteriori:

Nel caso continuo, dopo aver applicato Bayes ottengo:

E possiamo dire che:

Questa stima MAP minimizza la probabilità di errore di stima a posteriori, quindi:

Per la legge delle probabilità totali:

Stimatore ai minimi errori quadratici medi (LMS)

Note

L’obiettivo di questo stimatore è minimizzare l’errore quadratico medio:

Si ha che:

Da cui ricaviamo:

Da questo risultato ricaviamo che:

Dove è il l’errore quadrato minimo medio.

Stima LMS di basata sull'osservazione

Avendo due variabili aleatorie e , osserviamo . In questo modo la LMS cambia:

Da cui:

Il minimo errore quadratico medio è:

Si ha che:

Dove è uno stimatore qualsiasi. Di conseguenza:

Definiamo l’errore di stima come:

Si ha che: