1. No category

EL7002 - Estimación y Detección
Clase No.2: Estimación Insesgada de Varianza Mínima
Patricio Parada
Departamento de Ingeniería Eléctrica
Universidad de Chile
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
1/31
Contenidos de la Clase I
Introducción
Estimadores Insesgados
Distribución de un Estimador
Criterio de Varianza Mínima
Estimador Insesgado de Varianza Mínima
Cota Inferior de Cramer-Rao
Resumen y Lecturas
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
2/31
Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y técnicas para
determinar buenos estimadores de un parámetro (o conjunto de ellos) que son
desconocidos.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
3/31
Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y técnicas para
determinar buenos estimadores de un parámetro (o conjunto de ellos) que son
desconocidos.
El criterio que veremos en esta clase se denomina de varianza mínima, ya que
utiliza como función discriminadora la varianza del estimador bajo estudio.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
3/31
Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y técnicas para
determinar buenos estimadores de un parámetro (o conjunto de ellos) que son
desconocidos.
El criterio que veremos en esta clase se denomina de varianza mínima, ya que
utiliza como función discriminadora la varianza del estimador bajo estudio.
Vamos a considerar una clase particular de estimadores denominados
insesgados, que tienen un buen desempeño y son realizables (causales).
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
3/31
Estimadores Insesgados (1)
Un estimador es insesgado si - en promedio - entrega el valor correcto del
parámetro desconocido.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
4/31
Estimadores Insesgados (1)
Un estimador es insesgado si - en promedio - entrega el valor correcto del
parámetro desconocido.
Si θ ∈ Θ entonces podemos restringir nuestra atención al caso en que
E[θ̂] = θ, θ ∈ Θ.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
(1)
4/31
Estimadores Insesgados (1)
Un estimador es insesgado si - en promedio - entrega el valor correcto del
parámetro desconocido.
Si θ ∈ Θ entonces podemos restringir nuestra atención al caso en que
E[θ̂] = θ, θ ∈ Θ.
(1)
Ejemplo 1: consideremos el problema de estimar un parámetro desconocido
A ∈ R a partir del modelo
x[n] = A + w[n]
(2)
donde {w[n]} es i.i.d. ∼ N (0, 1).
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
4/31
Estimadores Insesgados (2)
Asumamos que tenemos N observaciones de x[n] de forma tal que definimos el
estimador
 =
N−1
1 !
x[n]
N
(3)
n=0
Es fácil mostrar que  es insesgado, ya que
E[Â] =
=
N−1
1 !
E[x[n]]
N
1
N
n=0
N−1
!
A
n=0
= A.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
5/31
Estimadores Insesgados (3)
Ejemplo 2: Considere X ∼ N (0, σ 2 ) y las realizaciones x[0], x[1], . . . , x[N − 1].
Definimos el estimador de la varianza de X como:
σ̂ 2 =
N−1
1 ! 2
x [N]
N
(4)
n=0
Luego,
E[σ̂ 2 ] =
N−1
1 !
E[x2 [N]]
N
n=0
2
=σ .
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
6/31
Estimadores Insesgados (4)
0.25
0.2
0.2
0.15
0.15
pÂ
pσˆ2
0.25
0.1
0.1
0.05
0.05
0
-0.1
-0.05
0
a
0.05
0.1
0
0.85 0.9 0.95 1 1.05 1.1 1.15 1.2
σ2
Figura: Distribución empírica (histograma) de los estimadores  y σˆ2 producidos via
simulación con N = 1000 y 500 simulaciones; los parámetros reales son A = 0 y σ 2 = 1.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
7/31
Distribución de un Estimador (1)
En general, si conocemos el modelo paramétrico que relaciona las observaciones
con el parámetro desconocido, podemos hacer algo de álgebra y determinar en
forma analítica la distribución de probabilidad del parámetro en cuestión.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
8/31
Distribución de un Estimador (1)
En general, si conocemos el modelo paramétrico que relaciona las observaciones
con el parámetro desconocido, podemos hacer algo de álgebra y determinar en
forma analítica la distribución de probabilidad del parámetro en cuestión.
Si el estimador es insesgado, es habitual que la distribución del parámetro sea
simétrica y centrada en torno al valor real del parámetro.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
8/31
Distribución de un Estimador (1)
En general, si conocemos el modelo paramétrico que relaciona las observaciones
con el parámetro desconocido, podemos hacer algo de álgebra y determinar en
forma analítica la distribución de probabilidad del parámetro en cuestión.
Si el estimador es insesgado, es habitual que la distribución del parámetro sea
simétrica y centrada en torno al valor real del parámetro.
Sin embargo, existen casos donde esto no se cumple:
1
σ¯2 = (x2 [0] + x2 [1])
2
(5)
se distribuye en forma exponencial con parámetro 1/σ 2 :
f (σ̄ 2 ) =
P. Parada, DIE-UCh
" σ̄ 2 #
1
exp
− 2 .
σ2
σ
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
(6)
8/31
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
0.85 0.90.95 1 1.05 1.1 1.15 1.2 1.25
σ2
pσ¯2
pσˆ2
Distribución de un Estimador (2)
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
-2
0
2
4
6
8
10 12
σ2
Figura: Distribución empírica (histograma) de los estimadores σˆ2 y σ¯2 producidos via
simulación con N = 1000 y 500 simulaciones; los parámetros reales son A = 0 y σ 2 = 1.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
9/31
Criterio de Varianza Mínima
En general, el diseño de un estimador se realizará siguiendo un criterio de
optimalidad, el que habitualmente es el error cuadrático medio mínimo (MMSE).
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
10/31
Criterio de Varianza Mínima
En general, el diseño de un estimador se realizará siguiendo un criterio de
optimalidad, el que habitualmente es el error cuadrático medio mínimo (MMSE).
Definición: Error Cuadrático Medio
El error cuadrático medio (MSE: Mean Square Error) entre un estimador θ̂ y θ se
define como
mse(θ̂) = E[(θ̂ − θ)2 ].
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
(7)
10/31
Costo de emplear un estimador sesgado
El costo de emplear un estimador sesgado puede ser determinado directamente
de (7):
mse((θ̂) = E[(θ̂ − E[θ̂] + E[θ̂] − θ)2 ]
(8a)
= E[(θ̂ − E[θ̂])2 ] + 2E[(θ̂ − E[θ̂])](E[θ̂] − θ]) + E[(E[θ̂] − θ)2 ]
$ %& '
(8b)
= Var(θ̂) + 2b(θ)(E[θ̂] − E[θ̂]) + b2 (θ)
(8c)
=
b2 (θ)
$ %& '
(8d)
b(θ)
Var(θ̂)
$ %& '
+
Varianza del Estimador
Sesgo del Estimador
La función b(θ) representa el sesgo del estimador.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
11/31
¿Son los Estimadores MMSE Realizables? (1)
Una de las dificultades centrales de un estimador mmse es que puede terminar
dependiendo del parámetro que queremos estimar, lo que lo hace no realizable.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
12/31
¿Son los Estimadores MMSE Realizables? (1)
Una de las dificultades centrales de un estimador mmse es que puede terminar
dependiendo del parámetro que queremos estimar, lo que lo hace no realizable.
Consideremos el estimador sesgado:
 = a
N−1
1 !
x[n].
N
n=0
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
12/31
¿Son los Estimadores MMSE Realizables? (1)
Una de las dificultades centrales de un estimador mmse es que puede terminar
dependiendo del parámetro que queremos estimar, lo que lo hace no realizable.
Consideremos el estimador sesgado:
 = a
N−1
1 !
x[n].
N
n=0
Su valor esperado es E[Â] = a · A = A + (a − 1)A y su error cuadrático medio es
$ %& '
b(A)
mse(Â) =
P. Parada, DIE-UCh
a2 A2
+ (a − 1)2 A2 .
N
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
12/31
¿Son los Estimadores MMSE Realizables? (2)
¿Cuál es el valor de a que minimiza el mse(Â)?
dmse(Â)
σ2
= 2a + 2(a − 1)A2 = 0
da
N
A2
⇒a= 2
.
σ /N + A2
Es habitual que la estimación de parámetros via el criterio de error cuadrático
medio mínimo arroje soluciones no realizables, por lo que en general no se
emplea en este tipo de problemas.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
13/31
¿Son los Estimadores MMSE Realizables? (2)
¿Cuál es el valor de a que minimiza el mse(Â)?
dmse(Â)
σ2
= 2a + 2(a − 1)A2 = 0
da
N
A2
⇒a= 2
.
σ /N + A2
Es habitual que la estimación de parámetros via el criterio de error cuadrático
medio mínimo arroje soluciones no realizables, por lo que en general no se
emplea en este tipo de problemas.
En su lugar, vamos a emplear un criterio de varianza mínima sujeto a la
restricción
E[θ̂] = θ.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
(9)
13/31
Existencia del Estimador Insesgado de Varianza Mínima
Necesitamos determinar si el estimador insesgado de mínima varianza (MVU:
minimum variance unbiased) existe, y cuando lo hace, nos gustaría saber cómo
encontrarlo.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
14/31
Existencia del Estimador Insesgado de Varianza Mínima
Necesitamos determinar si el estimador insesgado de mínima varianza (MVU:
minimum variance unbiased) existe, y cuando lo hace, nos gustaría saber cómo
encontrarlo. En general, la existencia no está garantizada pues puede ser que el
estimador de varianza mínima sea

g (x[0], . . . , x[N − 1])
1
θ̂ =
g (x[0], . . . , x[N − 1])
2
θ ∈ Θ1
θ ∈ Θ2
(10)
con Θ = Θ1 ∪ Θ2 .
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
14/31
Cálculo del Estimador Insesgado de Varianza Mínima
El estimador insesgado de varianza mínima, aunque exista, puede resultar
bastante complejo de encontrar.
1
Cramer-Rao Lower Bound
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
15/31
Cálculo del Estimador Insesgado de Varianza Mínima
El estimador insesgado de varianza mínima, aunque exista, puede resultar
bastante complejo de encontrar.
Aunque no existe una técnica precisa para hacerlo, al menos vamos a ver un
procedimiento que puede ayudarnos a encontrarlo:
1
Cramer-Rao Lower Bound
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
15/31
Cálculo del Estimador Insesgado de Varianza Mínima
El estimador insesgado de varianza mínima, aunque exista, puede resultar
bastante complejo de encontrar.
Aunque no existe una técnica precisa para hacerlo, al menos vamos a ver un
procedimiento que puede ayudarnos a encontrarlo:
1 Calcular la cota inferior de Cramer-Rao (CRLB)1 y determinar si existe algún
estimador que la satisfaga.
1
Cramer-Rao Lower Bound
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
15/31
Cálculo del Estimador Insesgado de Varianza Mínima
El estimador insesgado de varianza mínima, aunque exista, puede resultar
bastante complejo de encontrar.
Aunque no existe una técnica precisa para hacerlo, al menos vamos a ver un
procedimiento que puede ayudarnos a encontrarlo:
1 Calcular la cota inferior de Cramer-Rao (CRLB)1 y determinar si existe algún
estimador que la satisfaga.
2 Aplicar el teorema de Rao-Blackwell-Lehmann-Scheffe (RBLS)
1
Cramer-Rao Lower Bound
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
15/31
Cálculo del Estimador Insesgado de Varianza Mínima
El estimador insesgado de varianza mínima, aunque exista, puede resultar
bastante complejo de encontrar.
Aunque no existe una técnica precisa para hacerlo, al menos vamos a ver un
procedimiento que puede ayudarnos a encontrarlo:
1 Calcular la cota inferior de Cramer-Rao (CRLB)1 y determinar si existe algún
estimador que la satisfaga.
2 Aplicar el teorema de Rao-Blackwell-Lehmann-Scheffe (RBLS)
3 Restringir aun más la clase de estimadores no sólo a ser insesgados pero
además lineales, y determinar si el estimador de varianza mínima en este
nuevo conjunto.
1
Cramer-Rao Lower Bound
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
15/31
1.2 Cota Inferior de Cramer-Rao
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
16/31
Cotas de Desempeño
Una manera de construir estimadores insesgados de varianza mínima es
determinando una cota para la varianza que un estimador cualquiera puede
tener.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
17/31
Cotas de Desempeño
Una manera de construir estimadores insesgados de varianza mínima es
determinando una cota para la varianza que un estimador cualquiera puede
tener.
Si alguno de los estimadores que estamos considerando tiene una varianza igual
a la cota, habremos resuelto nuestro problema original.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
17/31
Cotas de Desempeño
Una manera de construir estimadores insesgados de varianza mínima es
determinando una cota para la varianza que un estimador cualquiera puede
tener.
Si alguno de los estimadores que estamos considerando tiene una varianza igual
a la cota, habremos resuelto nuestro problema original.
En el peor de los casos, es un punto de comparación contra el cual podemos
comparar otros estimadores.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
17/31
Cotas de Desempeño
Una manera de construir estimadores insesgados de varianza mínima es
determinando una cota para la varianza que un estimador cualquiera puede
tener.
Si alguno de los estimadores que estamos considerando tiene una varianza igual
a la cota, habremos resuelto nuestro problema original.
En el peor de los casos, es un punto de comparación contra el cual podemos
comparar otros estimadores.
Más aún, podremos utilizarlo para determinar si es físicamente posible construir
un estimador MVU.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
17/31
Cotas de Desempeño
Existe una gran cantidad de cotas para la varianza de un estimador, pero la cota
inferior de Cramer-Rao (CRLB) es una de las más fáciles de calcular.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
18/31
Cotas de Desempeño
Existe una gran cantidad de cotas para la varianza de un estimador, pero la cota
inferior de Cramer-Rao (CRLB) es una de las más fáciles de calcular.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
18/31
Precisión del Estimador (1)
La precisión de un estimador indica cuán cercano se encuentra el estimador de
un parámetro a su valor real.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
19/31
Precisión del Estimador (1)
La precisión de un estimador indica cuán cercano se encuentra el estimador de
un parámetro a su valor real.
Ella depende de dos elementos:
(a) Los datos observados {x[0], x[1], . . . , x[N − 1]}, y
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
19/31
Precisión del Estimador (1)
La precisión de un estimador indica cuán cercano se encuentra el estimador de
un parámetro a su valor real.
Ella depende de dos elementos:
(a) Los datos observados {x[0], x[1], . . . , x[N − 1]}, y
(b) La f.d.p. que representa el comportamiento de las observaciones.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
19/31
Precisión del Estimador (1)
La precisión de un estimador indica cuán cercano se encuentra el estimador de
un parámetro a su valor real.
Ella depende de dos elementos:
(a) Los datos observados {x[0], x[1], . . . , x[N − 1]}, y
(b) La f.d.p. que representa el comportamiento de las observaciones.
Este segundo punto es esencial, pues su el parámetro que queremos determinar
depende en forma débil de la densidad (o no depende), es difícil que podamos
concluir algo relevante respecto del parámetro desconocido.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
19/31
Precisión del Estimador (2)
Ejemplo:
Considere el proceso definido por
x[n] = A + w[n]
con w[n] ∼ N (0, σ 2 ).
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
20/31
Precisión del Estimador (2)
Ejemplo:
Considere el proceso definido por
x[n] = A + w[n]
con w[n] ∼ N (0, σ 2 ).
La calidad del estimador
 = x[n]
(11)
mejorará a medida que σ disminuye.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
20/31
Precisión del Estimador (3)
Otra forma de evaluar esta característica del estimador es estudiando la función
de densidad de probabilidad del estimador.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
21/31
Precisión del Estimador (3)
Otra forma de evaluar esta característica del estimador es estudiando la función
de densidad de probabilidad del estimador.
Si ella se encuentra más concentrada en torno al parámetro A, el estimador Â
será más preciso.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
21/31
Función de Verosimilitud
Cuando una medida de probabilidad es vista como una función de un
parámetros desconocido θ para una observación dada x, recibe el nombre de
función de verosimilitud.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
22/31
Función de Verosimilitud
Cuando una medida de probabilidad es vista como una función de un
parámetros desconocido θ para una observación dada x, recibe el nombre de
función de verosimilitud.
En el caso del ejemplo recién visto, la función de verosimilitud es
+
,
1
1
p(x[0]; A) = √
exp − 2 (x[0] − A)2 , para todo A ∈ R.
2σ
2πσ 2
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
(12)
22/31
Función de Verosimilitud
Cuando una medida de probabilidad es vista como una función de un
parámetros desconocido θ para una observación dada x, recibe el nombre de
función de verosimilitud.
En el caso del ejemplo recién visto, la función de verosimilitud es
+
,
1
1
p(x[0]; A) = √
exp − 2 (x[0] − A)2 , para todo A ∈ R.
2σ
2πσ 2
(12)
La precisión de la función de verosimilitud puede ser cuantificada calculando la
curvatura de la función log-verosimilitud.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
22/31
Precisión Función de Verosimilitud (1)
La curvatura de la función log-verosimilitud corresponde al negativo de la
segunda derivada del logaritmo natural de la función de verosimilitud.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
23/31
Precisión Función de Verosimilitud (1)
La curvatura de la función log-verosimilitud corresponde al negativo de la
segunda derivada del logaritmo natural de la función de verosimilitud.
En el ejemplo,
1
1
ln p(x[0]; A) = − ln(2πσ 2 ) − 2 (x[0] − A)2
2
2σ
(13a)
Precisión Función de Verosimilitud (1)
La curvatura de la función log-verosimilitud corresponde al negativo de la
segunda derivada del logaritmo natural de la función de verosimilitud.
En el ejemplo,
1
1
ln p(x[0]; A) = − ln(2πσ 2 ) − 2 (x[0] − A)2
2
2σ
(13a)
Precisión Función de Verosimilitud (1)
La curvatura de la función log-verosimilitud corresponde al negativo de la
segunda derivada del logaritmo natural de la función de verosimilitud.
En el ejemplo,
1
1
ln p(x[0]; A) = − ln(2πσ 2 ) − 2 (x[0] − A)2
2
2σ
(13a)
Precisión Función de Verosimilitud (1)
La curvatura de la función log-verosimilitud corresponde al negativo de la
segunda derivada del logaritmo natural de la función de verosimilitud.
En el ejemplo,
1
1
ln p(x[0]; A) = − ln(2πσ 2 ) − 2 (x[0] − A)2
2
2σ
∂ ln p(x[0]; A)
1
⇒
= 2 (x[0] − A)
∂A
σ
∂ 2 ln p(x[0]; A)
1
⇒−
= 2
∂A2
σ
(13a)
(13b)
(13c)
Luego, la curvatura aumenta a medida que σ disminuye.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
23/31
Precisión Función de Verosimilitud (2)
Dado que la función de verosimilitud depende del valor de la observación, es
una variable aleatoria también.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
24/31
Precisión Función de Verosimilitud (2)
Dado que la función de verosimilitud depende del valor de la observación, es
una variable aleatoria también.
Luego, consideraremos la siguiente medida de precisión del estimador:
.
∂ 2 ln p(x[0], . . . , x[N − 1]; θ)
−E
,
∂θ 2
(14)
que mide la curvatura promedio de la función de log-verosimilitud.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
24/31
Precisión Función de Verosimilitud (2)
Dado que la función de verosimilitud depende del valor de la observación, es
una variable aleatoria también.
Luego, consideraremos la siguiente medida de precisión del estimador:
.
∂ 2 ln p(x[0], . . . , x[N − 1]; θ)
−E
,
∂θ 2
(14)
que mide la curvatura promedio de la función de log-verosimilitud.
NOTA: El valor esperado debe ser calculado con respecto a x.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
24/31
Cota Inferior de Cramer-Rao (1)
Teorema
Consideremos una f.d.p. p(x; θ) que satisface la condición de regularidad:
.
∂ ln p(x; θ)
E
= 0, para todo θ ∈ Θ.
∂θ
(15)
Entonces, la varianza de cualquier estimador insesgado θ̂ satisface
Var(θ̂) ≥
-
E −
1
∂ 2 ln p(x; θ)
∂θ 2
.,
(16)
donde la derivada es evaluada en el parámetro correcto θ.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
25/31
Cota Inferior de Cramer-Rao (2)
Cont’n Teorema
Además, existe un estimador insesgado que alcanza la cota, esto es, para el cual
Var(θ̂) =
-
1
∂ 2 ln p(x; θ)
E −
∂θ 2
.,
(17)
para todo θ, si y sólo si
∂ ln p(x; θ)
= I(θ)(g(x) − θ)
∂θ
(18)
para alguna función real g e I.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
26/31
Cota Inferior de Cramer-Rao (2)
Cont’n Teorema
Además, existe un estimador insesgado que alcanza la cota, esto es, para el cual
Var(θ̂) =
-
1
∂ 2 ln p(x; θ)
E −
∂θ 2
.,
(17)
para todo θ, si y sólo si
∂ ln p(x; θ)
= I(θ)(g(x) − θ)
∂θ
(18)
para alguna función real g e I. En este caso, el estimador insesgado de varianza
mínima es
θ̂ = g(x), y Var(θ̂) =
P. Parada, DIE-UCh
1
.
I(θ)
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
(19)
26/31
Ejemplo de Aplicación (1)
Consideremos que tenemos múltiples observaciones de un voltaje A mediante
un sensor cuya medición es ruidosa y puede ser modelada de la siguiente forma:
x[n] = A + w[n], n = 0, 1, . . . , N − 1,
donde w[n] ∼ N (0, σ 2 ).
Problema: Calcular la CICR para A:
Paso 1: Determinar la función de verosimilitud del parámetro que queremos
estimar:
p(x; A) =
N−1
/
n=0
=
P. Parada, DIE-UCh
√
"
#
1
exp − 2 (x[n] − A)2
2σ
2πσ 2
1
N−1
"
#
1
1 !
2
exp
−
(x[n]
−
A)
.
2σ 2
(2πσ 2 )N/2
n=0
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
27/31
Ejemplo de Aplicación (2)
Paso 2: Calcular la curvatura de ln p(x; A):
∂ ln p(x; A)
1
= 2
∂A
σ
+ N−1
!
n=0
x[n] − N × A
,
∂ 2 ln p(x; A)
N
= 2.
2
∂A
σ
Paso 3: Verificamos condiciones de regularidad.
-
.
+ N−1
,
∂ ln p(x; A)
1 !
E
= 2
E[x[n]] − N × A = 0.
∂A
σ
P. Parada, DIE-UCh
n=0
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
28/31
Ejemplo de Aplicación (3)
Por el Teorema de la CICR podemos concluir entonces que cualquier estimador
insesgado de A debe satisfacer que:
Var(Â) ≥
P. Parada, DIE-UCh
σ2
.
N
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
29/31
Ejemplo de Aplicación (3)
Por el Teorema de la CICR podemos concluir entonces que cualquier estimador
insesgado de A debe satisfacer que:
Var(Â) ≥
σ2
.
N
(20)
Resulta fácil verificar que
 =
N−1
1 !
x[n]
N
(21)
n=0
es un estimador de mínima varianza y, por lo tanto, satisface
Var =
P. Parada, DIE-UCh
σ2
.
N
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
(22)
29/31
Ideas para madurar
!
En esta clase hemos visto la importancia de utilizar estimadores insesgados.
!
Hemos presentado un resultado (Cota Inferior de Cramer Rao) que puede
ayudarnos a determinar “buenos” estimadores.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
30/31
Lecturas
!
Steven M. Kay. Fundamentals of Statistical Signal Processing: Volume 1 Estimation Theory, Capítulos 2 y 3.1-3.5.
P. Parada, DIE-UCh
EL7002, Clase No.2: Estimación Insesgada de Varianza Mínima
31/31