Estimaciones útiles. La estadística Iván de Jesús Arellano Palma Hay tres tipos de mentiras: mentiras, grandes mentiras y las estadísticas. Mark Twain atribuyó esto a Benjamín Disraeli ¿Sabe el lector cómo se mide el raiting de su programa favorito de TV, cómo se calcula el número de especies en un hábitat determinado, cómo se mide la tasa de desempleo en cierto país o cuántos católicos hay en promedio en su país? Pues bien todo esto se calcula por métodos estadísticos, esa rama de las matemáticas que parece ser que se lleva bien con interpretaciones que son base de errores: la estadística. El patito feo de las matemáticas Haremos un viaje por el mundo de lo inexacto, es decir por el mundo de la estadística. Al contrario de otras ramas de las matemáticas, quienes Estimaciones útiles: La estadística / CIENCIORAMA 1 utilizan la estadística parecen tolerar ciertos errores (sobre todo la falta de precisión) e incluso convivir con ellos. Pero ese es el precio que se debe de pagar por conocer –aunque sea sólo parcialmente– un fenómeno que de otra forma resultaría inabarcable. Con el uso de la estadística no se puede conocer algo a fondo y con precisión, sólo se puede tener una idea aproximada, una estimación. La estadística no es exacta, pero como lo decía el brillante estadístico inglés George Pelham Box en su libro Sobre la metodología de superficie de respuesta: “en esencia todos los modelos estadísticos están equivocados pero algunos son útiles”, con lo cual sugiere que confiar en una estimación conlleva aceptar la imprecisión o la distorsión intrínseca de la estadística. Predicciones contra predictores Para empezar, algunas predicciones cotidianas: el pronóstico del tiempo dice que hay 80% de probabilidad de que llueva, entonces salimos con paraguas; el precio del dólar subirá el siguiente lunes; el Guadalajara será campeón o el precio de la gasolina subirá en un mes. Todos hemos visto muchas predicciones sobre casi cualquier tipo de evento, pero cómo se llega a ellas. Empecemos este apartado hablando de predicciones y predictores. Cuando empecé a estudiar estadística, continuamente confundía la predicción con el predictor. Después me fui dando cuenta de que la predicción se calcula, es un “número” o una probabilidad de que ocurra algo. Por ejemplo, que saldrá 3 en un dado que se lanza, que el salario mínimo disminuirá en un 4% o que lloverá mañana. Y el predictor es el análisis del proceso de cómo se llegó a esa predicción… si es que se siguió un método. Lo ilustraré con un juego de azar. Supongamos que te aventuras en un juego de azar donde se participa con un solo dado. ¿Qué hacer para sacar el único número ganador? Podríamos consultar a dos especialistas en estos menesteres: el primero es doctor en probabilidad y estadística, el segundo es un tipo al que le encanta el juego y tiene fama de acertar Estimaciones útiles: La estadística / CIENCIORAMA 2 siempre y sólo te dice “¡venga hermano, apuéstale al 4!” El primero te dirá que no hay una mayor probabilidad de que un número salga en lugar de otro y hasta te hará una disertación sobre la teoría de probabilidades y se aventurará a decir que si fueran dos dados deberías apostarle al 7 y si fueran 3 al 10 o al 11. Por otro lado, el segundo no te dará más información de por qué debes apostar al 4; es más, quizá hasta te dirá que un buen mago no revela sus secretos. ¿Quién será el mejor predictor? El doctor dice que no ve posibilidad alguna de que un número tenga más probabilidad de salir que otro con conocimiento y honestidad. El jugador puede ser que le haya atinado y salió el 4, pero tuvo mucha suerte o quizá sea un experto en el juego y conozca la forma de lanzar el dado u otros detalles, y además nunca revelará sus secretos. Pero la estadística y la ciencia sí tienen que mostrarnos la base de sus predicciones, es decir los métodos probados y validados para llegar a ellas. A veces es muy complejo predecir un evento. Incluso hay muchas disciplinas que suelen trabajar con los llamados sistemas complejos. Antes de continuar haremos un breve paréntesis para dar algunas características de estos magníficos sistemas. Según el doctor Rolando García un sistema es todo conjunto organizado (físico, biológico, social), donde la organización no es otra cosa que el conjunto de relaciones entre sus elementos (moléculas, órganos, comunidades, individuos) incluyendo las relaciones entre estas relaciones. En un sistema son muy importantes estas relaciones; según Spedding su característica más relevante “es que un sistema podría reaccionar como un todo al recibir un estímulo dirigido a cualquiera de sus partes”. Ejemplos de sistemas son un bosón, una molécula de grafeno, un superfluido, una proteína, una sociedad humana o animal, la galaxia de Andrómeda, etcétera. El genial Borges alguna vez comentó que “un sistema no es más que la subordinación de todos los aspectos del universo a uno cualquiera de sus aspectos”. Pues bien, de manera general un sistema complejo está formado por un número muy grande de componentes muy heterogéneos y no lineales en los que una misma causa puede provocar Estimaciones útiles: La estadística / CIENCIORAMA 3 multitud de efectos, o un parámetro puede estar afectado por múltiples causas. Con algunas disciplinas que tratan de sistemas complejos –la biología, la física, la sociología, la meteorología– es difícil predecir eventos, por ejemplo el clima, los valores de la bolsa, las crisis económicas o hasta los penaltis en el futbol. Es más, algunos sistemas como el clima son muy complejos porque dependen de un sinfín de variables y resulta muy difícil, por ejemplo, predecir los cambios en el lapso de una semana. Hay centros de investigación en varios países dónde se ocupan de estudiar sistemas complejos con teorías recientes como la del caos o la de estructuras disipativas, cuyo principal exponente es el físico y químico belga Ilya Prigogine. Él plantea que no existen cosas determinadas, sino aspectos caóticos intrínsecos a cualquier fenómeno, aunque se trate de una variación muy pequeña que implique cálculos de probabilidad y estadística. A los científicos que se enfrascan en estos problemas les resulta estimulante trabajar con sistemas complejos. Existen eventos imposibles de predecir. Para los amantes del futbol el ejemplo clásico son los penales. Soy seguidor del futbol y como muchos he visto que en una tanda de penales alguien se le acerca al portero y le revela la forma de tirar del tirador. Muchas veces el portero escucha el consejo y ataja la pelota, sin embargo otras tantas, aunque siga el consejo falla. ¿Por qué es imposible hacer predicciones en los penales? El economista español Palacios-Huerta, que trabaja en la London School of Economics, estudió casi 1,500 penales en las diferentes ligas europeas entre los años 1995 y 2000 y concluyó que ninguna estrategia –tirarse (por parte del portero) o tirar (por parte del delantero) hacia un lado u otro– resulta más efectiva que la otra y que es imposible aprender algo viendo la historia de los penales ya que es un evento impredecible y que su propia lógica hace que no tenga sentido jugar una estrategia predecible. Concluimos diciendo que a pesar de la existencia de algunos eventos no predecibles, hay muchos otros en los que la estadística funciona como un buen predictor, es decir que sus métodos son confiables y que usarlos Estimaciones útiles: La estadística / CIENCIORAMA 4 bien puede dar información relevante. Por otro lado se intentó argumentar que en algunas disciplinas no es fácil obtener predicciones y que esto tiene que ver con la complejidad de los fenómenos que tratan. Falsas correlaciones. Casualidades vs causalidades En un apartado del libro La muerte y sus ventajas, Marcelino Cereijido (doctor en fisiología celular y molecular) y Fanny Blanck (psicoanalista) nos hablan de las virtudes de la ciencia y la tecnología para estudiar la duración de la vida y presentan una gráfica donde se muestra que los japoneses incrementaron en el curso de 20 años su expectativa de vida de 50 a 70 años (figura 1). Con este ejemplo Cereijido y Blanck describen el meollo de las correlaciones, las causalidades y las casualidades Narran que si un investigador inexperto mirara la gráfica podría concluir erróneamente que el aumento de la expectativa de vida de los japoneses se debe a la guerra. ¡Sí a la guerra! porque el incremento se da justo después de la Segunda Guerra Mundial. Figura 1. Tabla donde se muestra el alza en la expectativa de vida en Japón. La interpretación que concluye que la expectativa de vida aumentó debido a la guerra es Estimaciones útiles: La estadística / CIENCIORAMA 5 una falsa correlación, es una interpretación subjetiva. Tomada de La muerte y sus ventajas de Cereijido y Cereijido- Blanck. Ahora nos moveremos en uno de los terrenos más delicados y difíciles no sólo de la estadística, sino de la ciencia en general: los movimientos causales.Veamos algunas situaciones: ¿los paraguas inducen la lluvia o es la lluvia la que induce el uso de paraguas? Sí, muy obvio. Vayamos a otro: quizá habrás visto algún perro que ladra a los autos y seguramente si hablara diría “cada vez que les ladro los autos se van muy lejos”. Uno menos obvio es el siguiente: tener más libros en casa mejorará las calificaciones de los niños. Ahora uno tenebroso: si nos hallamos en un lugar, por ejemplo un banco, un hotel, o un estadio, y vemos muchos policías, podemos inferir que estamos en el lugar más seguro del mundo o que el vandalismo y la delincuencia han alcanzado niveles muy altos. Muchos de estos ejemplos se denominan “falacia de correlación”; ésta se da cuando se observan dos sucesos que ocurren juntos y se afirma que uno causa al otro. Pero bueno, quizás alguna de las afirmaciones anteriores sea cierta y el punto es saber cuál es el argumento para validarlas. Que dos fenómenos ocurran juntos, nos dice el economista argentino Walter Sosa, no dice que uno cause al otro. Pues bien la ciencia en general, y la estadística en particular, tienen diferentes métodos para descubrir si en verdad existe o no la causa real de algún fenómeno: la experimentación y pruebas estadísticas, entre otras (ver el siguiente apartado para conocer algunos métodos estadísticos). Un ejemplo tomado de la referencia 7, muestra un experimento afortunado de las ciencias sociales. Martín Rossi, Florencia López Boo y Sergio Urzúa de la Universidad de San Andrés de la Argentina, se preguntaron si ser una persona guapa da más oportunidades de conseguir un empleo. Como notarás, puede ser una pregunta difícil ya que en la vida real controlar los demás factores –la experiencia, nivel educativo, honestidad, profesionalismo– es complejo. Entonces crearon 25 personas falsas, inventaron sus currículum Estimaciones útiles: La estadística / CIENCIORAMA 6 y los mandaron a solicitar trabajo. Conclusión: la gente “bonita” tiene el 36% más de probabilidad de conseguir empleo –baja el artículo de la red, ¡es gratis! y puedes ver las fotos de los individuos inventados por Martín y colaboradores–. Aquí se usan la estadística y la ciencia para discernir entre causalidades y casualidades, pues, como ya dijimos, separar las variables que pueden afectar un fenómeno es complejo y en este caso se pudo hacer mediante métodos estadísticos. Para conocer las características de una población, es decir, contar con una muestra significativa, el investigador, que puede ser de las llamadas ciencias exactas, como la física estadística o de las naturales, como la biometría, recurre a varios métodos estadísticos. Aquí abordaré sólo dos aunque hay muchos más y la mayoría muy creativos. ¿Y cuántos suricatos hay aquí? Imagina que eres un especialista en mamíferos y quieres saber cuál es aproximadamente el número de suricatos –sí los mismos animalitos de la película La Era de Hielo– en un espacio determinado. ¿Cómo le harías para tener una aproximación? Podrías hacer una trampa para que los suricatos caigan y después de cierto tiempo contarlos. O llevar a tus cuates para que te ayuden a cazarlos durante todo el día. O bien podrías ir solo o con tus colegas a observar a los suricatos en su hábitat natural y después seleccionar unos 50 ejemplares. Posteriormente los dejarías escapar, no sin antes hacerles una marca pequeñita en la pata inferior derecha (figura 2). Después descansarías unas dos horas para capturar el doble de suricatos y notar que 10 de ellos tienen las marcas. ¿Cuántos suricatos hay en la región? Estimaciones útiles: La estadística / CIENCIORAMA 7 Figura 2. Suricatos que ejemplifican el método de captura y recaptura. En la pata derecha de uno de los mamíferos vemos la supuesta marca que sirve para poner en práctica el método. http://ventana-almundo.blogspot.mx/2011/09/el-suricato.html Pues la respuesta es 500 suricatos. Mi profesor de cálculo y ecuaciones diferenciales diría que hago magia con los números, pero no es así. En primer lugar este método es antiguo y clásico y se le conoce como “método de marca y recaptura” y es útil para medir poblaciones donde es imposible, por la razón que sea, contar todos los organismos de nuestro interés. Al ser un método estadístico, decir 500 suricatos es sólo una aproximación, recuerda al estadístico George Box –citado anteriormente–, no es preciso pero es útil. Y por último la esencia del método. Con este problema se hace una “trampa” muy usada en las matemáticas que consiste en reemplazar el problema original por otro más simple y luego volver al original. Aquí el problema es encontrar el número total de mamíferos. A esa cantidad la llamaremos N. La “trampa” es la siguiente: cuando devolvimos los suricatos Estimaciones útiles: La estadística / CIENCIORAMA 8 con las marcas cambiamos de problema, y éste pasó a ser la estimación de la proporción de suricatos marcados. En la segunda colecta capturamos 100 y 10 tenían marca. Entonces dividimos 10 entre 100 y multiplicamos por 100 y obtuvimos el 10% de suricatos pintados en la muestra recapturada (10/100x100=10). Por último, con una simple regla de tres, que indica que si 10 es a 100, entonces 50 es a N (500) (100x50=5000/10=500). Puedes apreciar que 50 dividido entre 500 es lo mismo que 10 dividido entre 100. Para eso sirvió el truco. Esto también lo puedes comprobar con canicas. Consigue muchas canicas, no las cuentes, mételas en una cubeta, saca unas 20, ponles una marca y ahora saca el doble. Si son 5 las que tienen tu marca, repite unas tres veces el experimento, saca el promedio y habrás puesto en práctica el método de captura y recaptura. El resultado debe ser aproximado a 160 canicas. De nuevo aplicamos el método captura y recaptura. El primer paso es cambiar el problema para obtener la cantidad de canicas con las marcas, que eran 5 y que nos dan el 12.5% y posteriormente hacemos la regla de tres, 5 es a 40 lo que 20 es al número de canicas. Por último debo mencionar que el método de captura-recaptura no sólo se usa en estudios poblacionales. Se puede aplicar a otros fenómenos como estimar el volumen de trabajo infantil en Lima-Perú o el número de prostitutas en los puertos de Bangladesh. Estadística al servicio de todos. ¿Cuántas veces al mes tiene sexo? Imagina que te aborda en la calle un entrevistador y te pregunta de sopetón cuántas veces al mes tienes sexo, cuánto tiempo suelen durar tus relaciones sexuales y cuántas veces a la semana te masturbas. O también puede preguntarte si te has drogado alguna vez y si la respuesta es afirmativa, te pregunta que cuántas veces al mes lo haces. Por supuesto la mayoría de la gente, y con razón, le respondería al preguntón: “¡y a usted qué le importa!” Pero incluso con este tipo de respuestas se pueden obtener resultados con algunos métodos estadísticos. Por ejemplo, una pareja casada tiene Estimaciones útiles: La estadística / CIENCIORAMA 9 aproximadamente 25 relaciones sexuales al mes, dependiendo de la edad de los sujetos. Con un promedio de 15-25 minutos cada coito –otra vez dependiendo de la edad y condición física de los sujetos–, los hombres se masturban cinco veces a la semana, las mujeres tres, 11% de la población de entre 14 y 21 años se droga y cosas por el estilo. Pero cómo le hacen para saberlo. Toma tu lápiz y una hoja de papel y toma nota de uno de los métodos más creativos de la estadística. Para explicar el método nos basaremos en la pregunta sobre cuántos chicos y chicas se masturban en una cierta localidad: A) Le damos a los encuestados un dado y una moneda. Que tiren el dado. B) Si sale 5 o 6 que avienten la moneda. C) Si sale cara que respondan con un sí y si sale cruz con un no, aclarando que no importa si se masturban o no. D) Si sale 1, 2, 3 o 4 que respondan la verdad y ya no usen la moneda. Ahora a descifrar el método, porque con mi espíritu científico yo sí revelo los secretos. Llamemos X a los sí de nuestra encuesta y entonces la estimación de chicos y chicas que se masturban será así: multiplicar .75 por X y luego restar .25 (X= (.75) (X)-(.25)). Y ahí lo tienes, lo logramos de nuevo. Vayamos a un ejemplo con números inventados Supongamos que nuestros datos dicen que un 60% respondió que sí. Por lo tanto, si lo dividimos entre 100 nos queda un 0.6%. Ahora seguimos la fórmula y lo multiplicamos por 0.75 y obtenemos 0.45. Luego le restamos .25 y queda un .20. Es decir, el 20% de los jóvenes entrevistados se masturban. Es el resultado, pero te estarás preguntando cómo funciona y a continuación te lo explico: Ahora pensemos que la muestra fue de 900 jóvenes y que unos 600 (los de 1, 2, 3 y 4) contribuyeron con sus respuestas verdaderas. Los demás, unos 300, respondieron con una mentira, recuerda la verdad de las mentiras; es decir, si a quienes al tirar el dado sacaron 5 y 6, aproximadamente la mitad, se les obliga a decir que sí, entonces los encuestadores no pueden, Estimaciones útiles: La estadística / CIENCIORAMA 10 y qué bueno, saber si un chico que declaró que sí se masturbó, lo respondió al azar o dijo la verdad. Por último diré que el método funciona muy bien y con él tres investigadores, William Bolsttad, LynHunt y Judith McWirther de la Universidad de Nueva Zelanda, midieron la cantidad de personas con las que un grupo de estudiantes universitarios habían tenido relaciones sexuales a lo largo de su vida. Así como para el método captura-recaptura propusimos el método de las canicas para probarlo, aquí se puede hacer lo mismo con una pregunta menos delicada para por ejemplo saber la cantidad de horas de ejercicio a la semana que hace una persona. Con estos tres ejemplos podemos ver, de forma somera, cómo trabaja la estadística y la originalidad de sus métodos. Por supuesto son muchos más de los que cabrían en este texto y los que el autor conoce, pero otros igual de famosos que los descritos son por ejemplo la media podada, el análisis de regresión lineal –uno de mis favoritos–, los análisis de métodos indirectos, los métodos de la estadística espacial, la varianza, la desviación estándar, entre muchos más. Un último comentario. Cualquier libro de texto o curso de estadística nos provee de dos armas. La primera es explicar sus métodos, y la segunda es ver en qué contextos funcionan o dónde no funcionan – esto último bajo el marco conceptual del cálculo de probabilidades–. Este apartado espera dar a entender –aparte de dar a conocer algunos métodos estadísticos– que la complejidad o simplicidad de cada método estadístico tiene que ver con la dificultad del problema a resolver. Por ejemplo, el método estadístico de captura y recaptura nos sirve en ecología y biología para no tener que pasar todo un día –o más – contando suricatos. Otros no explicados como la regresión lineal son relevantes en todas aquellas disciplinas en donde es sumamente complejo aislar causas –como lo hacen los experimentos–, por ejemplo en la física, la economía y por ende, su enorme popularidad. Cómo mentir con estadísticas Estimaciones útiles: La estadística / CIENCIORAMA 11 El nombre de este apartado lo tomo prestado del fabuloso libro de Darell Huff, publicado en 1954. Huff era periodista y no un estadístico profesional. Pues bien acabamos este viaje sobre la estadística con las mentiras más usadas para engañar al incauto que no sabe estadística o que es una persona anumérica, como decía el matemático John Allen Paulos. Antes de empezar distinguiremos dos tipos de mentiras. Una se debe a un uso inadecuado de la estadística y la otra se debe a una mala interpretación – que a veces es intencionada– de los datos dados por los métodos estadísticos, normalmente el investigador la usa para “jalar agua a su molino”. Lo relativo vs lo absoluto… un viejo truco Muchas veces habrás visto propaganda en periódicos y revistas que anuncia pomposamente que tomar un refresco o comer un alimento multiplica la posibilidad de contraer cáncer o de morir de una enfermedad cardiaca. Ese multiplica no significa que la posibilidad sea elevada. Va un ejemplo que escuché de viva voz. En una clase en la universidad la profesora comentó que una vez leyó que se había duplicado el robo de autos en nuestra casa de estudios, pésima noticia. Pero nos explicó que buscando más allá de lo que decía la noticia descubrió que habían robado ¡dos autos! a lo largo del año. Es decir, sí se había duplicado el robo porque sólo se habían robado uno más que el año anterior. Seguramente para los dueños de los dos carros sí fue una mala noticia, pero para nuestro análisis es un buen ejemplo de cómo se usa la estadística para resaltar algo no distinguiendo los valores absolutos de los relativos. Dónde se usa más este truco es, como he dicho, en ejemplos de riesgo de muerte y uno de los más citados es el cáncer. El libro Las neuronas de Dios, del biólogo argentino y divulgador de la ciencia Diego Golombeck, lo ilustra. Él dice que la panceta –tocino- aumenta el cáncer de colon en 20%, pero que el riesgo de padecerlo es de un 5%. Es decir, que el tocino lo lleva a un riesgo de 6% y el aumento del porcentaje absoluto Estimaciones útiles: La estadística / CIENCIORAMA 12 es de 1%. Expliquemos un poco. El 20% –que es mucho– es el engaño porque es el término relativo y si ese 20% del 5% se le aumenta al 5%, nos dará sólo un 6% como resultado final; por lo que en términos absolutos el riesgo aumentó sólo un 1%. Decida el lector si 6% es mucho o poco, pero por lo menos no es un preocupante 20% absoluto. Puedes ver otro ejemplo en la referencia 5 de este texto. En los diarios y revistas vienen muchos ejemplos de noticias con mentiras basadas en resultados estadísticos. Así que toma el diario de tu preferencia y diviértete encontrando mentiras. También hay otras formas de engañar muy entretenidas que puedes revisar en las referencias citadas en los párrafos de abajo. Pedazos de verdad. A manera de epílogo Vivimos rodeados de estadísticas. La estadística es útil porque su metodología conlleva un largo método de validación. Debido a esta validación los científicos que trabajan con estadística pueden llegar a obtener resultados precisos y lo mejor es que muchos de ellos se utilizan fuera del ámbito científico. Un ejemplo rápido: piensa en las pruebas para medir el colesterol en la sangre. Éste es un simple procedimiento en donde se toman unos 10 mililitros de un total aproximado de cinco litros de la sangre de una persona. Cuando el médico nos da resultados que indican que hay que bajarle a las grasas, confiamos en ellos. ¿Por qué? Por toda una cadena enorme de validación que conllevó resultados de varios especialistas como médicos, bioquímicos y estadísticos. Esta cadena de validación es lo que hace útil a la estadística y su aplicación en la sociedad. Y llegamos al final del viaje por la estadística. Vimos cómo estos resultados no precisos de la estadística tienen utilidad en aspectos científicos, sociales, en la vida cotidiana y hasta para que no te tomen el pelo. Así la estadística no es una disciplina que se jacte de ser exacta pero sí de ser útil. Y si quizá quisiéramos que fuera más exacta atentaríamos Estimaciones útiles: La estadística / CIENCIORAMA 13 contra sus métodos y objetivos y estaríamos en frente de una disciplina exacta pero inútil. Bibliografía Allen Paulos, J., El hombre anumérico. El analfabetismo matemático y sus consecuencias, Tusquets Editores, México, 2016, Cereijido, Fanny y Cereijido Marcelino, La muerte y sus ventajas, FCE, colección La ciencia para todos, México, 2012. Huff, D., Cómo mentir con estadísticas, Crítica, Barcelona, 2011. López Boo, F., M. Rossi y S. Urzua “The labor market return to an attractive face: Evidence from a field experiment”, Economic Letters, 2013, 118: 170-172 Rodríguez-Gironés, M., Vallades F., Hortal J., Santamaría L., Moya J. y Escudero A. (2014), “Hay tres tipos de mentiras: mentiras, mentiras grandes y las estadísticas”, El diario.es. Rojo A., El azar en la vida cotidiana, Siglo XXI, colección ciencia que ladra, Buenos Aires, 2012. Sosa Escudero, W., Qué es (y qué no es) la estadística. Usos y abusos de una disciplina clave en la vida de los países y de las personas, Siglo XXI, Colección Ciencia que ladra, Buenos Aires, 2014. Imagen de la portada tomada de la página Pandora del siguiente link: http://univirtual.utp.edu.co/pandora/scripts/oar/oar.php?f8032d5cae3de20fcec887f395ec9a6 a=RWR3aW4gIFBpZWRyYWhpdGEgTmVpcmE=&198bf4649ab61d149f3baaaf4a760ebd=MTEzOA ==&531ac50224f238df5d6efdaf36507cf2=ZXBpZWRyYWhpdGFuNEB1dHAuZWR1LmNv Estimaciones útiles: La estadística / CIENCIORAMA 14
© Copyright 2024