Estadística

Dibujar y modelar: ¿en qué se parecen?

Los economistas de hogaño tienden a coincidir en no encontrar sustancia detrás de la llamada curva de Laffer. No les quito la razón: ellos saben mejor que yo qué pasa en las casas de los demás. Pero en la mía, Laffer manda. En los últimos meses del año levanto el pie del acelerador y trabajo mucho, mucho menos. El motivo es fundamentalmente fiscal: mi tarifa bruta por hora es la misma pero el IRPF marginal —en eso consiste la progresividad fiscal— va aumentando mes a mes.

¿De dónde vienen las interacciones?

El contexto es, esencialmente, la creación de modelos lineales —no necesariamente los clásicos—, aunque la discusión podría extenderse más allá. Una cosa que nos suelen enseñar los libros es que si en un modelo de la pinta y ~ t + g (donde t es un tratamiento y g es algún tipo de grupo) nos da por introducir una interacción (en este caso solo cabe t*g) tenemos necesariamente que incluir los efectos individuales t y g so pena de incurrir en una larga retahíla de pecados estadísticos.

Más sobre paralelismos entre textos vía embeddings

Retomo el asunto de los paralelismos entre textos, que ya traté aquí, por el siguiente motivo: Estoy explorando las posibilides del RAG Para lo cual es necesario crear una base de datos documental con los fragmentos debidamente embebidos En particular, estoy probando lo que chroma da de sí. Esencialmente, chroma consiste en: Una base de datos (SQLite, de hecho) donde se almacenan los fragmentos, sus metadatos y sus embeddings. Mecanismos para crear los embeddings.

Más allá del BMI

I. Alguien se queja del BMI (body mass index). Quejarse del BMI es como quejarse de que el agua moja. Porque: Supongamos que nos interesa un asunto poliédrico (como se decía en tiempos) o multidimensional (más al gusto de los que corren). La gente quiere medirlo. Se elige un número —porque a la gente le gusta medir las cosas con un único número, claro— construido de cierta manera. La gente se queja de que el fenómeno era multidimensional (o poliédrico) y que un solo número no recoge adecuadamente el blablablá.

De qué va TimesNet

Toca TimesNet. Se trata de un modelo para la predicción (y más cosas: imputación, detección de outliers, etc.) en series temporales. Tiene que ser muy bueno porque los autores del artículo dicen nada menos que As a key problem of time series analysis, temporal variation modeling has been well explored. Many classical methods assume that the temporal variations follow the pre-defined patterns, such as ARIMA (Anderson & Kendall, 1976), Holt-Winter (Hyndman & Athanasopoulos, 2018) and Prophet (Taylor & Letham, 2018).

Cuidado con ChatGPT (advertencia núm. 232923423)

I. Cuando éramos críos e íbamos al colegio, todos hemos participado en conversaciones que discurrían más o menos así: — Quiero ver el programa X. — No puedes porque A, B y C. — Pero Fulanito lo ve todos los días. — No te fijes en lo que hace el más tonto; fíjate en lo que hace el más listo. Los primeros buscadores de internet eran catastróficos. Un día apareció uno nuevo, Google, con una filosofía de madre de los setenta: fijarse en lo que hacía el más listo, no el más tonto.

¿Y si calculamos la potencia de un test a posteriori?

Esta entrada continúa esta otra y describe un cambio realizado en la app para ilustrar qué ocurre —spoiler: nada bueno— cuando se calcula el poder de un test a posteriori, es decir, usando como estimaciones el efecto y su ruido los valores observados. Como comprobará quien use la herramienta, puede ocurrir casi cualquier cosa. Y, en particular, para potencias de partida pequeña, la estimación de la potencia a posteriori es una enorme sobreestimación de la real cuando la prueba es significativa.

Si tus datos son minúsculos y están hipersesgados, no los tires a la basura: aquí te contamos cómo reciclarlos.

I. Supongamos que X es una población determinada. A alguien le interesa estudiar cierto aspecto de ella. Lo que procede es: Muestrear X adecuadamente. Medir los parámetros de interés en la muestra. Aplicar técnicas de inferencia estadística. Redactar las conclusiones pertinentes. II. Supongamos que a alguien le interesa aprender sobre cierto aspecto de una población X. Lo que tiene que hacer es buscar publicaciones en que lo hayan estudiado como se indica en I.

¿Qué catástrofes cabe esperar de las pruebas estadísticas con poca potencia?

Desde cierto punto de vista, lo ideal a la hora de realizar una prueba estadística es que: El efecto sea grande. La variación de los sujetos sea pequeña. El tamaño de la muestra sea generoso. Pero solo bajo cierto punto de vista: todas las pruebas estadísticas en que pasa eso ya se han hecho antes. Llevamos cientos de años haciendo ciencia y billones de euros invertidos en ella. Lo que nos enseñan las pruebas estadísticas con un SNR (signal to noise ratio) y posibilidad de extraer nuevas observaciones a bajo coste, ya lo sabemos desde hace tiempo.

Más sobre extensiones (bayesianas, pero no necesariamente) del t-test

En Improving Research Through Safer Learning from Data, Frank Harrell, junto con otros consejos muy provechosos para aquellos investigadores que tengan un compromiso más serio con la rectitud metodológica que con el desarrollo de su carrera profesional, menciona a modo de ejemplo una solución propuesta por Box y Tiao (en el tercer capítulo de esto) al problema del t-test en el caso de que no rija la hipótesis de normalidad. Más propiamente, en casos en los que se sospecha que la desviación con respecto a la normalidad lo es en términos de la curtosis (y no la asimetría).

De cómo la estadística bayesiana ha descompuesto la solución a un problema que la estadística clásica tenía plusquamsolucionado

I. Voy a plantear el problema del día en el contexto más simple y familiar para la mayoría que se me ocurre: una ANOVA para comparar dos tratamientos. Se puede representar de la forma $$y_i \sim \alpha + \beta_{T(i)} + \epsilon$$ donde $T(i)$ es el tratamiento, $A$ o $B$, que recibe el sujeto $i$. Parecería que el modelo estuviese sugiriendo determinar tres parámetros, $\alpha$, $\beta_A$ y $\beta_B$, correspondientes al efecto sin tratamiento y los efectos adicionales de los tratamientos $A$ y $B$.

Tutorial de numpyro (I): modelos probabilísticos

I. Las distintas disciplinas estudian aspectos diferentes de la realidad. Para ello crean modelos. Un modelo es una representación teórica y simplificada de un fenómeno real. Por un lado, el territorio; por el otro, el mapa. Los físicos modelan cómo oscila un péndulo y se permiten obviar cosas como el rozamiento del aire. Los economistas, la evolución del PIB o la inflación. Los biólogos, la absorción de una determinada sustancia por un tejido.