De la matriz a de covarianzas a la de correlaciones con Excel

Me preguntan cómo construir la matriz de correlaciones a partir de la de covarianzas con Excel. Mis lectores más versados en R conocerán la existencia de la función cov2cor (cuyo código fuente merece ser examinado). Sin embargo, ¿cómo hacerlo con Excel? No es tan complicado, aunque infinitamente más prolijo: en la posición (i,j) de la matriz de correlaciones hay que asignar: el valor (i,j) de la correspondiente matriz de covarianzas dividido por la raíz cuadrada del producto de los valores (i,i) y (j,j) de la matriz de covarianzas. Tan fácil como parece, implementarlo en Excel es poco menos que una tortura. Partiendo de una matriz de covarianzas A1:C3, ...

27 de noviembre de 2010 · Carlos J. Gil Bellosta

Transforma (los gráficos de) España

Ha aparecido en diversos medios la noticia de la presentación al rey de una propuesta de la Fundación Everis que ha venido a titular TransformaEspaña (así, junto). El estudio que define la propuesta […] pone de relieve la gravedad de la actual crisis económica, sus causas y consecuencias, propone una serie de soluciones y actuaciones en todos los ámbitos del sistema que deben producirse en los próximos años para generar un verdadero cambio. ...

25 de noviembre de 2010 · Carlos J. Gil Bellosta

Programación funcional en R: Filter

Quienes acudan a Mieres la semana que viene me oirán hablar de programación funcional en R. Algo de lo que no hablaré pero que dejaré acá escrito como abrebocas es un pequeño ejemplo de cómo la programación funcional hace tu vida más simple y, sobre todo, prolonga la vida de tu teclado. Voy a ilustrar el uso de una función de R que echábamos de menos los usuarios de Python: Filter. Estaba ahí, sí, pero como escondida. ...

24 de noviembre de 2010 · Carlos J. Gil Bellosta

Nuestro mandato: ordenar y simplificar

Todo el mundo entiende que los médicos,solo por serlo, están sujetos a un mandato específico: luchar contra la enfermedad. Puede que otros gremios (como los maestros o los jueces) tengan otros tan escuetos como significativos. Yo, durante un tiempo, me pregunté cuál sería el de los matemáticos, los estadísticos, los que nos dedicamos al análisis de datos. Y creí dar con una fórmula que hice mía: ordenar y simplificar la información. ...

23 de noviembre de 2010 · Carlos J. Gil Bellosta

¿Otro bug de Teradata?

Yo creo que es un bug, vamos. Y tengo tres motivos para creerlo: Teradata no hace lo que se espera que haga. No he encontrado por ahí motivo técnico alguno que proscriba razonadamente lo que intento hacer. He hablado con un señor empleado de Teradata, le he enviado el ejemplo y en lugar de explicarme mi error (de haberlo) ha hecho el avestruz (ya hablé de lo que pasa cuando uno encuentra _bugs _en software propietario). He aquí cómo reproducir el bug. Primero creo una tabla muy simple e inserto una única fila en ella. ...

22 de noviembre de 2010 · Carlos J. Gil Bellosta

Siete consejos para expertos en análisis de datos

En mis deambulaciones por internet topé con una página interesante que bien merece ser comentada en este blog. Enumera siete técnicas (o secretos en su formulación primigenia) que habrían de hacer suyas los expertos en análisis de datos. Son: Usa una herramienta del tamaño adecuado SAS u Oracle no deberían considerarse las herramientas por defecto. Para procesar y depurar ficheros de texto de menos de mil líneas bastan herramientas como R, Google Refine, vi, Excel/OpenCalc,… ...

17 de noviembre de 2010 · Carlos J. Gil Bellosta

La Wikipedia te necesita

Hoy, procrastinando, me he dado un paseo por la Wikipedia en español. Y me he deprimido viendo el lamentable estado en que se encuentran la mayor parte de las páginas de las categorías a las que concierne esta bitácora como, por ejemplo, las de probabilidad, estadística y minería de datos. Quiero invitar a los lectores de este blog (a los que, por serlo, se les presupone un mínimo de interés y formación) a que participen en ese proyecto común que es la Wikipedia (y, en particular, la Wikipedia en español) para no tener que volver a sonrojarnos al comparar nuestras páginas con las correspondientes de otros idiomas. ...

15 de noviembre de 2010 · Carlos J. Gil Bellosta

Abundando en lo de nuestra ineptitud para estimar la probabilidad condicionada

Antes de seguir leyendo, trate de responder a la siguiente pregunta: Una familia tiene dos hijos (acá usamos el masculino en forma genérica: pudieran ser de cualquier sexo). Uno de ellos es niño. ¿Cuál es la probabilidad de que el otro sea también niño? Si su respuesta es 0.5 va a tener que seguir leyendo el resto del artículo. Pero tampoco se deprima: parece que nuestro cerebro está maleado para caer en tal error y así lo parece refrendar una microencuesta que elaboro interpelando a incautos. ...

12 de noviembre de 2010 · Carlos J. Gil Bellosta

Google Refine 2.0, una herramienta con muy buen aspecto

Le debo a Guillermo, un excompañero de SAS, la noticia que aquí publico: Google Refine. Acabo de ver y no he podido resistir la tentación de escribir algo al respecto. Tiene una pinta increíble y creo que el lunes a más no tardar podré contar mis impresiones personales sobre la herramienta. ¿Será que se me adelanta alguno de mis lectores?

12 de noviembre de 2010 · Carlos J. Gil Bellosta

La función monotonic de PROC SQL de SAS

Previamente he hablado en este blog de las ventajas que ofrece PROC SQL en SAS sobre otros métodos más propiamente SAS de realizar ciertas manipulaciones de datos. Existen no obstante cierto tipo de manipulaciones que exigen pasos data: gran parte de las que hacen uso de la variable automática n. No obstante, existe una función no documentada de SAS que permite implementar con SQL muchas operaciones de este tipo: monotonic. ...

11 de noviembre de 2010 · Carlos J. Gil Bellosta