SVD de matrices enormes con R

Supongo que mis lectores habrán leído acerca del Netflix Prize. En el vídeo de este viernes se ilustra cómo se puede usar R para implementar la parte más intensiva computacionalmente de la solución ganadora utilizando el paquete irlba, la descomposición de la matriz de datos en sus componentes singulares (más propiamente, obtener algunas de ellas).

5 de agosto de 2011 · Carlos J. Gil Bellosta

Desarrollo de paquetes con R (IV): funciones genéricas

La función plot es genérica. Uno puede aplicársela a un data.frame o a un objeto de la clase lm. Y en el fondo, plotsolo elige cuál de sus métodos, es decir, las funciones que realizan el trabajo verdaderamente, aplicar. Para ver cuáles son los métodos asociados a plot basta con ejecutar en R methods(plot) La salida es autoexplicativa. Podemos hacer un pequeño experimento creando una función genérica, foo, bastante tonta: foo <- function( x ) UseMethod( "foo", x ) foo.data.frame <- function( x ) plot( x ) foo.integer <- function( x ) sum( x ) foo.default <- function( x ) print( "Bu!" ) foo( iris ) foo( 1:7 ) foo( "hola" ) También es posible crear nuevos métodos para funciones genéricas existentes. Por ejemplo, ...

4 de agosto de 2011 · Carlos J. Gil Bellosta

Clústering (III): sobresimplificación

¿Quién fue el segundo hombre en pisar la luna? ¿Y el tercero? Aunque a veces pareciese lo contrario, ¿sabe que hay futbolistas que no son ni Ronaldo ni Messi? ¿Y otros ciclistas además de Contador e Induráin? ¿Y que la Fórmula 1 no se reduce a un tal Alonso? Diríase que por razones sicológicas, nuestro cerebro tiende a sobresimplificar, se siente cómodo con una representación escueta de la realidad, es reacio a los distingos y grises. Le pirran las etiquetas: dígame de qué partido político es Vd. y enseguida crearé mis propias certezas sobre su opinión acerca de la Guerra de Irak, la visita del Papa a Madrid y el bikini de Leire Pajín. ...

3 de agosto de 2011 · Carlos J. Gil Bellosta

El borrador de Ley de transparencia, disponible

Hace unos días, el mismo en el que se anunciaron las elecciones anticipadas (en España) fue publicado el borrador de lo que podría llegar a convertirse en la futura Ley de transparencia. Aunque el actual gobierno no será ya el encargado de tramitarlo (y a saber qué hará el que llegue), merece la pena echarle un vistazo. Tengo comentarios al respecto, muchos de hecho. Y en gran medida coinciden con los que se expresan en este otro blog. ...

2 de agosto de 2011 · Carlos J. Gil Bellosta

Dos aplicaciones (¿sorprendentes?) del análisis de la correlación canónica

Cuando estudiaba en la primavera del 93 álgebra lineal para mis segundos exámenes parciales, tenía en el temario —que no sé si denominar correctito— dos asuntos a los que nuestra profesora —y es difícil, ¿eh?, aunque admito que entonces no había internet— no supo sacar punta. Uno era el asunto entero de los valores propios. Recuerdo ahora que me sugerían constantemente la pregunta ¿para qué? El otro, un pequeño desvío en el temario para tratar un asunto exótico y como metido con el calzador porque, tal vez, habíamos agotado el normal antes del fin del periodo lectivo: el problema de los valores propios generalizados. La pregunta que me obligaban a formularme era todavía más triste que la anterior. Era, simplemente, ¿qué? ...

1 de agosto de 2011 · Carlos J. Gil Bellosta

Los siete pecados capitales de la minería de datos

Por ser viernes, traigo a estas páginas un vídeo tan pedagógico como ameno. Es la conferencia de Dick De Veaux dentro la M2010 Data Mining Conference auspiciada por SAS. El autor repasa los siete pecados capitales de la minería de datos, a saber No realizar las preguntas adecuadas No entender el problema correctamente No prestar suficiente atención a la preparación de los datos Ignorar lo que no está ahí Enamorarse de los modelos Trabajar en solitario Usar datos malos Frente a ellas, propone las siguientes virtudes: ...

29 de julio de 2011 · Carlos J. Gil Bellosta

El paquete pxR, en CRAN

El 1 de junio escribí en la lista de ayuda de R en español para ver si alguien se animaba a colaborar en la creación de un paquete de R para importar datos en formato PC-Axis. Este formato es usado por gran número de institutos estadísticos, entre ellos el INE español, para difundir y publicar datos en formato electrónico. Existe una herramienta gratuita pero cerrada para analizar este tipo de datos, pero clamaba al cielo que los usuarios de R no contásemos con una manera de importarlos directamente. Además, lo necesitaba para un pequeño proyecto (del que hablaré próximamente). ...

28 de julio de 2011 · Carlos J. Gil Bellosta

Diagramas de puntos (dotplots)

Aunque los diagramas de puntos fueron introducidos por Cleveland en los años ochenta, a pesar de sus ventajas, no gozan de la popularidad de otros métodos de representación gráfica. Leí hace poco un artículo de Naomi Robbins en el que se proponían los gráficos de puntos como alternativa a los de barras. Encuentra en aquellos tres ventajas: Una representación más limpia y con menos tinta inútil. Permite resolver el problema de la representación de varias observaciones por sujeto más elegantemente que yuxtaponiendo barras, como ilustra el gráfico que aparece debajo. Y una tercera que encuentro más dudosa: que resuelven el problema de los diagramas de barras truncados: el no representar el trazo que une el origen con los valores representados —dice la autora—, el efecto perceptualmente distorsionador de truncar la gráfica no es tan acusado. Aunque yo mantengo mis reservas al respecto. ...

27 de julio de 2011 · Carlos J. Gil Bellosta

¿Qué es un banco? ¿Qué son las pruebas de resistencia? (En primera derivada)

En primera derivada, un banco es un señor que pone 10, capta 90 en depósitos de ahorradores —a los que da un interés del 4 %— y presta 100 al 5 %. El código en R que aparece a continuación indica cuál es el beneficio del señor: capital <- 10 depositos <- 90 int.dep <- 0.04 int.pres <- 0.05 prestamos <- capital + depositos ingresos <- prestamos * ( 1 + int.pres ) gastos <- depositos * ( 1 + int.dep ) beneficio <- ingresos - gastos rentabilidad.capital <- 100 * beneficio / capital Quien lo ejecute comprobará cómo el señor obtiene un jugoso beneficio. Además, el señor podría hacerlo aún más jugoso incrementando el valor de los depósitos, es decir, captando más ahorro con el mismo capital inicial. Queda como ejercicio para mis lectores repetir los cálculos anteriores con depositos <- 190, etc. ...

26 de julio de 2011 · Carlos J. Gil Bellosta

La escuela de Chicago se defiende

El vídeo de Taleb que publiqué la semana pasada recoge un ataque frontal a un presunto vicio del entramado económico-financiero actual: su excesiva dependencia en la teoría y la matematización de los mercados financieros. Hasta tal punto se ha cuestionado el papel de las matemáticas (y su responsabilidad en la reciente crisis financiera y bancaria) que la llamada Escuela de Chicago, cuna de toda esta arquitectura, está a la defensiva. Publico aquí el enlace a una entrevista del Financial Times con el decano de la Escuela de Negocios de la Universidad de Chicago, que da su visión sobre el fenómeno (pulsar en la imagen para ver el vídeo): ...

22 de julio de 2011 · Carlos J. Gil Bellosta