Un lematizador para el español con R... ¿cutre? ¿mejorable?

Uno de los pasos previos para realizar lo que se viene llamando minería de texto es lematizar el texto. Desafortunadamente, no existen buenos lematizadores en español. Al menos, buenos lematizadores libres. Existen el llamado algoritmo de porter y snowball pero, o son demasiado crudos o están más pensados para un lenguaje con muchas menos variantes morfológicas que el español. Sinceramente, no sé a qué se dedican —me consta que los hay— los lingüistas computacionales de la hispanidad entera: ¿no son capaces de liberar una herramienta de lematización medianamente decente que podamos usar los demás? Lo más parecido a esa herramienta aparentemente inexistente que conozco es Grampal, que funciona a través de una interfaz web. ...

13 de diciembre de 2011 · Carlos J. Gil Bellosta

Estadísticas de incendios forestales en España

El Ministerio de Medio Ambiente recoge estadísticas sobre incendios forestales. Lo hace, por así decirlo, a la vieja usanza: La Dirección General de Medio Natural y Política Forestal del Ministerio de Medio Ambiente y Medio Rural y Marino acumula los datos provinciales y obtiene las cifras nacionales del año en curso. Estas cifras se muestran en un cuadro que las compara con las del decenio anterior en el mismo intervalo de fechas. ...

12 de diciembre de 2011 · Carlos J. Gil Bellosta

Bajo el capó de teradataR

Me gustaría haber podido indagar bajo el capó de teradataR, el paquete de R desarrollado por Teradata que permite que R realice lo que llaman por ahí _in database analytics _utilizando dicha plataforma propietaria. Ya lo probé hace un tiempo con resultados bastante desiguales y que distaban muy mucho de mis expectativas originales, habida cuenta de las muchas bondades del gestor relacional. Durante mucho tiempo he tenido la intención de desentrañar los secretos del paquete, pero me contuvieron los términos desacostumbradamente restrictivos de la licencia: ...

9 de diciembre de 2011 · Carlos J. Gil Bellosta

Precios de la vivienda e intención de voto, por Nestoria

Nestoria, uno de los patrocinadores de las III Jornadas de Usuarios de R, ha realizado un estudio en el que relaciona el precio de la vivienda en Madrid con los últimos resultados electorales obteniendo relaciones tan claras como esta: De hecho, Nestoria —a diferencia de tantos organismos públicos que no publican, valga la antirredundancia, sus datos— proporciona una API para acceder a sus bases de datos de precios. Esto permite cruzar este tipo de información, hasta ahora de difícil obtención, con otras variables para ayudar a comprender mejor determinados fenómenos sociales. ...

7 de diciembre de 2011 · Carlos J. Gil Bellosta

The Little Handbook of Statistical Practice

Quiero hacer publicidad aquí —y, de paso, guardarme una nota para mí mismo para futura referencia— del Little Handbook of Statistical Practice, una colección de breves artículos sobre diversos temas de relevancia estadística recopilados por Gerard E. Dallal. En particular, merece cierta atención su recopilación de Statistical Notes del British Medical Journal.

5 de diciembre de 2011 · Carlos J. Gil Bellosta

Grandes avances criptográficos... según El País

Apenas sé de criptografía y no es un tema que me interese demasiado. Sin embargo leí un artículo en El País de la semana pasada titulado Desvelado el significado oculto del ‘Copiale Cipher’. Se refiere a un libro que contenía los estatutos de cierta secta masónica de mediados del siglo XVIII. Y dice textualmente . Aunque el artículo habla principalmente de la masonería, las normas, la historia del manuscrito y otras lindezas, describe brevemente la técnica de desencriptación: ...

2 de diciembre de 2011 · Carlos J. Gil Bellosta

Creación de un "R portable"

Se supone que R, que está disponible en una multitud de plataformas y sin coste, debería poder instalarse por doquier. Pero sucede en ocasiones que sus usuariossolo disponen de plataformas muy cerradas, sin acceso a privilegios de administración, en organizaciones hostiles al software libre, etc. La solución para poder seguir disfrutando del poder de R en tales circunstancias puede pasar por la utilización de una versión portable de R: una que arranque desde un pincho de memoria sin interferir con el resto del software de la máquina ni requerir permisos de escritura en directorios vetados. ...

1 de diciembre de 2011 · Carlos J. Gil Bellosta

Google Translate, tamaños muestrales y sesgos

Supongo que mis lectores estarán al tanto de Google Translate y tal vez sepan que utiliza métodos estadísticos para traducir: a partir de una muestra amplia de textos con el mismo contenido pero en distintos idiomas llega a deducir que maison, casa y house son una misma cosa. Pero la yuxtaposición puede dar lugar a situaciones jocosas. He aquí un ejemplo con el que la serendipia me ha hecho tropezar recientemente. Supongo que habréis encontrado alguna vez ese texto que comienza por lorem ipsum dolor sit amet… y que los maquetadores y editores gráficos usan como relleno para mostrar su trabajo. Aparece en tantos sitios que… parece haber confundido al traductor de Google como se aprecia a continuación. Si pido traducir, por ejemplo, la frase Cum sociis natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus que forma parte de ese texto, ...

30 de noviembre de 2011 · Carlos J. Gil Bellosta

Doping, héroes patrios y... estadística

Este verano traté de recorrer en bici la ruta del Viaje a la Alcarria de Cela. No lo acabé porque se lesionó mi compañero a la altura de Pareja y tuvimos que regresar a Madrid en furgoneta. Pero recuerdo que, encarando algún repecho, con la lengua afuera, me comentaba qué duro es esto de la bici. Aproveché luego, en la fuente de algún pueblo, con las camisetas empapadas, para comentarle lo despiadado del circunstancial televidente estival, faria en mano, exigiendo a los ciclistas patrios demarres sobrehumanos en el Tourmalet. ...

29 de noviembre de 2011 · Carlos J. Gil Bellosta

R en la enseñanza: unos comentarios a los comentarios

Iba a responder a los comentarios de mi entrada sobre las Jornadas de R y, muy en particular a los de Fernando Fernández, uno de los más fieles lectores de esta bitácora, y me he extendido tanto que he acabado convirtiéndola en una nueva. Pido excusas por haber tal vez abusado de mis prerrogativas para auparme de esta manera. Tanto a él como a otros les chirrió que escribiese comenzamos una nueva época que en el plazo de tres o cuatro años nos va a conducir, con casi total seguridad, a un escenario en el que […] R se use de manera casi exclusiva en la enseñanza de la estadística en los niveles universitarios. ...

28 de noviembre de 2011 · Carlos J. Gil Bellosta