Gestión de grandes cantidades de información: batallitas

# por álvaro · 5 May 06 · Comments

Tim O’Reilly ha preguntado a algunos de sus amigos 2.0 como gestionan sus bases de datos. O más bien, sus grandes cantidades de información, porque resulta que muchos de ellos no utilizan gestores de bases de datos sino que almacenan sus datos en ficheros de texto plano. Podéis leer como gestionan sus datos Flickr, Bloglines, Craiglist… incluso Google con su BigTable.

En otro post al hilo de esa cuestión han incluido una cita genial de John Gall, la Ley de Gall:

A complex system that works is invariably found to have evolved from a simple system that worked….A complex system designed from scratch never works and cannot be patched up to make it work. You have to start over, beginning with a working simple system.

Esto es aplicable a cuestiones técnicas, pero también a asuntos relativos a experiencia de usuario y gestión de personas (sea lo que sea eso…).

Esos posts son una mina de enlaces interesantes. Por ejemplo, está el blog de Greg Linden, que trabajó en Amazon de 1997 a 2002, construyendo entre otras cosas el motor de recomendaciones. Ha iniciado en su blog “The Amazon Series“, hablando de temas como Group discounts, BookMatcher, Inventory cache, Xmas at the warehouse, Similarities, Oracle down, Recommendations, Shopping cart recommendations… Ya tengo lectura para el fin de semana.

cleese

supongo que con el descenso brutal del coste de la memoria física sería
factible que se almacenen ficheros planos con esa información. ¿Pero y cada
vez que se quieran explotar? las herramientas de gestión de esos datos cada vez
requerirán mayores recursos para poder ejecutar consultas. Así que creo que si bien el
almacenaje pueda ser en ficheros planos, al final siempre habrá una herramienta de tipo
multidimensional o relacional, para la utilización (entendida como uso útil)
de esos datos.

un saludo!