The Fourth Paradigm: Data-Intensive Scientific Discovery

A Microsoft Research lançou um livro (disponível para download livre) sobre o dito quarto paradigma de pesquisa científica, a pesquisa centrada e intensiva em dados. Está lá, no site da micrososft research. Infraestrutura para computação científica é parte das condições para esse quarto paradigma e pivô na história, como já comentamos antes.

Estatísticas do OurGrid

Pouca gente sabe que o OurGrid, a partir da sua versão 4, tem armazenado todas as operações que estão acontecendo na grade. Desde as mudanças de estado de um peer até quanto tempo de CPU uma task consumiu.

A entidade responsável por coletar esses dados é o Aggregator, que periodicamente consulta todos os peers sobre novos eventos que ocorreram nos seus respectivos sites. Além disso, cada peer possui um banco de dados embutido, que guarda essas informações históricas.

Ter essas informações já é muito interessante, pois daí podemos investir na divulgação/marketing do OurGrid, além de auxiliar gerência local de sites e a gerência global da grade.

Além disso, está em desenvolvimento o OurGrid Statistics, portal que realiza consultas do tipo: "Quantos peers estiveram online durante o dia de hoje?", "Qual a proporção de tempo que um determinado peer esteve online durante o mês?" e exibe gráficos correspondentes a essas consultas numa interface WEB 2.0.

O projeto está em desenvolvimento e sua página de acompanhamento tem informações interessantes sobre novas features e próximas releases.

Inundação de dados, ciência e computação na Science

A Science de março tem um artigo curto interessante na seção de perspectivas: Beyond the Data Deluge de Gordon Bell, Tony Hey, Alex Szalay.

Os autores discutem um paradigma emergente em ciência: criar conhecimento não a partir de teoria, experimentação ou simulação, mas através da mineração das quantidades enormes (e crescentes) de dados que temos disponíveis sobre os fenômenos que nos cercam.

Naturalmente, tecnologias para o processamento eficiente de grandes quantidades de dados têm um papel importante nesse paradigma, e o artigo discute o papel de grids e nuvens nesse contexto.

Em uma linha semelhante, a O'Reilly Research recentemente publicou um relatório sobre desafios no processamento de grandes quantidades de dados hoje. O relatório (que infelizmente é pago) e diversas entrevistas sobre o assunto são apresentadas nesse post do O'Reilly Radar.