Como acelerar a sua pesquisa com AWS

Introdução

No dia 5 desse mês participei de um evento promovido pela AWS sobre como usar nuvem (especialmente a deles) para acelerar pesquisa. Além de adesivos, levei algumas coisas comigo desse evento e gostaria de compartilhar.

Esse evento foi dividido em duas partes. De manhã houve palestras sobre diferentes usos de AWS para pesquisa e estudos de casos com pesquisadores e de tarde houve um workshop.

sim@cloud

Para mim, o destaque das palestras foi a apresentação da professora Lucia Drummond sobre o SIM@CLOUD, que é um framework que otimiza custo de simulações feitos na nuvem usando instâncias spot da AWS.

Essas instâncias possuem um desconto consideravel em seu custo, as vezes de até 90%, pois usam uma capacidade ociosa dos datacenters. No entanto, quando a AWS precisar dessa capacidade, ela vai deletar sua máquina após um aviso prévio de 2 minutos. Por tanto sua aplicação deve ser tolerante a falhas e estar preparada para tratar esse aviso de desligamento. SIM@CLOUD automatiza a migração de simulações entre instâncias spot, assim mitigando o problema de desligamento prématuro.

O time dela já usou essa ferramenta com a Petrobras para rodar algumas simulações de forma mais econômica. Em tese a ferramenta é open-source, mas estou com dificuldade para encontrar o código fonte da mesma. Se eu encontrar o código, vou editar esse texto e adicionar um link para ele.

Pesquisando sobre o tema encontrei os seguintes artigos que parecem interessantes:

• Smart spot instances for the supercloud;
• Achieving Performance and Availability Guarantees with Spot Instances;
• High Performance Computing in Clouds: Moving HPC Applications to a Scalable and Cost-Effective Environment: Livro do time da autora.

Workshop

No workshop, usamos o jupiter notebook integrado a AWS. O material utilizado está disponivel nesse repositório. Em particular, utilizamos esse notebook.

Percorremos o básico de containers e subimos uma aplicação de comparação de DNA na infra da AWS. Ainda não tive tempo para revisitar o material após o workshop, se fizer isso, atualizo esse tempo com mais comentários sobre.