Avançado5 componentes · 4 conexões

Web crawler distribuído

Desenhe um crawler, como o Googlebot ou o Common Crawl, para baixar e indexar bilhões de páginas da web.

Solução de referência, calculada pelo mesmo motor do editor. Desenhe a sua e compare com ela.

Escala

  • 1 bilhão de páginas por mês (~400 páginas/s em média, pico de 2.000/s)
  • 100 TB de HTML bruto por mês
  • Coleta contínua em segundo plano, respeitando o robots.txt

Restrições

  • Evitar armadilhas de crawler e ciclos de URLs
  • Cortesia (politeness): no máximo 1 requisição por segundo por host
  • Alta vazão de coleta

Metas da carga

  • 2K req/s
  • 0% leituras

A nota cobra

  • Escalabilidade
  • Disponibilidade

Sem conta, você entra ou cria uma e volta direto para o problema escolhido. O projeto só é criado quando você confirma.