Avançado5 componentes · 4 conexões
Web crawler distribuído
Desenhe um crawler, como o Googlebot ou o Common Crawl, para baixar e indexar bilhões de páginas da web.
Escala
- 1 bilhão de páginas por mês (~400 páginas/s em média, pico de 2.000/s)
- 100 TB de HTML bruto por mês
- Coleta contínua em segundo plano, respeitando o robots.txt
Restrições
- Evitar armadilhas de crawler e ciclos de URLs
- Cortesia (politeness): no máximo 1 requisição por segundo por host
- Alta vazão de coleta
Metas da carga
- 2K req/s
- 0% leituras
A nota cobra
- Escalabilidade
- Disponibilidade
Sem conta, você entra ou cria uma e volta direto para o problema escolhido. O projeto só é criado quando você confirma.