Preciso de uma aplicação capaz de varrer aproximadamente 500 sites de leiloeiros e extrair, diariamente, os preços e ofertas publicados. Meu objetivo é acompanhar variações de valor e condições em tempo quase real, gerando um arquivo consolidado que eu possa tratar depois em outras ferramentas de análise. Eu fornecerei uma planilha base contendo: • A lista completa dos domínios a serem monitorados • Os campos extras que desejo capturar em cada página (descrição do item, data e hora do leilão, nome do vendedor, entre outros) O que espero da entrega: 1. Crawler/web-scraper funcional que percorra todos os endereços e colete as informações especificadas. 2. Atualização diária automática, com opção de ajuste futuro para outros intervalos. 3. Saída em formato CSV ou JSON, organizada exatamente conforme a planilha de referência. 4. Código comentado e documentado, pronto para rodar em ambiente Linux. 5. Relatório breve explicando arquitetura, bibliotecas utilizadas e instruções de implantação. Sinta-se livre para empregar Python, Scrapy, Selenium, Playwright ou técnicas de IA que agilizem identificação de padrões ou bloqueios. O importante é garantir estabilidade, capacidade de lidar com CAPTCHAs ou paginações complexas e facilidade de manutenção. Se já tiver exemplos de trabalhos semelhantes, mencione. Estou disponível para esclarecer dúvidas e testar entregas parciais ao longo do desenvolvimento.