Webscraping - Algoritmo em Python para monitorar páginas web

I'm interested in your project very well. I've got an experience in jobs with skills of web scraping using scrapy. Please ping me to discuss about this project.

Hi. I am very interested in your project, because I have much experience in such projects. I have good skills with the program language including C/C++, C#, java, php, asp.net, python, VB.NET. So I have expert and smart technic with web scraping (1000 over projects for scraping), automation and bot(500 over projects for automation and bot), selenium, mobile (android, ios native and others). Especially, I am an expert in betting project and gambling games and sites(oddsportal,bet365, bwin, pinnacle, betfair...) ,,, shopping auto buyer(adidas, footlocker, eastbay, supreme and etc) So, I can solve the captcha automatically. Please contact me, then we can discuss about the details and the price. And I am free in recent days, so I can do my best for your project. Thanks.

Greetings, We have past experience of scrapping data from various platforms like YellowPages, WhitePages, JustDial, Amazon, Bing Etc. I have also reviewed your attachment, and we are capable of completing your project. We have to just make few changes to our current script. As we already have prior experience of scrapping data, so we are aware of the challenges that we have to face to finish your work. Regards, Yuvraj S.

Precisa ser mudanças visuais ou qualquer alteração no código do página? Porque a necessidade de screenshot de tela? A princípio esse tipo de script não precisaria renderizar o conteúdo do site, como os navegadores fazem com os humanos, para saber se houve alterações, e em quais sites, é possível, mas só complicaria a lógica da aplicação.

Customer's satisfaction is my goal *** *** Also 100% Completion is happy of me and client. *** *** Rest is my creative idea and honest effort. *** Looking to be your Good Venture along with your project! Best Regards.

Olá! :) Sou um programador experiente e sério e posso te ajudar com esse projeto! Me mande uma mensagem para discutirmos os detalhes!

Para este projeto criaria um arquivo de configuração para que seja informado através de um arquivo JSON, quais são os sites a serem monitorados. Para que o código-fonte seja bem escrito pretendo utilizar o pylint para a qualidade do código. Pretendo também criar um "mapa" para o site para armazenar todas as páginas que o site possuí. Para verificar a diferença entre a versão atual do site e a última versão salva eu fiquei com uma dúvida, deve ser verificado apenas mudanças visuais realizando uma comparação entre os screenshots das páginas ou se deve ser realizada a comparação entre os arquivos da página? O primeiro não é capaz de perceber mudanças de otimização ou não visuais, enquanto no segundo até mesmo essas mudanças seriam percebidas. O arquivo seria executado via cronjob, tarefas do windows ou manualmente? A notificação da mudança se daria como, imprimindo uma mensagem no terminal ou abrindo uma janela?

É possível ser feito em Python ou qualquer outra linguagem, o interessante é ter um resultado bom! Aguardo resposta.