Skrypt zbierające dane

Zlecę napisanie skryptu.

Skrypt działający na serwerze (wywoływany z CRON) zbierający dane ze stron:

[url removed, login to view]

[url removed, login to view]

[url removed, login to view]

+możliwe inne

Wszystkie dane gromadzone muszą być ze względu na sporą ilość danych - docelowo kilkaset tysięcy rekordów - w bazie danych o wysokiej wydajności.

Program powinien działać w sposób ciągły ze sporą wydajnością - kilka wątków jednocześnie - kilka wywołań CRON ?

Program powinien zbierać dane ze wszystkich baz w tym samym czasie - osobne CRON dla każdej ze stron.

Program musi pobierać dane ze stron przy użyciu proxy.

Będą to darmowe proxy, które często nie działają lub mają spore opóźnienia, dlatego program powinien testować proxy przed jego użyciem.

Większość stron, z których pobierane będą dane posiada captche - konieczna integracja z api [url removed, login to view]

Dane z bazie muszą być unikalne - primary key np. no NIPie firmy

Druga część programu to mechanizm umożliwiający pobieranie danych z tworzonej bazy danych wg zadanych kryteriów - np. firmy z branży A znajdujące się w woj. Mazowieckim.

Dodatkowo:

- możliwość sprawdzenia ilości rekordów w bazie wg zadanych kryteriów

- możliwość pobrania wpisów wg zadanych kryteriów + dodanie informacji do bazy danych kiedy i kto pobrał dane - tak aby dane o jednej firmie nie były pobierane kilkukrotnie w ciągu krótkiego okresu czasu.

Tutaj konieczna będzie druga tabela w bazie danych

W bazie musi być informacja kto i kiedy pobierał dane - pełna historia, choć najbardziej istotna będzie data ostatniego pobrania danych.

Dodatkowe możliwe filtry:

- pobranie rekordów, które posiadają telefon a nie posiadają emaila lub odwrotnie

- pobranie wszystkich rekordów, które posiadają adres strony a nie posiadają emaila i telefonu itp.

PHP

Nº del proyecto: #6312407

Sobre el proyecto