Część hurtowni nie udostępnia feedu produktowego przez API, FTP ani stały link. Jedyny sposób na jego pobranie to zalogowanie się do panelu klienta na stronie WWW i ręczny eksport pliku za każdym razem. Scraper automatyzuje ten proces.
Jak działa scraper w praktyce
Scraper loguje się na konto klienta w panelu hurtowni, odnajduje sekcję eksportu produktów i pobiera udostępniony tam feed, na przykład w formacie CSV czy XML. Jeśli proces wymaga dodatkowych kroków, na przykład wybrania kategorii czy kliknięcia przycisku „eksportuj”, scraper wykonuje je automatycznie, zanim pobierze gotowy plik.
Dobrze napisany scraper radzi sobie z trudniejszymi przypadkami:
- logowaniem do panelu, tak samo jak zrobiłby to człowiek,
- klikaniem w interfejsie, jeśli feed trzeba wygenerować poprzez wybranie opcji czy kliknięcie przycisku,
- wieloetapowym eksportem, jeśli panel wymaga np. wybrania kategorii albo zakresu produktów przed pobraniem feedu.
Cały proces działa cyklicznie. Scraper loguje się do panelu w ustalonych odstępach czasu, na przykład raz dziennie albo kilka razy dziennie, i za każdym razem pobiera aktualny feed.
Gdzie działa scraper
Scraper może być hostowany na naszych serwerach albo bezpośrednio u klienta, na przykład na serwerze z systemem Windows, jeśli hurtownia stosuje zabezpieczenia wymagające takiego rozwiązania. Wybór zależy od typu strony hurtowni i ustalamy go na etapie analizy technicznej.
Kiedy scraper się przyda
Scraper przyda się wtedy, gdy hurtownia nie udostępnia feedu produktowego po linku, przez FTP ani przez API, a jedyną opcją jest ręczny eksport z panelu klienta po zalogowaniu. Czekanie, aż hurtownia doda gotowy sposób integracji, oznacza w praktyce ręczne logowanie się i pobieranie feedu przez wiele miesięcy.
Zgoda hurtowni na scrapowanie
Scraper wymaga pisemnej zgody właściciela strony, z której pobiera dane. Przed uruchomieniem scrapera musisz ustalić z hurtownią, że wyraża zgodę na taki sposób pobierania feedu w jej imieniu.
Scraper w RoutineSolver
Jeśli Twoja hurtownia nie udostępnia feedu w żaden ze standardowych sposobów, RoutineSolver może przygotować dla niej dedykowany scraper, po uzyskaniu pisemnej zgody hurtowni. Scraper przekazuje pobrany feed do systemu tak samo, jak zrobiłby to standardowy feed dostarczany przez hurtownię, więc automatyzacja sprzedaży jest możliwa nawet tam, gdzie hurtownia formalnie nie ma żadnej integracji.
Najczęściej zadawane pytania
Czy scraper jest legalny?
Scraper wymaga pisemnej zgody właściciela strony, z której pobiera dane. Bez takiej zgody scrapowanie danych nie jest dopuszczalne.
Czy scraper zadziała z moją hurtownią, jeśli ma zabezpieczenia typu captcha?
Nie.
Jak często scraper aktualizuje feed?
Zależy od Twoich potrzeb i tego, jak często hurtownia go aktualizuje.
Gdzie jest hostowany scraper?
Zależy od typu strony hurtowni i jej zabezpieczeń. Scraper może działać na naszych serwerach albo na serwerze klienta, na przykład z systemem Windows.
Co się dzieje, gdy hurtownia zmieni sposób logowania lub eksportu?
Scraper trzeba wtedy dostosować do nowego procesu.