Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy

Opublikowany

lis 5, 2024

Temat

podręcznik

Czas czytania

10 min

Blog
Author

Autor

StableProxy

Czym jest WebHarvy?

WebHarvy to potężne narzędzie do zbierania danych, które posiada funkcje ułatwiające wyodrębnianie tekstu, HTML i obrazów ze stron internetowych, oszczędzając Twój czas i zasoby. WebHarvy umożliwia łatwe logowanie, wypełnianie formularzy i nawigację po skomplikowanych stronach internetowych. Co więcej, serwery proxy łatwo integrują się z WebHarvy, co pozwala na rozszerzenie możliwości pracy ze stronami internetowymi.

Wzmocnij swoje umiejętności web scraping, integrując serwery proxy Stableproxy z WebHarvy!

Jeśli jesteś gotowy do ulepszenia swoich umiejętności zbierania danych z sieci, integracja Stableproxy z WebHarvy będzie doskonałym rozwiązaniem. Wsparcie dla serwerów proxy zapewnia bardziej efektywne i efektywne zbieranie publicznych danych. Aby rozpocząć pracę, wykonaj następujące kroki:

  1. Pobierz i zainstaluj aplikację WebHarvy ze strony webharvy.com.
  2. Po zainstalowaniu WebHarvy otwórz zakładkę "Ustawienia".
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy
  3. Aktywuj połączenie przez serwer proxy, wybierając odpowiednią opcję. Typ połączenia powinien być HTTP.
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy
  4. Wypełnij pola ustawień serwera proxy, opierając się na danych w panelu sterowania.
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy
  5. Włącz uwierzytelnianie, zaznaczając pole "Wymagane uwierzytelnianie". Wklej nazwę użytkownika i hasło podużytkownika Stableproxy. Aby dodać właśnie wprowadzony serwer proxy do listy, kliknij plus. Aby zakończyć proces integracji proxy z WebHarvy, kliknij przycisk Apply.

Teraz WebHarvy z skonfigurowanymi serwerami proxy jest w stanie anonimowo zbierać dane z nieograniczonym dostępem.

Aby wyszukać dane za pomocą WebHarvy, wykonaj proste kroki:

  1. Otwórz stronę internetową, z której chcesz zebrać dane. Weźmy na przykład https://books.toscrape.com/.
  2. Aby rozpocząć zbieranie danych, kliknij przycisk Start w WebHarvy.
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy
  3. Określ konkretne atrybuty do wyodrębnienia, takie jak tytuły książek i ich ceny. W WebHarvy, dzięki interaktywnemu interfejsowi, wystarczy kliknąć na potrzebne elementy na stronie, aby je wybrać. Rozpoznawanie wzorców danych na stronie internetowej odbywa się automatycznie, co ułatwia pracę. Jeśli danych jest dużo i są one powtarzane, WebHarvy automatycznie dodaje je do listy do zebrania, nie wymagając dodatkowych działań od użytkownika.
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy
  4. Wybierz dane, które są potrzebne do wyodrębnienia i dodaj je przez opcję "Capture Text". Nie zapomnij nadać nazwy wybranym elementom.
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy
  5. Po zakończeniu wyboru danych kliknij "Stop", aby zakończyć sesję konfiguracji.
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy
  6. Aby rozpocząć wyodrębnianie danych, kliknij "Start-Mine", a następnie naciśnij ▶Start.
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy
  7. Po zakończeniu sesji wyodrębniania danych otwórz "Eksport" i wybierz odpowiedni format eksportu. WebHarvy umożliwia zapisanie zebranych danych w formatach Excel, XML, CSV, JSON i TSV. W razie potrzeby możesz eksportować dane do bazy danych.
    Web scraping z WebHarvy - Konfiguracja serwerów proxy Stableproxy

Świetnie! Teraz masz arkusz elektroniczny z tytułami książek i odpowiadającymi im cenami.Frame 1000003016.png