Jak skonfigurować proxy w Octoparse - Przewodnik krok po kroku

Opublikowany

лип. 25-е, 2024

Temat

podręcznik

Czas czytania

10 min

Blog
Author

Autor

StableProxy

Opis Octoparse

Octoparse to skuteczne narzędzie do skrobania danych, które umożliwia użytkownikowi proste zbieranie publicznie dostępnych danych bez konieczności korzystania z kodu. To narzędzie oferuje szereg funkcji, takich jak automatyczne proxy i ustawianie czasu sesji, aby ominąć systemy blokujące skrobanie. Octoparse wykorzystuje zaawansowane algorytmy uczenia maszynowego do szybkiego rozpoznawania i wydobywania danych z skomplikowanych stron internetowych. To narzędzie jest w stanie przetwarzać różne typy danych, w tym tekst, linki, adresy URL obrazów i HTML.

Oto stopniowe instrukcje, jak skonfigurować ustawienia proxy za pomocą Octoparse:

  1. Pobierz i zainstaluj Octoparse ze strony dewelopera. Uruchom aplikację po jej zainstalowaniu.
  2. W lewym górnym rogu kliknij "+ New", aby utworzyć nowe zadanie. Spośród zaproponowanych opcji wybierz "Custom Task".
    Jak skonfigurować proxy w Octoparse - Przewodnik krok po kroku
  3. Wprowadź adres URL strony, z której chcesz wydobyć dane, do pola wprowadzania URL. Na przykład, weźmiemy stronę "books.toscrape.com". Następnie kliknij przycisk Zapisz.
    Jak skonfigurować proxy w Octoparse - Przewodnik krok po kroku
  4. Po załadowaniu strony kliknij przycisk "Settings" w prawym górnym rogu.
    Jak skonfigurować proxy w Octoparse - Przewodnik krok po kroku
  5. Znajdź na dole sekcję o nazwie "Anti-block settings".
  6. Zaznacz pole "Proxy Server Enable". W tym przypadku pojawią się ustawienia dla serwera proxy i przycisk "Configuration".
    Jak skonfigurować proxy w Octoparse - Przewodnik krok po kroku
  7. Kliknij przycisk Konfiguracja, a pojawi się okno dialogowe. Skopiuj i wklej adresy swojego serwera proxy od stableproxy do odpowiedniego pola. Adresy powinny być podane w formacie IP:PORT.
    Rotating residential proxies:
    IP Selection: Podaj adres dla rotujących proxy. Na przykład wybierzemy adres de-1.stableproxy.com
    Jak skonfigurować proxy w Octoparse - Przewodnik krok po kroku
  8. Ustaw timer przełączania, w zależności od typu sesji i twojego preferencji.
  9. Aby zapisać zmiany, kliknij przycisk Confirm.
  10. Aby sprawdzić, czy zintegrowałeś Octoparse, upewnij się, że w sekcji "Anti-block settings" przed przyciskiem "Configuration" jest zaznaczony.
  11. Aby zapisać zmiany, kliknij przycisk Zapisz.
  12. Wrócisz do głównego ekranu strony, którą analizujesz.
  13. Kliknij ikonę z obrazkiem przypominającym żarówkę, aby otworzyć ją i wybrać, czy przechodzić do innych stron, czy włączyć przewijanie.
  14. Gdy wybierzesz opcję, kliknij na "Create workflow".
    Jak skonfigurować proxy w Octoparse - Przewodnik krok po kroku
  15. Wybierz element na stronie, który chcesz analizować, na przykład "Mystery". Kliknij na niego i wybierz "Extract the text of the selected element".
  16. Pojawi się okno dialogowe. W prawym górnym rogu kliknij "Zapisz", a następnie "Uruchom".
  17. W otwartym oknie opublikowane są możliwe opcje. Wybierz najbardziej pasującą do ciebie opcję (niektóre opcje mogą wymagać opłat). W naszym przypadku wybierzemy "Local Extraction" i "Standard Mode".
    Jak skonfigurować proxy w Octoparse - Przewodnik krok po kroku
  18. Otworzy się nowa strona, na której rozpocznie się proces skrobania. Uwagę proces, który potrzebujesz, będzie można zatrzymać i wznowić w dowolnym momencie.
  19. Ponieważ jest to tylko przykład, zakończymy tutaj. Potwierdź zatrzymanie uruchomienia.
  20. Pokażemy Ci statystyki dotyczące twojego zadania. Wybierz, kiedy chcesz wyeksportować dane: teraz czy później; tym razem wybierzemy "teraz".
  21. Ostatnie okno dialogowe zasugeruje ci wybór formatu danych do ekstrakcji.
  22. Wybierz najbardziej odpowiedni format danych.

Gotowe! Teraz twoje urządzenie jest skonfigurowane i gotowe do pracy; cel zadania: zaawansowane zbieranie danych ze stron internetowych za pomocą Octoparse.