Jeśli zastanawiało Cię kiedyś, jak pobrać całą stronę internetową, to pewnie jest Ci znajome sformułowanie web scraping. Scrapowanie stron internetowych, to prościej mówiąc, pobieranie ich jako kopie, na nasz komputer. Technologia ta służy nie tylko do pobierania całych stron internetowych, ale też do wyciągania konkretnych interesujących nas danych z danego portalu. Cały proces realizowany jest za pomocą botów, robota indeksującego, lub skryptu napisanego w Pythonie. Podczas scrapowania określone dane są gromadzone i kopiowane z sieci do lokalnej bazy danych.
Web scraping - zastosowanie
Wiesz już, czym jest scrapowanie stron i zapewne możesz się domyślać, w jaki sposób można to wykorzystać. Pozwól, że przedstawimy kilka zastosowań web scrapingu:
Scraping listingów nieruchomości
Bardziej zaawansowani agenci nieruchomości używają web scrapingu, aby wypełnić ich bazę danych dostępnych nieruchomości na sprzedaż lub do wynajęcia.
Statystyki branżowe
Wiele firm używa web scrapingu do budowania ogromnych baz danych i wyciągania z nich specyficznych dla branży spostrzeżeń. Firmy te mogą następnie sprzedać dostęp do wglądu firmom z powiązanych branży. Przykładowo, firma może scrapować i analizować dane o cenach ropy, eksporcie i imporcie, aby sprzedawać swoje spostrzeżenia firmom naftowym na całym świecie.
Generowanie leadów
Web scraping to również jeden z niewiarygodnie popularnych narzędzi do generowania leadów. Np. poprzez scrapowanie katalogów online, ofert pracy, e-maili, profili na Twitterze itd.
Krótko podsumowując, web scraping jest używany przez firmy do zbierania informacji kontaktowych o potencjalnych klientach. Jest to niezwykle powszechne w przestrzeni B2B (business-to-business), gdzie potencjalni klienci publicznie zamieszczają informacje o swoich firmach w sieci.
Web scraping w afiliacji
Jak się ma web scraping do marketingu afiliacyjnego? Zacznijmy od największego argumentu skłaniającego do podjęcia takich działań, czyli zaoszczędzony czas, który zyskujemy, pobierając strony konkurencji. Każdy wie lub przynajmniej się domyśla, że proces tworzenia dobrego landing page’a może być czasochłonny, a właśnie od czasu zależy między innymi sukces. Innymi czynnikami są otwartość na zmianę podejścia, poszukiwanie nowych kampanii, przeprowadzanie testów i oczywiście analizy reklam i ich analityka. Sukces osiągają ci, którzy nie zatrzymują się na drobiazgach, ale szukają sposobów na skalowanie. Aby uruchomić jedną kampanię, trzeba wykonać wiele badań na temat grupy docelowej, wyboru GEO, ofert itp., a także przygotować materiały eksploatacyjne, w tym landing page.
Niektórzy wolą korzystać z landingów, które udostępnia im sieć afiliacyjna, inni używają gotowych szablonów z kreatorów stron, a jeszcze inni wolą tworzyć landing page od podstaw. Pierwsze dwie opcje są najczęstsze. W niektórych przypadkach mogą stać się opłacalne, ale nie jest to rozwiązanie długoterminowe, ponieważ konkurencja jest duża, a pakiety z dostępnymi templatkami szybko się wyczerpują.
Wysokiej jakości strona docelowa jest kluczem do przyszłego sukcesu i dobrego zwrotu z inwestycji. Warto dodać, że nie każdy landing page od konkurenta może przynieść oczekiwany rezultat. Lepiej dopracować pożądany landing page pod siebie, biorąc pod uwagę kryteria przyszłej kampanii reklamowej.
Oczywiście trzeba pamiętać o tym, żeby wszystko robić zgodnie z pewnymi regułami, o których dowiesz się za chwilę.
Czy web scraping jest legalny?
Tak. Web scraping nie jest zakazaną technologią a firmy z niej korzystające robią to zgodnie z prawem. Niestety zawsze znajdzie się ktoś, kto zacznie wykorzystywać dane narzędzie do działań pirackich. Web scraping może być wykorzystywany do prowadzenia nieuczciwej polityki cenowej i kradzieży treści chronionych prawem autorskim. Jasne jest to, że właściciel strony internetowej, która jest pod atakiem scrapera może ponieść ogromne straty finansowe. Co ciekawe, web scraping był wykorzystywany przez kilka zagranicznych firm do zapisywania stories z Instagrama i Facebooka, które powinny być ograniczone czasowo.
Scrapowanie jest w porządku, dopóki przestrzega się praw autorskich i trzyma wyznaczonych standardów. Jeśli postanowisz przejść na ciemniejszą stronę, która nie jest akceptowana w MyLead, możesz liczyć się z różnymi konsekwencjami.
Para dobrych praktyk podczas scrapowania stron WWW
Pamiętaj o RODO
Jeśli chodzi o kraje należące do UE, trzeba zachowywać zgodność z rozporządzeniem o ochronie danych UE, zwanym potocznie RODO. Jeśli nie scrapujesz danych osobowych, nie musisz się tym zbytnio przejmować. Przypominamy, że dane osobowe to wszelkie dane, które mogą zidentyfikować osobę, czyli:
- imię i nazwisko,
- e-mail,
- numer telefonu,
- adres,
- nazwa użytkownika (np. login/nick),
- adres IP,
- informacje o numerze karty kredytowej lub debetowej,
- dane medyczne lub biometryczne.
Aby scrapować potrzebujesz powodu na przechowywanie dane osobowych. Przykładami takich powodów są:
1. Uzasadniony interes
Należy udowodnić, że przetwarzanie danych jest niezbędne do celów wynikających z prawnie uzasadnionego interesu. Jednak nie dotyczy to sytuacji, w których nadrzędny charakter wobec tych interesów mają interesy lub podstawowe prawa i wolności osoby, której dane chcemy przetwarzać.
2. Zgoda klienta
Każda osoba, której dane chcesz pozyskiwać, musi wyrazić zgodę na pobieranie, przechowywanie i wykorzystywanie jej danych, w sposób, jaki zamierzasz to zrobić, czyli np. w celach marketingowych.
Jeśli nie masz uzasadnionego interesu ani zgody klienta, naruszasz RODO, co może się wiązać z grzywną, karą ograniczenia wolności albo pozbawienia wolności do dwóch lat.
Uwaga!
RODO dotyczy tylko i wyłącznie mieszkańców krajów Unii Europejskiej, więc nie ma to zastosowania w takich krajach jak Stany Zjednoczone, Japonia, czy Afganistan.
Przestrzegaj praw autorskich
Prawa autorskie to wyłączne prawo do dzieła takiego jak artykuł, zdjęcie, film, utwór muzyczny, itp. Można się domyślić, że prawa autorskie są bardzo istotne w web scrapingu, bo wiele danych w internecie to właśnie dzieła chronione prawem autorskim. Oczywiście istnieją wyjątki, w których można scrapować i wykorzystywać dane bez naruszania praw autorskich, a są to:
- wykorzystywanie na własny użytek publiczny,
- wykorzystywanie w celach dydaktycznych lub w celu prowadzenia działalności naukowej,
- wykorzystywanie w ramach prawa do cytatu.
Web scraping - od czego zacząć?
1. URL
Pierwszym krokiem będzie znalezienie adresu URL strony, która Cię interesuje. Określ tematykę, którą chcesz wybrać. Ogranicza cię jedynie wyobraźnia i źródła danych.
2. Kod HTML
Poznaj strukturę kodu HTML. Bez znajomości HTML, trudno Ci będzie znaleźć element, który pobrać ze strony konkurencji. Najlepszym sposobem będzie wejście na dany element w przeglądarce i skorzystanie z opcji „Zbadaj element”. Wtedy ujrzysz znaczniki HTML i będziesz w stanie zidentyfikować interesujący Ciebie element. Poniżej pokazujemy przykład takiego działania na Wikipedii:
Jak widać, po najechaniu myszką na dany wiersz kodu, podświetla nam się na stronie element odpowiadający tej linijce kodu.
3. Środowisko pracy
Twoje środowisko pracy powinno być gotowe. Później dowiesz się, że potrzebne Ci będą edytory tekstowe takie jak Visual Studio Code, Notepad++ (Windows), TextEdit (MacOS), czy Sublime Text, więc zaopatrz się w jeden z nich już teraz.
Jak zapisać stronę internetową?
Zapisywanie strony przez przeglądarkę
Wchodząc na dowolną przeglądarkę, każdy, w tym też Ty, może zapisać wybraną stronę na swoim komputerze, wystarczy poświęcić parę minut swojego czasu. Duplikat strony jest zapisywany na komputerze użytkownika, jako plik HTML i folder. Cała kopia strony otwiera się w przeglądarce i wygląda całkiem sprawnie. Jednak, żeby zapisać naprawdę dużą stronę, proces ten trzeba będzie wielokrotnie powtarzać.
Jeśli chcesz zaoszczędzić swój czas i zniwelować trudności podczas tworzenia kopii witryny, możesz uzyskać pomoc od płatnych stron trzecich. W Internecie jest wiele firm i freelancerów, którzy zrobią za Ciebie wszystko za opłatą. Jedną z usług kopiowania witryn internetowych jest ProWebScraper. Mają dostępną wersję testową, dzięki której możesz pobrać 100 stron. Później oczywiście przyjdzie pora na zapłatę, która wynosi od $40 miesięcznie w zależności od tego ile stron będziemy chcieli scrapować. Zawsze można znaleźć kolejną witrynę z darmowym okresem próbnym. Warto wspomnieć, że niektóre portale dają możliwość sprawdzenia, czy dana strona jest możliwa do skopiowania, bo wiele witryn się jednak przed tym chroni.
Darmowe programy do pobierania stron WWW
Jeśli chcesz zaoszczędzić, spójrz na poniższe zestawienie darmowych programów do pobierania stron WWW.
WebScrapBook
Wtyczka WebScrapBook to wtyczka, która jest dostępna dla Google Chrome i Mozilla Firefox. Pobiera całą stronę na komputer i oferuje kilka możliwości pobrania: pobranie każdego pliku ze strony docelowej osobno, pobranie archiwum lub osobnego pliku HTML.
Domyślnie każdy plik jest pobierany indywidualnie, ale jeśli chcesz pobrać archiwum, przejdź opcji i w zakładce “Capture” zmień żądaną opcję zapisu.
Aby pobrać archiwum z plikami, wybierz format HTZ. Po pobraniu ręcznie wybierz archiwizator, aby rozpakować archiwum.
Sitesucker (MacOS)
Podczas pracy na MacOS radzimy przyjrzeć się bliżej programowi Sitesucker. Jego ogromną zaletą jest praca przez własny interfejs.
Możliwe jest zakupienie licencjonowanej wersji za jedyne 23,99 zł płacone raz na AppStore.
Cyotek WebCopy
Program Cyotek WebCopy umożliwia zapisanie strony docelowej na komputerze i skanowanie witryn konkurencji.
Aby pobrać dany landing page, wpisz adres URL, określ folder, w którym chcesz zapisać pliki i kliknij “Copy Website”.
Teleport Pro
W bezpłatnej wersji możesz pobrać do 40 projektów i nie więcej niż 500 plików w jednym projekcie. Po zainstalowaniu i uruchomieniu programu musisz utworzyć nowy projekt.
Jak widzisz, opcji tworzenia nowego projektu jest dość sporo, a są to:
- tworzenie widocznej kopii witryny na dysku twardym.
- stworzenie kopii strony internetowej wraz ze strukturą katalogów.
- wyszukanie w witrynie plików określonego typu.
- sprawdzenie wszystkich witryn, do których prowadzą łącza z witryny centralnej.
- pobranie jednego lub więcej plików ze znanych adresów.
- przeszukanie witryny pod kątem słów kluczowych.
Żeby pobrać stronę, zaznacz pierwszą opcję, a następnie podaj link do lądowania. W następnym kroku wybierz “Wszystko”, a później kliknij „Zakończ”. Pamiętaj również, żeby zapisać projekt i sprawdzić, czy zapisał się w folderze pliku. Aby program pobrał wszystkie pliki, kliknij “Start”.
HTTrack
Ostatnim darmowym programem do tworzenia lokalnej kopii witryny lub zestawu witryn jest HTTrack. Jego główną zaletą jest wiele wygodnych ustawień. Możesz tutaj np. skonfigurować filtry dla wymaganych typów plików. Istnieje również możliwość pobrania niezbędnych danych, a wszystkie pobrane witryny są „rozproszone” według projektów i podzielone tematycznie.
Niestety ten program ma dość zauważalny minus. Jest wrażliwy na plik robots.txt: wskazane w nim zdjęcia i strony mogą się nie załadować. Aby to naprawić, ustaw ustawienia pająka na „nie przestrzegaj reguł robots.txt”. Tylko w ten sposób możemy zagwarantować całkowite załadowanie strony. Pająki są klasami, które określają, w jaki sposób określona witryna (lub grupa witryn) będzie scrapowana, w tym jak wykonać samo scrapowanie i jak wyodrębnić dane strukturalne z ich stron.
Usługi online do web scrappingu
Web scraping online działa na zasadzie parserów (analizatorów składnikowych), ale ich główną zaletą jest możliwość pracy online, bez pobierania i instalowania programu na komputerze. Zasada działania serwisów oferujących web scraping online jest dość prosta. Wprowadzamy adres URL interesującej nas strony, ustawiamy niezbędne ustawienia (istnieje możliwość skopiowania mobilnej wersji strony i zmiany nazw wszystkich plików, program zapisuje HTML, CSS, JavaScript, fonty) i pobieramy archiwum. Za pomocą tej usługi webmaster może zapisać dowolny landing page, a następnie wprowadzić własny format i niezbędne poprawki.
Save a Web 2 ZIP
Save a Web 2 ZIP to najpopularniejsza strona jeśli chodzi o web scraping za pośrednictwem serwisu przeglądarkowego. Bardzo prosty i przemyślany design przyciąga i wzbudza zaufanie, a do tego wszystko jest w pełni darmowe. Wystarczy podać link strony, którą chcemy skopiować, wybrać interesujące nas opcje i gotowe.
LPcopier
LPcopier to rosyjska usługa bardzo skierowana do świata marketingu afiliacyjnego. Portal umożliwia scrapowanie już od ok. 25 zł za stronę. Dodatkowe usługi, takie jak instalacja liczników analitycznych, cenowo są rozpatrywane oddzielnie. Możliwe jest również zamówienie landing page’a nie z sieci CPA lub już gotowego landing page’a. Jeśli przeraża Cię rosyjski, wystarczy skorzystać z opcji translacji, którą oferuje Google.
Xdan
Strona Xdan to także rosyjska strona (dostępna w j.angielskim)q oferująca usługi CopySite, czyli web scrapingu. Za pomocą tego serwisu można bezpłatnie utworzyć lokalną kopię landing page z możliwością wyczyszczenia liczników HTML, podmiany linków lub domen.
Copysta
Rosyjski serwis copysta to jedna z najszybszych oferowanych usług tego typu. Deklarują, że skontaktują się z Tobą w ciągu 15 minut. Sam web scraping obywa się za pośrednictwem linku, a za dodatkową opłatą możesz uaktualnić stronę, jak tylko chcesz.
Pobrałem/am stronę WWW. Co dalej?
Masz już pobraną stronę WWW? Świetnie, teraz trzeba by się zastanowić, co chcesz z nią zrobić. Z pewnością zależy Ci, by nieco ją zmodyfikować. Jak?
Jak przerobić zapisaną stronę?
Aby przeprojektować skopiowaną stronę na własne potrzeby, należy powielić zasób w dowolny sposób. Do wprowadzania zmian w strukturze można wykorzystać dowolny edytor umożliwiający pracę z kodem, taki jak Visual Studio Code, Notepad++ (Windows), TextEdit (MacOS), czy Sublime Text. Otwórz wygodny dla siebie edytor, dostosuj kod, a następnie zapisz go i zobacz, jak nasze zmiany są wyświetlane w przeglądarce. Edytuj wygląd wizualny znaczników HTML poprzez zastosowanie CSS, dodawaj formularze internetowe, przyciski akcji, linki itp. Po zapisaniu, na komputerze pozostanie zmodyfikowany plik ze zaktualizowanymi funkcjami, układem i ukierunkowanymi działaniami.
Istnieją również serwisy, które zbierają i analizują wszystkie dane projektowe z określonych archiwów internetowych, które posiadają system tworzenia i zarządzania stroną internetową (CMS). System tworzy duplikat projektu z adminem i przestrzenią dyskową. Serwisem takim jest m.in. Archivarix (program może odtworzyć i zarchiwizować projekt).
Wgrywanie strony na hosting
Ostatnim i najważniejszym krokiem podczas web scrapingu stron docelowych jest wgranie ich na hosting. Warto pamiętać, że nie wystarczy tylko skopiować i wprowadzić małe zmiany wizualne. Linki partnerskie innych osób, skrypty, piksele wymiany, kody JS Metrica i inne liczniki prawie zawsze pozostają w kodzie strony. Muszą zostać usunięte ręcznie (lub za pomocą płatnych programów) przed przesłaniem na hosting. Jeśli chcesz się dokładnie dowiedzieć, jak wgrać stronę na hosting, zajrzyj do naszego artykułu pt: “Jak stworzyć landing page? Krok po kroku tworzenie strony WWW”.
Jak bronić się przed web scrapingiem?
Jeśli kiedykolwiek zauważyłeś, że Twój landing page padł ofiarą techniki web scrapingowej, istnieje sposób, aby część ruchu i tak trafiała z powrotem na Twoją stronę.
Na forum Afflift znajdziesz prosty kod JavaScript. Umieść go na swojej stronie, a ten uchroni Cię od całkowitej utraty ruchu, w przypadku użycia web scrapingu.
Kod znajduje się w TYM WĄTKU.
Dobrze Cię tu widzieć!
Mamy nadzieję, że wiesz już czym jest web scraping, jak pobrać stronę internetową i, przede wszystkim, jak przestrzegać praw autorskich. Teraz przyszła Twoja kolej, aby wykonać ruch i zacząć zarabiać. Jeśli masz jednak jeszcze jakieś pytania odnośnie afiliacji lub nie wiesz jaki program wybrać, skontaktuj się z nami.