Masz pytanie zadzwoń:
+48 888 570 971

APi_proxy aplikacja do testowania i harvestowania proxy

APi_proxy aplikacja do testowania i harvestowania proxy

Aplikacja umożliwia pobieranie proxy z rożnych źródeł następnie są testowane pod względem działania w Google, test http oraz test anonimowości proxy anonimowe i wysoce anonimowe które ukrywają ip łączacego się przez proxy i fakt kożystania z proxy. Według testów które trwały trochę czasu możemy mieć nawet 300-400 proxy wykonujących zapytania do google oraz 1-3 tysiące proxy wykonujących zapytania http, 1-2 tysiące proxy anonimowych oraz około 1 tysiąc proxy wysoce anonimowych (proxy idealnie nadają się do programu scrapebox). Ilość proxy zależy od list z jakich pobieramy proxy. Dzięki możliwości pobierania podstron serwisów z których pobierane są proxy aplikacja przeszuka wszystkie linki znajdujące się na stronie i pobierze tyle adresów proxy ile to możliwe.

Aplikacja była instalowana na serwerach vps:
biznes-host.pl (vps) kody rabatowe -25% ceny 3BM2-TJ38-MHT1, 75FW-3T66-FH3E,579J-3P96-R13X, TP99-1HC6-NY2M, C95H-5738-J1NB
minthost.pl (vps)
vipower.pl (vps)
vmline.pl (vps)
powinna działać praktycznie na każdym aby spełniał poniższe wymagania

Wymagania aplikacji

– PHP5.3,
– MySQL,
– Crontab co 1 minutę,
– Moduł file_get_contents,
– mcrypt_module_open(),
– Moduł cURL,
– Biblioteka IonCube,
– Najlepiej nielimitowany transfer na serwerze,
– 1GB ramu,
– limit transferu minimum 300-500GB / miesiąc (zalecany serwer bez limitu transferu) ,
– Odblokowane porty na serwerze vps najlepiej wszystkie ale najbardziej: 8008, 7280, 15692, 3389, 818, 8123, 8018, 19305, 7780, 1080, 9001, 1180, 18256, 8086, 29786, 11095, 10933, 7004, 16515, 21320, 14826, 82, 87, 10098, 10000, 8085, 8128, 2013, 63000, 8001, 8082, 8090, 2020, 81, 9090, 8000, 8088, 1234, 3127, 808, 3129, 5555, 6666, 8118, 7808, 8888, 443, 8081, 9000, 9999, 18186, 80, 3128, 8080

Strona startowa

glowna

Strona startowa to zestawienie ile proxy mamy sprawdzonych ile zostało do sprawdzenia, ile
proxy jest sprawdzanych na godzinę i minutę. Klikając w liczbę dobrych proxy zostanie wyświetlone
okno w którym mamy możliwość skopiowania „dobrych” proxy w chwili sprawdzania.

Klikając w wartości oznaczone na niebiesko możemy szybko pobrać działające proxy, oznaczenia
kolumn:
Google – statystyki dla sprawdzania proxy dla wykonywania zapytań do google,
HTTP / A + HA:
HTTP proxy wykonujące zapytania dla stron i zwracające kod błędu 200 (w tym anonimowe i wysoce
anonimowe) ,
A – proxy anonimowe,
+ – do skopiowania proxy anonimowe i wysoce anonimowe,
HA – proxy wysoce anonimowe.

Proxy zarządzaj

proxy-zarzadzajZestawienie przedstawia wszystkie proxy możemy po sortować GOOGLE OK oraz HTTP200 przy proxy jest wyświetlana także geolokalizacjaproxy, jeśli lokalizacja nie jest wyświetlana należy wejść w zakładkę ustawienia następnie kliknąć przycisk „Sprawdź lokalizację proxy”.

Proxy dodaj

proxy-dodajZakładka dodawania proxy umożliwia dodanie w szybki i łatwy sposób proxy do sprawdzenia każde proxy musi być w nowym wierszu.

Źródła dodaj

dodajzrodlaMożemy dodać nieorganiczną liczbę źródeł (oczywiście wszystko zależy od mocy serwera na jakim znajduję się aplikacja). Każde źródło w nowym wierszu. Jeśli wiemy, że na danej stronie czy blogu proxy są dodawanie na podstronach i jest wyświetlany link na stronie głównej to należy dodać tylko stronę główną jako źródło, aplikacja pobierze linki do podstron i je odwiedzi w celu pobrania wszystkich proxy z serwisu.

Aplikacja nie będzie pobierała podstron jeśli podamy adres podstrony serwisu pobierze z takiej strony proxy i będzie ją sprawdzać co ustalony czas. Nie należy przesadzać z ilością źródeł.

Jak pozyskiwać źródła do programu ?
Jeśli mamy już jakieś proxy działające czy to pod google czy anonimowe to bierzemy listę proxy dodajemy na początku i końcu cudzysłów na przykład „IP:PORT” i robimy harvestowanie w Google lub innej wyszukiwarce jeśli harvestujemy w Google to najlepiej szukać w wynikach z ostatnich 24godzin uzyskujemy najlepsze wyniki. Następnie wyniki obcinamy do głównej domeny, pobieżnie sprawdzamy jakość źródeł (usuwamy nie potrzebne) lub wrzucamy wszystko jak mamy do programu im więcej źródeł na których jest bardzo dużo linków do innych podstron tym dłużej program będzie pobierał proxy ze źródeł. Więc należy nie przesadzać z ilością i częstotliwością pobierania danych ze stron.

 Źródła zarządzaj

zrodlaZestawienie źródeł z których pobierane są proxy opis kolumn

Pobrano: najczęściej znajduję się tam data ostatniego pobrania liczba w nawiasach pokazuje ilość do pobrania podstron z danej strony, mogą pojawiać się w tej kolumnie także komunikaty takie jak: Źródło nie działa lub Brak proxy.

Ilość: ilość proxy dodanych z danego źródła (dane te są aktualizowane raz na godzinę) i obliczane po podstawie wszystkich źródeł i podstron danego źródła.

Google OK i Http OK: ilość dobrych proxy pod Google i http (dane te są aktualizowane raz na godzinę) i obliczane po podstawie wszystkich źródeł i podstron danego źródła.

Pakiety API dodaj

dodajapiDodawanie pakietów API umożliwia nam skonfigurowanie dowolnego pakietu z proxy dostosowanych do różnych działań na przykład tylko proxy działające dla google z geolokalizacji USA. Ilość proxy w pakiecie, rotacja proxy co ile mają być losowane nowe proxy dla danego pakietu. Oraz możliwość przypisania pakietu tylko dla konkretnego IP z którego będzie można odczytać dane.

Typ proxy możemy sobie dowolnie konfigurować w katalogu sys znajduję się plik o nazwie pakiety.txt

Pierwszy człon przed średnikiem to jest nazwa pakietu
za średnikiem jest to zapytanie SQL klauzula WHERE
opis dla danych
proxy dla google kolumna google
1 – proxy działa
0 – proxy nie działa

można dodać jeszcze czy proxy mają być dodane do pakietu jeśli skrypt wykonał więcej dobrych zapytań  kolumna ok ilość dobrych zapytań kolumna bad ilość błędnych zapytań z tego proxy. ( ta metoda działa tylko dla proxy google)

proxy http, a, ha
0- nie działa
1 – działa jako http200
2 – działa jako http200 i jest anonimowe
3 – działa jako http200 i jest wysoce anonimowe

apilinkPo skonfigurowaniu pakietu otrzymujemy unikalny link do danego pakietu od tej porty możemy zdalnie pobierać proxy bez logowania się do systemu. Taki link można dodać do aplikacji aby automatycznie pobierały świeże i działające proxy dla odpowiedniego programu na przykład do monitorowania parametru site w Google, PageRank lub monitorowania pozycji.

Pakiety API zarządzanie

apizarzadzajTutaj za wiele nie trzeba pisać, zestawienie wszystkich pakietów z API które znajdują się w systemie. Możemy wyszukać, edytować oraz usunąć dany pakiet.

 Ustawienia

ustawieniaUstawienia to chyba najważniejsza zakładka aplikacji od ustawienia zależy czy cały system będzie pracował stabilnie. Widoczne dane na zrzucie ekranu pozwalają na optymalną pracę aplikacji i nie obciążanie serwera. (Wyniki jakie uzyskuję około 200-400 proxy google, 2-3 tysiące proxy http)

Zostaw komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *