Rotating proxy для Xevil : что это такое, как применить и как обойти бан.

Приветствую!

Сегодня речь пойдет о rotating proxy, что это такое, где взять и как правильно использовать в Xevil и Hrefer.

Любители видеоинструкций могут посмотреть — любители читать, читают ниже.

Rotating proxy — это такой вид прокси, который при каждом запросе меняет внешний IP, т.е. указав в софте один IP, например 127.0.0.1:23000, на выходе будет случайный.

Live demo на примере wget, с помощью которого мы запрашиваем свой внешний адрес у сервиса http://ifconfig.co не меняя прокси выглядит так (стрелкой отмечен IP отдаваемый сервисом, ну и сам адрес прокси я затер)

Однако у таких проксей есть серьезный минус, который ограничивает их сферу применения, и как следствие — не все провайдеры прокси предоставляют  такую опцию — использование Rotating proxy их для серфинга очент проблематично т.к. реальный браузер открывает кучу соединений и в результате все ресурсы такие как CSS, скрипты и картинки будут тоже загружены через прокси, причем в нашем случае через разные. А вот для для случаев, когда нужно послать один запрос, например при парсинге, или, как выяснилось при распознавании капчей — такое решение в самый раз, т.к. Xevil обновлять прокси автоматом по ссылке не умеет 🙁 и постепенно списки протухают.

Например на основом рабочем сервере у меня вышла такая картина (это примерно 20 дней работы)

Однако не торопитесь бежать и вставлять прокси в Xevil т.к. есть один важный ньюанс, который может похоронить идею на корню — если прокси оказался плохой, то в процессе работы он будет забанен на 30 минут, но т.к. адрес прокси у нас один — то работа программы станет невозможной, т.к. все прокси в виде одного 🙂 будут забанены!

Обойти это ограничение несложно, достаточно поставить права «только для чтения» для файла «Modules\ReCaptcha2\BannedProxies.csv» и проблема будет решена.

Правда это вызывает ошибку Xevil при закрытии, но на работоспособности программы это не сказывается.

Аналогичным образом такие прокси можно использовать в Hrefer или каких то других программах-парсерах.

P.S. Я беру прокси у этих ребят — у них есть несколько пакетов и более 70,000 проксей, самый дешевый пакет на текущий момент стоит $14.00 и нем можно использовать 10 соединений одновременно — более чем достаточно если у вас не очень мощный компьютер.

2 thoughts on “Rotating proxy для Xevil : что это такое, как применить и как обойти бан.”

Добавить комментарий для Иван Отменить ответ

Ваш e-mail не будет опубликован.