Приветствую!
Сегодня речь пойдет о rotating proxy, что это такое, где взять и как правильно использовать в Xevil и Hrefer.
Любители видеоинструкций могут посмотреть — любители читать, читают ниже.
Rotating proxy — это такой вид прокси, который при каждом запросе меняет внешний IP, т.е. указав в софте один IP, например 127.0.0.1:23000, на выходе будет случайный.
Live demo на примере wget, с помощью которого мы запрашиваем свой внешний адрес у сервиса http://ifconfig.co не меняя прокси выглядит так (стрелкой отмечен IP отдаваемый сервисом, ну и сам адрес прокси я затер)
Однако у таких проксей есть серьезный минус, который ограничивает их сферу применения, и как следствие — не все провайдеры прокси предоставляют такую опцию — использование Rotating proxy их для серфинга очент проблематично т.к. реальный браузер открывает кучу соединений и в результате все ресурсы такие как CSS, скрипты и картинки будут тоже загружены через прокси, причем в нашем случае через разные. А вот для для случаев, когда нужно послать один запрос, например при парсинге, или, как выяснилось при распознавании капчей — такое решение в самый раз, т.к. Xevil обновлять прокси автоматом по ссылке не умеет 🙁 и постепенно списки протухают.
Например на основом рабочем сервере у меня вышла такая картина (это примерно 20 дней работы)
Однако не торопитесь бежать и вставлять прокси в Xevil т.к. есть один важный ньюанс, который может похоронить идею на корню — если прокси оказался плохой, то в процессе работы он будет забанен на 30 минут, но т.к. адрес прокси у нас один — то работа программы станет невозможной, т.к. все прокси в виде одного 🙂 будут забанены!
Обойти это ограничение несложно, достаточно поставить права «только для чтения» для файла «Modules\ReCaptcha2\BannedProxies.csv» и проблема будет решена.
Правда это вызывает ошибку Xevil при закрытии, но на работоспособности программы это не сказывается.
Аналогичным образом такие прокси можно использовать в Hrefer или каких то других программах-парсерах.
P.S. Я беру прокси у этих ребят — у них есть несколько пакетов и более 70,000 проксей, самый дешевый пакет на текущий момент стоит $14.00 и нем можно использовать 10 соединений одновременно — более чем достаточно если у вас не очень мощный компьютер.
re-proxies.pw тут беру прокси, по работе радуют на больших объемах