Tout d'abord, open fiddler est un artefact de capture de paquets http/https, je ne le présenterai donc pas ici.
Configurer pour autoriser https
Configurer pour autoriser les connexions à distance, c'est-à-dire ouvrir le proxy http
IP de l'ordinateur : 192.168.1.110
Assurez-vous ensuite que le téléphone et l'ordinateur sont dans un réseau local et peuvent communiquer. Comme je n'ai pas de téléphone Android ici, j'ai utilisé un émulateur Android à la place, et l'effet est le même.
Ouvrez le navigateur mobile et entrez 192.168.1.110:8888, qui est l'adresse proxy définie. Ce n'est qu'après avoir installé le certificat que vous pourrez capturer les paquets
Après. en installant le certificat, les paramètres WiFi modifient le réseau et spécifient manuellement le proxy http
Après l'enregistrement, le violoniste peut capturer les données de l'application Open Kuaishou et vous pouvez voir qu'il y en a. de nombreuses requêtes http. Entrez, l'adresse générale de l'interface et autres sont très évidentes. Vous pouvez voir qu'il s'agit d'une requête de publication http de type json
. json. Après expansion, on constate qu'il y en a 20 au total. Pour les informations vidéo, assurez-vous d'abord qu'elles sont correctes et recherchez un lien vidéo.
Ensuite, ouvrez Postman pour tester, si soumis en mode formulaire-données, une erreur sera signalée
Modifier à brut
Le message d'erreur est différent Essayez d'ajouter des en-têtes
Les données sont renvoyées avec succès. plus de fois et constatez qu'à chaque fois, les résultats renvoyés sont différents.
Commençons le code
# -*-coding:utf-8-*- # author : Corleone import urllib2,urllib import json,os,re,socket,time,sys import Queue import threading import logging # 日志模块 logger = logging.getLogger("AppName") formatter = logging.Formatter('%(asctime)s %(levelname)-5s: %(message)s') console_handler = logging.StreamHandler(sys.stdout) console_handler.formatter = formatter logger.addHandler(console_handler) logger.setLevel(logging.INFO) video_q = Queue.Queue() # 视频队列 def get_video(): url = "http://101.251.217.210/rest/n/feed/hot?app=0&lon=121.372027&c=BOYA_BAIDU_PINZHUAN&sys=ANDROID_4.1.2&mod=HUAWEI(HUAWEI%20C8813Q)&did=ANDROID_e0e0ef947bbbc243&ver=5.4&net=WIFI&country_code=cn&iuid=&appver=5.4.7.5559&max_memory=128&oc=BOYA_BAIDU_PINZHUAN&ftt=&ud=0&language=zh-cn&lat=31.319303 " data = { 'type': 7, 'page': 2, 'coldStart': 'false', 'count': 20, 'pv': 'false', 'id': 5, 'refreshTimes': 4, 'pcursor': 1, 'os': 'android', 'client_key': '3c2cd3f3', 'sig': '22769f2f5c0045381203fc57d1b5ad9b' } req = urllib2.Request(url) req.add_header("User-Agent", "kwai-android") req.add_header("Content-Type", "application/x-www-form-urlencoded") params = urllib.urlencode(data) try: html = urllib2.urlopen(req, params).read() except urllib2.URLError: logger.warning(u"网络不稳定 正在重试访问") html = urllib2.urlopen(req, params).read() result = json.loads(html) reg = re.compile(u"[\u4e00-\u9fa5]+") # 只匹配中文 for x in result['feeds']: try: title = x['caption'].replace("\n","") name = " ".join(reg.findall(title)) video_q.put([name, x['photo_id'], x['main_mv_urls'][0]['url']]) except KeyError: pass def download(video_q): path = u"D:\快手" while True: data = video_q.get() name = data[0].replace("\n","") id = data[1] url = data[2] file = os.path.join(path, name + ".mp4") logger.info(u"正在下载:%s" %name) try: urllib.urlretrieve(url,file) except IOError: file = os.path.join(path, u"神经病呀"+ '%s.mp4') %id try: urllib.urlretrieve(url, file) except (socket.error,urllib.ContentTooShortError): logger.warning(u"请求被断开,休眠2秒") time.sleep(2) urllib.urlretrieve(url, file) logger.info(u"下载完成:%s" % name) video_q.task_done() def main(): # 使用帮助 try: threads = int(sys.argv[1]) except (IndexError, ValueError): print u"\n用法: " + sys.argv[0] + u" [线程数:10] \n" print u"例如:" + sys.argv[0] + " 10" + u" 爬取视频 开启10个线程 每天爬取一次 一次2000个视频左右(空格隔开)" return False # 判断目录 if os.path.exists(u'D:\快手') == False: os.makedirs(u'D:\快手') # 解析网页 logger.info(u"正在爬取网页") for x in range(1,100): logger.info(u"第 %s 次请求" % x) get_video() num = video_q.qsize() logger.info(u"共 %s 视频" %num) # 多线程下载 for y in range(threads): t = threading.Thread(target=download,args=(video_q,)) t.setDaemon(True) t.start() video_q.join() logger.info(u"-----------全部已经爬取完成---------------") main()
Test
Le téléchargement multithread télécharge environ 2000 vidéos à chaque fois et télécharge vers D par défaut : Kuaishou
Recommandations associées : "Tutoriel vidéo Python"
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!