84669 Lernen von Personen
152542 Lernen von Personen
20005 Lernen von Personen
5487 Lernen von Personen
7821 Lernen von Personen
359900 Lernen von Personen
3350 Lernen von Personen
180660 Lernen von Personen
48569 Lernen von Personen
18603 Lernen von Personen
40936 Lernen von Personen
1549 Lernen von Personen
1183 Lernen von Personen
32909 Lernen von Personen
请问此类网站抓取内容时,和没开启viewstate有何区别?现在是不清楚抓取开启viewstate的网站的正确步骤,请大神指导
业精于勤,荒于嬉;行成于思,毁于随。
正好做过这个,我来说说我的解决办法。
首先,你需要明白你要做什么,告诉服务器你的身份,许多ASP.NET都会有_viewstate这个超长的字符串。它在服务器端会进行验证.那么,你在构造request的时候,必须获得这个viewstate。其实很简单:1 首先请求url,保存cookie,此时你能拿到这个page的data,用正则匹配到hidden的viewstate保存。2 携带cookie请求验证码(如果有),拿到后解析验证码(人工或者机器识别)3 携带cookie和登陆凭据模拟登陆
记住一点,viewstate是对同一个cookie有效的,也就是说,你如果在网页打开,copy下来那个字符串的,它将仍旧无法工作,除非你连同cookie都copy下来。
需要注意的是,有些参数是js自动生成的,譬如我遇到的,讲验证码用某个js加密后,作为一个hidden,你在普通的抓取回来的page里面,无法看到,这时候,你得自己实现这个加密过程。保证在同一个cookie的环境下,把服务器需要的所有数据全部提供就可以成功!
正好做过这个,我来说说我的解决办法。
首先,你需要明白你要做什么,告诉服务器你的身份,许多ASP.NET都会有_viewstate这个超长的字符串。它在服务器端会进行验证.那么,你在构造request的时候,必须获得这个viewstate。其实很简单:
1 首先请求url,保存cookie,此时你能拿到这个page的data,用正则匹配到hidden的viewstate保存。
2 携带cookie请求验证码(如果有),拿到后解析验证码(人工或者机器识别)
3 携带cookie和登陆凭据模拟登陆
记住一点,viewstate是对同一个cookie有效的,也就是说,你如果在网页打开,copy下来那个字符串的,它将仍旧无法工作,除非你连同cookie都copy下来。
需要注意的是,有些参数是js自动生成的,譬如我遇到的,讲验证码用某个js加密后,作为一个hidden,你在普通的抓取回来的page里面,无法看到,这时候,你得自己实现这个加密过程。保证在同一个cookie的环境下,把服务器需要的所有数据全部提供就可以成功!