403 Forbidden with Java but Not Web Browser:解决 Google 搜索问题
尽管在网络浏览器中成功检索搜索结果,但遇到尝试使用 Java 程序获取 Google 搜索数据时出现 403 Forbidden 错误可能会令人费解。根本原因在于 Java 请求中缺少用户代理信息。
要解决此问题,需要通过设置“User-Agent”标头来模拟 Web 浏览器的行为:
URLConnection connection = new URL("https://www.google.com/search?q=" + query).openConnection(); connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"); connection.connect();
此标头指示服务器将请求视为源自 Web 浏览器,从而防止出现 403 错误。值得注意的是,SSL 处理是自动处理的。
但是,使用 Java 检索结果量需要进一步的步骤。需要获取cookie并解析重定向令牌链接:
String cookie = connection.getHeaderField("Set-Cookie").split(";")[0]; Pattern pattern = Pattern.compile("content=\\"0;url=(.*?)\\""); Matcher m = pattern.matcher(response); if (m.find()) { String url = m.group(1); connection = new URL(url).openConnection(); connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"); connection.setRequestProperty("Cookie", cookie); connection.connect(); r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8"))); sb = new StringBuilder(); while ((line = r.readLine()) != null) { sb.append(line); } response = sb.toString(); pattern = Pattern.compile("<div>
执行整个代码块会得到2930000000L的结果,表示搜索结果的数量。
以上是为什么我的 Java Google 搜索程序会出现 403 禁止错误,但在 Web 浏览器中却不会?的详细内容。更多信息请关注PHP中文网其他相关文章!