首页 > Java > java教程 > 为什么我的 Java Google 搜索程序会出现 403 禁止错误,但在 Web 浏览器中却不会?

为什么我的 Java Google 搜索程序会出现 403 禁止错误,但在 Web 浏览器中却不会?

Mary-Kate Olsen
发布: 2024-12-21 09:17:10
原创
120 人浏览过

Why Do I Get a 403 Forbidden Error with My Java Google Search Program, But Not in My Web Browser?

403 Forbidden with Java but Not Web Browser:解决 Google 搜索问题

尽管在网络浏览器中成功检索搜索结果,但遇到尝试使用 Java 程序获取 Google 搜索数据时出现 403 Forbidden 错误可能会令人费解。根本原因在于 Java 请求中缺少用户代理信息。

要解决此问题,需要通过设置“User-Agent”标头来模拟 Web 浏览器的行为:

URLConnection connection = new URL("https://www.google.com/search?q=" + query).openConnection();
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11");
connection.connect();
登录后复制

此标头指示服务器将请求视为源自 Web 浏览器,从而防止出现 403 错误。值得注意的是,SSL 处理是自动处理的。

但是,使用 Java 检索结果量需要进一步的步骤。需要获取cookie并解析重定向令牌链接:

String cookie = connection.getHeaderField("Set-Cookie").split(";")[0];
Pattern pattern = Pattern.compile("content=\\"0;url=(.*?)\\"");
Matcher m = pattern.matcher(response);
if (m.find()) {
    String url = m.group(1);
    connection = new URL(url).openConnection();
    connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11");
    connection.setRequestProperty("Cookie", cookie);
    connection.connect();
    r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8")));
    sb = new StringBuilder();
    while ((line = r.readLine()) != null) {
        sb.append(line);
    }
    response = sb.toString();
    pattern = Pattern.compile("<div>
登录后复制

执行整个代码块会得到2930000000L的结果,表示搜索结果的数量。

以上是为什么我的 Java Google 搜索程序会出现 403 禁止错误,但在 Web 浏览器中却不会?的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板