当前位置:首页 > 后端开发 > 解决jsoup抓取https问题

解决jsoup抓取https问题

6个月前 (05-21)46

在执行抓取之前让我们的站点信任所有站点,不需要引包,系统自带ssl证书校验

import javax.net.ssl.*;
import java.security.SecureRandom;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;

public class HttpsUtil {

    /**
     * 信任任何站点,实现https页面的正常访问
     *
     */

    public static void trustEveryone() {
        try {
            HttpsURLConnection.setDefaultHostnameVerifier(new HostnameVerifier() {
                public boolean verify(String hostname, SSLSession session) {
                    return true;
                }
            });

            SSLContext context = SSLContext.getInstance("TLS");
            context.init(null, new X509TrustManager[] { new X509TrustManager() {
                public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                }

                public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                }

                public X509Certificate[] getAcceptedIssuers() {
                    return new X509Certificate[0];
                }
            } }, new SecureRandom());
            HttpsURLConnection.setDefaultSSLSocketFactory(context.getSocketFactory());
        } catch (Exception e) {
            // e.printStackTrace();
        }
    }
}

作者:鱿鱼ing
来源链接:https://blog.csdn.net/qq_30831935/article/details/94299220

标签: HTTPS

“解决jsoup抓取https问题” 的相关文章

HTTPS协议详解(一):HTTPS基础知识

HTTPS协议详解(一):HTTPS基础知识

本文大部分内容摘自: http://www.wosign.com/faq/faq2016-0309-01.htm 尊重知识产权, 转载注明 Wos...

图解 https 单向认证和双向认证!

图解 https 单向认证和双向认证!

来源: 一、Http HyperText Transfer Protocol,超文本传输协议,是互联网上使用最广泛的一种协议,所有WWW文件必须遵循的标准。HTTP协议传输的...

http网页是否能引用https资源/调用https接口?https网页是否能引用http资源/调用http接口?

http网页是否能引用https资源/调用https接口?https网页是否能引用http资源/调用http接口?

http网页引用https资源 -> 可以 http网页调用https接口 -> 可以 https网页引用http资源 ->...

最简单的Charles抓包https教程

最简单的Charles抓包https教程

这里介绍charles抓包教程,亲测可行 一、背景 对于我司app都是使用的https网络请求,但开发中需要...

c#中https通讯如何添加证书

c#如何在https在通讯中需要添加证书密码 public static class HTTPS { // byte[]...

Tomcat9使用免费的Https证书加密网站

Tomcat9使用免费的Https证书加密网站

本文第二部分介绍如果获取免费的证书,第三部分介绍如何用已有的证书在Tomcat中配置,使得Https能够运作,最后一部分介绍,如何在浏览器中输入地址,自动由Http转发到Https上,有...

HTTPS具体流程

HTTPS具体流程

【前两天被同学问到了这个问题,结果自己答成了三握...炒鸡尴尬,所以特此学习记录一下】 三次握手是建立TCP可靠通信的~ HTTPS通信流程环节...

HTTP和HTTPS详解

HTTP和HTTPS详解

转载自掘金本文链接地址: HTTP和HTTPS详解 计算机通信原理 互联网的关键技术就是TCP/IP协议。两台计算机之间的通信是...

浅谈HTTP和HTTPS的区别

这篇随笔我们从六个步骤来学习:   1、了解HTTP和HTTPS的基本概念   2、HTTPS诞生的目的   3、HTTP与HTTPS的区别   4、HTTP和H...

haproxy反向代理环境部署(http和https代理)

haproxy反向代理环境部署(http和https代理)

  操作背景:前方有一台haproxy代理机器(115.100.120.57/192.168.1.7),后方两台realserver机器(192.168.1.150、19...