技术标签: java对https抓包 http/https代理服务器开发 手写一个http代理服务器 java入门学习 https握手过程 java https代理服务器
最近在调试一个项目时常常需要对接口进行抓包查看,接口位于微信的公众号内,目前每次调试时都是用的 fiddler进行抓包查看的。但每次打开fiddler去查看对应的接口并找到对应的参数感觉还是有点复杂,正好今天是周末,打算自己来研究下它的原理并自己通过java来写一个(之所以知道java可以实现这个功能是因为著名的web安全检测工具 burpsuite 就是用java写的)
在使用fiddler或burpsuite时其抓包的原理都是通过代理服务器来实现的。fiddler或burpsuite通过自己创建一个代理服务器对需要拦截的socket请求进行一次中转,其过程有点像中间人的方式,从而可以实现对请求和响应的拦截和修改。
知道了原理后,那么通过JAVA编写一个用于转发socket的程序就可以实现请求的拦截了.
为了开发的方便与高效,这里采用netty框架来显示代理服务器的开发
本文需要的依赖包为:
<!-- https://mvnrepository.com/artifact/io.netty/netty-all --> <dependency> <groupId>io.netty</groupId> <artifactId>netty-all</artifactId> <version>4.1.42.Final</version> </dependency>
微信公众号内的接口目前全都是https的,直接开发https代理程序有一定难度,所以笔者决定在实现https的接口抓包之前还是先来搞定http的抓包拦截功能
在开发之前先梳理下思图:这里以谷歌浏览器访问百度网站为例,先画下其访问流程图
对于http请求无代理的情况其过程很简单,客户端向服务器发起请求,服务端响应此请求即可
由于http请求太过简单,其所有的数据传输也都是明文传输了。其最大的安全性是很容易受到中间人攻击(MITM)。与MITM类比,那么此处的http代理服务器也就是中间人了。作为中间人服务器,它对于客户端的请求可以进行拦截、查看、过滤、转发、篡改等,由代理服务器处理完毕后再决定是否转发给目标服务器。同时对于目标服务器的响应也由中间的代理服务器先进行处理一遍,再决定怎样传回给客户端。
如果用netty来实现http的代理服务器其主要代码如下:
public class HttpProxyHandler extends ChannelInboundHandlerAdapter implements IProxyHandler {
private Logger logger = LoggerFactory.getLogger(HttpProxyHandler.class);
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
logger.debug("[HttpProxyHandler]");
if (msg instanceof HttpRequest) {
HttpRequest httpRequest = (HttpRequest) msg;
//获取客户端请求
ClientRequest clientRequest = ProxyRequestUtil.getClientRequest(ctx.channel());
if (clientRequest == null) {
//从本次请求中获取
Attribute<ClientRequest> clientRequestAttribute = ctx.channel().attr(CLIENTREQUEST_ATTRIBUTE_KEY);
clientRequest = ProxyRequestUtil.getClientReuqest(httpRequest);
//将clientRequest保存到channel中
clientRequestAttribute.setIfAbsent(clientRequest);
}
//如果是connect代理请求,返回成功以代表代理成功
if (sendSuccessResponseIfConnectMethod(ctx, httpRequest.method().name())) {
logger.debug("[HttpProxyHandler][channelRead] sendSuccessResponseConnect");
ctx.channel().pipeline().remove("httpRequestDecoder");
ctx.channel().pipeline().remove("httpResponseEncoder");
ctx.channel().pipeline().remove("httpAggregator");
ReferenceCountUtil.release(msg);
return;
}
if (clientRequest.isHttps()) {
//https请求不在此处转发
super.channelRead(ctx, msg);
return;
}
sendToServer(clientRequest, ctx, msg);
return;
}
super.channelRead(ctx, msg);
}
/**
* 如果是connect请求的话,返回连接建立成功
*
* @param ctx ChannelHandlerContext
* @param methodName 请求类型名
* @return 是否为connect请求
*/
private boolean sendSuccessResponseIfConnectMethod(ChannelHandlerContext ctx, String methodName) {
if (Constans.CONNECT_METHOD_NAME.equalsIgnoreCase(methodName)) {
//代理建立成功
//HTTP代理建立连接
HttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, Constans.CONNECT_SUCCESS);
ctx.writeAndFlush(response);
return true;
}
return false;
}
@Override
public void sendToServer(ClientRequest clientRequest, ChannelHandlerContext ctx, Object msg) {
Bootstrap bootstrap = new Bootstrap();
bootstrap.group(ctx.channel().eventLoop())
// 注册线程池
.channel(ctx.channel().getClass())
// 使用NioSocketChannel来作为连接用的channel类
.handler(new ChannelInitializer<Channel>() {
@Override
protected void initChannel(Channel ch) throws Exception {
//添加接收远程server的handler
ch.pipeline().addLast(new HttpRequestEncoder());
ch.pipeline().addLast(new HttpResponseDecoder());
ch.pipeline().addLast(new HttpObjectAggregator(6553600));
//代理handler,负责给客户端响应结果
ch.pipeline().addLast(new HttpProxyResponseHandler(ctx.channel()));
}
});
//连接远程server
ChannelFuture cf = bootstrap.connect(clientRequest.getHost(), clientRequest.getPort());
cf.addListener(new ChannelFutureListener() {
@Override
public void operationComplete(ChannelFuture future) throws Exception {
if (future.isSuccess()) {
//连接成功
future.channel().writeAndFlush(msg);
logger.debug("[operationComplete] connect remote server success!");
} else {
//连接失败
logger.error("[operationComplete] 连接远程server失败了");
ctx.channel().close();
}
}
});
}
@Override
public void sendToClient(ClientRequest clientRequest, ChannelHandlerContext ctx, Object msg) {
}
}
上面的代码为转发部分的处理代码,其具体完整实现可以查看文末的github地址
对于http请求响应的处理代码为:
public class HttpProxyResponseHandler extends ChannelInboundHandlerAdapter {
private Logger logger = LoggerFactory.getLogger(HttpProxyResponseHandler.class);
private Channel clientChannel;
public HttpProxyResponseHandler(Channel clientChannel) {
this.clientChannel = clientChannel;
}
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
if (msg instanceof FullHttpResponse) {
FullHttpResponse response = (FullHttpResponse) msg;
logger.debug("[channelRead][FullHttpResponse] 接收到远程的数据1 content:{}", response.content().toString(Charset.defaultCharset()));
} else if (msg instanceof DefaultHttpResponse) {
DefaultHttpResponse response = (DefaultHttpResponse) msg;
logger.debug("[channelRead][FullHttpResponse] 接收到远程的数据 content:{}", response.toString());
} else if (msg instanceof DefaultHttpContent) {
DefaultHttpContent httpContent = (DefaultHttpContent) msg;
logger.debug("[channelRead][DefaultHttpContent] 接收到远程的数据 content:{}", httpContent.content().toString(Charset.defaultCharset()));
} else {
logger.debug("[channelRead] 接收到远程的数据 " + msg.toString());
}
//发送给客户端
clientChannel.writeAndFlush(msg);
}
}
https的请求相对于http的请求流程稍微复杂一点,目前的浏览器主要采用tls1.2版本和tls1.3版本,在开发https的代理之前,先看一下https采用tls1.2的握手过程是怎么样的
其过程可以通过wireshark抓包进行分析
通过tls and ip.addr=[目录ip]对https通信过程中的数据进行过滤
以下为我分析的https中使用的tls1.2版本客户端与服务端的握手过程简要分析,其中参数了一些大牛的文章
这其中的知识点比较多,如感兴趣可以仔细看下上面我在梳理过程中所画的时序图,如想深入研究可以进入上方的链接进行深入学习。
我的理解后,其主要就是这样的:CA保证了通信双方的身份的真实性,基于公私钥交换确保了通信过程中的安全性
回到本文主题,那么想要对https请求进行代理应该如何实现呢?
在了解了https的通信过程后,那么我们有两种办法可以对https的请求进行代理:
通过分析后我们可以知道,想要获取到ca根证书的私钥是不太可能的,据说ca根证书都是离线存储的,一般人拿不到的(一个https证书一年收费上千块不是开玩笑的),ca的代理机构的证书也是这个道理。
那么通过上面的再次分析后通过方案1来进行请求代理的可行性还高一些,其代理过程可以简单如下图:
在分析过后并自己画一个流程图后对于https的代理实现流程清晰多了,其实目前市面上的许多支持https的代理软件都是采用的这种方式来实现的,无论是常见的抓包利器fidder还是大名鼎鼎的安全测试工具BurpSuite都是基于此种方式来做的实现
在有了上面的分析后,其实想要自己去实现一个https的代理服务器还是有一定难度的,https握手的细节实现就足以让人费事费力了。但在同样大名鼎鼎的netty框架面前这些都是小事儿!netty中的SslContext类帮我们完成了这些细节的实现,我们只管如何调用它遍可完成对https的握手了,框架就是框架,强大哇!
由于时间关系,对于其实现的具体代码这里不做详细分析了,我已把代码提交到github上了.
其具体的实现可以参考源码:https://github.com/puhaiyang/easyHttpProxy
为了使用的方便,我也将此项目上传到了maven公网,其maven为:
<dependency>
<groupId>com.github.puhaiyang</groupId>
<artifactId>easy-http-proxy</artifactId>
<version>0.0.1</version>
</dependency>
使用时添加依赖包后,调用
EasyHttpProxyServer.getInstace().start(6667);
即可,其中6667为代理服务器监听的端口号,目前已支持了http/https并针对其他请求直接进行转发.
如果不想自己生成证书,记得将jar包中的ca.crt、ca.key、ca_private.der拷贝的项目的运行根目录下,即classes path下,要不然https代理时会找不到ca根证书会出错。
同时,记得将ca.crt导入到根证书
具体步骤可见此截图:
欢迎留言评论,共同学习共同进步!
文章浏览阅读606次。为什么80%的码农都做不了架构师?>>> ..._google trace batch job
文章浏览阅读2.6k次,点赞3次,收藏3次。'''题目描述1、对输入的字符串进行加解密,并输出。2加密方法为:当内容是英文字母时则用该英文字母的后一个字母替换,同时字母变换大小写,如字母a时则替换为B;字母Z时则替换为a;当内容是数字时则把该数字加1,如0替换1,1替换2,9替换0;其他字符不做变化。s'''#-*-coding:utf-8-*-importre#判断是否是字母defisLetter(letter):iflen..._编写函数fun2实现字符串加密,加密规则为:如果是字母,将其进行大小写转换;如果
文章浏览阅读4.4k次,点赞6次,收藏8次。下面列出了所有集合的类图:每个接口做的事情非常明确,比如 Serializable,只负责序列化,Cloneable 只负责拷贝,Map 只负责定义 Map 的接口,整个图看起来虽然接口众多,但职责都很清晰;复杂功能通过接口的继承来实现,比如 ArrayList 通过实现了 Serializable、Cloneable、RandomAccess、AbstractList、List 等接口,从而拥有了序列化、拷贝、对数组各种操作定义等各种功能;上述类图只能看见继承的关系,组合的关系还看不出来,比如说_迭代器是否可以保证容器删除和修改安全操作
在科技金融、绿色金融、普惠金融、养老金融、数字金融这“五篇大文章”中,养老金融以其独特的社会价值和深远影响,占据着不可或缺的地位。通过政策引导与市场机制的双重驱动,激发金融机构创新养老服务产品,如推出更多针对不同年龄层、风险偏好的个性化养老金融产品,不仅能提高金融服务的可获得性,还能增强民众对养老规划的主动参与度,从而逐步建立起适应中国国情、满足人民期待的养老金融服务体系。在人口老龄化的全球趋势下,中国养老金融的发展不仅仅是经济议题,更关乎社会的稳定与进步。养老金融:民生之需,国计之重。
在需要使用图片的地方使用下面的代码,注意xib可以直接设置图片。将相应的图片资源文件放到bundle文件中。
文章浏览阅读3.6k次,点赞4次,收藏66次。目录九、多元统计分析介绍九、多元统计分析介绍_r语言多元统计分析
文章浏览阅读623次。MATLAB课程设计-基于PSK和DPSK的matlab仿真 (41页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦!9.90 积分武汉理工大学MATLAB课程设计.目录摘要 1Abstract 21.设计目的与要求 32.方案的选择 42.1调制部分 42.2解调部分 43.单元电路原理和设计 63.1PCM编码原理及设计 63.1.1PCM编码原理 ..._通信原理课程设计(基于matlab的psk,dpsk仿真)(五篇模版)
文章浏览阅读3.5k次,点赞6次,收藏28次。腾讯微搭小程序获取微信用户信息无论你对低代码开发的爱与恨, 微信生态的强大毋庸置疑. 因此熟悉微搭技术还是很有必要的! 在大多数应用中, 都需要获取和跟踪用户信息. 本文就微搭中如何获取和存储用户信息进行详细演示, 因为用户信息的获取和存储是应用的基础.一. 微搭每个微搭平台都宣称使用微搭平台可以简单拖拽即可生成一个应用, 这种说法我认为是"夸大其词". 其实微搭优点大致来说, 前端定义了很多组件, 为开发人员封装组件节省了大量的时间,这是其一; 其二对后端开发来说, 省去了服务器的部署(并没有省去后_微搭 用微信号登录
sql中索引的使用分析
文章浏览阅读8.9k次,点赞16次,收藏108次。因为呢,termux作者,不希望让termux变成脚本小子的黑客工具,于是把msf , sqlmap等包删了。至于如何安装metasploit呢。apt update -y && apt upgrade -y #更新升级更新升级之后要安装一个叫 git 的安装包apt install git -y然后我们就开始//这里的话建议把手机放到路由器旁边,保持网络的优良。或者科学上网。//git clone https://github.com/gushmazuko/metaspl_termux安装metasploit
文章浏览阅读141次。一、Docker支持4种网络模式Bridge(默认)--network默认网络,Docker启动后创建一个docker0网桥,默认创建的容器也是添加到这个网桥中;IP地址段是172.17.0.1/16 独立名称空间 docker0桥,虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。host容器不会获得一个独立的network namespace,而是与宿主..._armbian 172.17.0.1
Ansible-Tower安装破解。