写在前面:本文的主旨为分析Scrcpy大致原理,因此对于细节部分就不予深究,本文的Scrcpy版本基于1.22。
Scrcpy(screen copy)是免费开源的投屏软件,即可以将手机画面投至电脑,并可直接借助鼠标在投屏窗口中进行交互和录制。
Scrcpy的架构为C/S架构,其中Client为PC端运行的软件,Server为安卓手机运行的软件。Client和Server之间借助ADB进行通信,通信原理如下图所示:
LocalSocketLocalSocket是基于UNIX-domain Socket的,UNIX-domain Socket是在Socket的基础上衍生出来的一种IPC通信机制,因此LocalSocket解决的是同一台主机上不同进程间互相通信的问题。其相对于网络通信使用的socket不需要经过网络协议栈,不需要打包拆包、计算校验,自然的执行效率也高。与大名鼎鼎的binder机制作用一样,都在Android系统中作为IPC通信手段被广泛使用。
可能有的观众看到上图的通信方式后会感觉很奇怪,为什么Scrcpy要绕这么一大圈来建立通信,而不是直接让Client通过Socket连接Server呢?其实原因很简单,就是权限的问题,因为普通的APP想要到读取屏幕内容和自动控制必须获取无障碍服务或者Root权限,而我们在使用Scrcpy的时候这两个都没用到,那它是怎么做到的呢?
聪明的读者应该注意到了,ADB就是获取这个权限的关键,读者可以自行去了解ADB的相关知识。简言之,ADB的权限仅次于Root,因此我们需要使用ADB来启动Server端程序,让Server端程序能够不断的获取屏幕内容传给Client,并执行由Client传来的控制指令。
这里面其实还有一个难点,即Client如何与ADB连接?
adb forward的功能是建立一个转发,例如以下命令的意思是,ADB监听本地tcp的1111端口,并将收到的数据转发给到手机中的ADBD程序,然后ADBD将数据转发至手机tcp的2222端口。
adb forward tcp:1111 tcp:2222
但这样是不能工作的,如上图所述,ADBD和Server之间的通信需要是LocalSocket而不是TCP。当然,万能的ADB也是可以做到的,只需要输入如下命令即可让ADBD以LocalSocket的方式转发数据。
adb forward tcp:1111 localabstract:scrcpy
Server端是一个Java程序,由dalvik虚拟机执行,主要负责不断获取屏幕内容传输给Client,并执行由Client下发的控制指令,其Main函数位于Server.java中。接下来让我们从Main函数开始,逐步分析Server端的原理。
进入Main函数后,首先是参数解析,在createOptions函数中,我们可以看到Server程序所有的参数,这些参数的含义我们放到Client节分析。
...
322 Options options = createOptions(args);
...
从Main函数中走到scrcpy函数,在64行,获取设备的信息,如高度,宽度和设备名称等。
...
final Device device = new Device(options);
...
在73行,建立LocalSocket,并等待连接。
try (DesktopConnection connection = DesktopConnection.open(tunnelForward, control, sendDummyByte)) {
...
}
让我们深入DesktopConnection.open方法,在53行可以看到新建了LocalServerSocket,并在55行和62行等待连接。从变量名称就可以推断出,第一次建立的连接是用于传输屏幕数据的,第二次建立的连接是用于传输控制信息的。(有的读者可能会问,外面不是还包了个if-else吗,为什么不讲else?因为else中是Server主动连接,而不是接受连接,因此这里不进行深入。)
LocalServerSocket localServerSocket = new LocalServerSocket(SOCKET_NAME);
try {
videoSocket = localServerSocket.accept();
if (sendDummyByte) {
// send one byte so the client may read() to detect a connection error
videoSocket.getOutputStream().write(0);
}
if (control) {
try {
controlSocket = localServerSocket.accept();
} catch (IOException | RuntimeException e) {
videoSocket.close();
throw e;
}
}
} finally {
localServerSocket.close();
}
继续回到Server.java的73行,建立完成LocalSocket后,即向client发送设备名称,高度,宽度信息。
if (options.getSendDeviceMeta()) {
Size videoSize = device.getScreenInfo().getVideoSize();
connection.sendDeviceMeta(Device.getDeviceName(), videoSize.getWidth(), videoSize.getHeight());
}
深入到sendDeviceMeta方法,这里可以看到Server是以何种格式将数据发往Client的。
public void sendDeviceMeta(String deviceName, int width, int height) throws IOException {
byte[] buffer = new byte[DEVICE_NAME_FIELD_LENGTH + 4];
byte[] deviceNameBytes = deviceName.getBytes(StandardCharsets.UTF_8);
int len = StringUtils.getUtf8TruncationIndex(deviceNameBytes, DEVICE_NAME_FIELD_LENGTH - 1);
System.arraycopy(deviceNameBytes, 0, buffer, 0, len);
// byte[] are always 0-initialized in java, no need to set '\0' explicitly
buffer[DEVICE_NAME_FIELD_LENGTH] = (byte) (width >> 8);
buffer[DEVICE_NAME_FIELD_LENGTH + 1] = (byte) width;
buffer[DEVICE_NAME_FIELD_LENGTH + 2] = (byte) (height >> 8);
buffer[DEVICE_NAME_FIELD_LENGTH + 3] = (byte) height;
IO.writeFully(videoFd, buffer, 0, buffer.length);
}
回到Server.java的84行,建立一个控制器对象并启动。
final Controller controller = new Controller(device, connection, options.getClipboardAutosync());
// asynchronous
controllerThread = startController(controller);
deviceMessageSenderThread = startDeviceMessageSender(controller.getSender());
device.setClipboardListener(new Device.ClipboardListener() {
@Override
public void onClipboardTextChanged(String text) {
controller.getSender().pushClipboardText(text);
}
});
深入至startController函数,可以看到里面启动了一个线程,让其执行controller.control()方法,继续深入该方法,里面是一个死循环,执行handleEvent()方法,继续深入,在handleEvent()方法中就是获取控制信息并执行的部分了。命令的执行原理这里不予深究,感兴趣的读者自行研究,也不难。
private void handleEvent() throws IOException {
ControlMessage msg = connection.receiveControlMessage();
switch (msg.getType()) {
case ControlMessage.TYPE_INJECT_KEYCODE:
if (device.supportsInputEvents()) {
injectKeycode(msg.getAction(), msg.getKeycode(), msg.getRepeat(), msg.getMetaState());
}
break;
...
...
default:
// do nothing
}
}
在82行读取控制信息,让我们继续深入该方法。在117行,获取一条控制信息,若为空则表示控制信息全部执行完毕,readFrom开始从socket中读取下一次的控制信息至缓冲区。next为从缓冲区解析出一条控制信息,让我们深入next函数。
public ControlMessage receiveControlMessage() throws IOException {
ControlMessage msg = reader.next();
while (msg == null) {
reader.readFrom(controlInputStream);
msg = reader.next();
}
return msg;
}
在next函数中,从buffer中获取一个字节作为控制类型,每一个case对应一种类型。
public ControlMessage next() {
...
int type = buffer.get();
ControlMessage msg;
switch (type) {
case ControlMessage.TYPE_INJECT_KEYCODE:
msg = parseInjectKeycode();
break;
...
...
default:
Ln.w("Unknown event type: " + type);
msg = null;
break;
}
...
return msg;
}
以第一个TYPE_INJECT_KEYCODE为例,深入parseInjectKeycode()函数。至此,我们就可以推测出其具体的通信格式了。每一个控制类型都不一样,需要读者自行分析,但都大同小异。
privateControlMessage parseInjectKeycode() {
if (buffer.remaining() < INJECT_KEYCODE_PAYLOAD_LENGTH) {
return null;
}
int action = toUnsigned(buffer.get());
int keycode = buffer.getInt();
int repeat = buffer.getInt();
int metaState = buffer.getInt();
return ControlMessage.createInjectKeycode(action, keycode, repeat, metaState);
}
回到Server.java的100行,调用 screenEncoder.streamScreen() 函数,主线程开始不断发送屏幕数据至Client。让我们深入该函数,该函数调用了 internalStreamScreen() 方法,继续深入 internalStreamScreen() 方法,至此就是Server端的最后一个死循环了。
99行的encode方法的功能就是将读取屏幕数据并编码然后传输至Client,具体实现与MediaCodec、Surface、Binder等机制有关,这里不展开。
private void internalStreamScreen(Device device, FileDescriptor fd) throws IOException {
...
try {
do {
MediaCodec codec = createCodec(encoderName);
...
codec.start();
try {
alive = encode(codec, fd);
// do not call stop() on exception, it would trigger an IllegalStateException
codec.stop();
} catch (IllegalStateException e) {
...
} finally {
...
}
} while (alive);
} finally {
...
}
}
Scrcpy的Client端是一个C程序,使用SDL库构建跨平台图形化界面。和一切的C程序一样,让我们从main.c开始,首先是53行的scrcpy_options_default,这里面存储的是默认选项,其实现位于options.c文件中,读者可以自行查看。
int
main(int argc, char *argv[]) {
...
struct scrcpy_cli_args args = {
.opts = scrcpy_options_default,
.help = false,
.version = false,
};
...
bool ok = scrcpy(&args.opts);
...
return ok ? 0 : 1;
}
进入scrcpy函数,在334行sc_server_start()函数中连接Server,需要注意一下,327行的sc_server_on_connected()函数为后续连接成功时的回调函数。
bool
scrcpy(struct scrcpy_options *options) {
static struct scrcpy scrcpy;
struct scrcpy *s = &scrcpy;
...
static const struct sc_server_callbacks cbs = {
.on_connection_failed = sc_server_on_connection_failed,
.on_connected = sc_server_on_connected,
.on_disconnected = sc_server_on_disconnected,
};
...
if (!sc_server_start(&s->server)) {
goto end;
}
...
return ret;
}
进入sc_server_start()函数,该函数创建了一下线程执行run_server()函数,深入run_server()函数,722行的push_server()就是将Server端Java程序通过ADB命令传输至Android中,其执行的shell命令如下:
adb push ./scrcpy-server /data/local/tmp/scrcpy-server.jar
在run_server()函数的734行,execute_server()函数就是启动Server端Java程序,里面涉及很多参数,读者可以参考6.1中的内容。默认情况下,则其执行的shell命令如下(SCRCPY_VERSION 在本文中为1.22):
adb shell CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process / com.genymobile.scrcpy.Server SCRCPY_VERSION log_level=info bit_rate=8000000 tunnel_forward=true
若使用javacv中的FFmpegFrameGrabber,则需要再添加以下参数,否则会传输视频时会出现错误,最好再加上锁定屏幕方向,防止传输的视频宽高突然变化:
lock_video_orientation=0 send_frame_meta=false encoder_name=OMX.qcom.video.encoder.avc
在run_server()函数的752行,sc_server_connect_to()函数就是通过Socket连接Server端程序,if中的是等待Server端连接,这里不予讨论。主要看else中的连接流程,首先通过connect_to_server()函数连接用于传输视频的socket,再连接传输控制信息的socket,其中connect_to_server()函数就是连接后读取一个字节验证是否连接成功,这里和5.2节中讨论的是一致的,就不继续深入了。
static bool
sc_server_connect_to(struct sc_server *server, struct sc_server_info *info) {
...
if (!tunnel->forward) {
...
} else {
...
video_socket = connect_to_server(server, attempts, delay, tunnel_host,
tunnel_port);
...
if (control) {
// we know that the device is listening, we don't need several
// attempts
control_socket = net_socket();
...
bool ok = net_connect_intr(&server->intr, control_socket,
tunnel_host, tunnel_port);
...
}
}
...
}
连接成功后,在run_server()函数的763行调用连接成功回调函数,即scrcpy.c中250行的sc_server_on_connected()函数,其主要为基于SDL图形库的事件和Server端程序进行交互,这里就不深入了。
通过本文的分析,能够对Scrcpy有一个总体的掌握,请读者们自行尝试手动启动Server端Java程序,并使用喜爱的编程语言进行连接,发送和接收数据。
adb forward tcp:5000 localabstract:scrcpy
adb push ./scrcpy-server /data/local/tmp/scrcpy-server.jar
adb shell CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process / com.genymobile.scrcpy.Server 1.22 log_level=info bit_rate=8000000 tunnel_forward=true lock_video_orientation=0 send_frame_meta=false encoder_name=OMX.qcom.video.encoder.avc
文章浏览阅读3.4k次,点赞8次,收藏42次。一、什么是内部类?or 内部类的概念内部类是定义在另一个类中的类;下面类TestB是类TestA的内部类。即内部类对象引用了实例化该内部对象的外围类对象。public class TestA{ class TestB {}}二、 为什么需要内部类?or 内部类有什么作用?1、 内部类方法可以访问该类定义所在的作用域中的数据,包括私有数据。2、内部类可以对同一个包中的其他类隐藏起来。3、 当想要定义一个回调函数且不想编写大量代码时,使用匿名内部类比较便捷。三、 内部类的分类成员内部_成员内部类和局部内部类的区别
文章浏览阅读118次。分布式系统要求拆分分布式思想的实质搭配要求分布式系统要求按照某些特定的规则将项目进行拆分。如果将一个项目的所有模板功能都写到一起,当某个模块出现问题时将直接导致整个服务器出现问题。拆分按照业务拆分为不同的服务器,有效的降低系统架构的耦合性在业务拆分的基础上可按照代码层级进行拆分(view、controller、service、pojo)分布式思想的实质分布式思想的实质是为了系统的..._分布式系统运维工具
文章浏览阅读174次。1.数据源准备2.数据处理step1:数据表处理应用函数:①VLOOKUP函数; ② CONCATENATE函数终表:step2:数据透视表统计分析(1) 透视表汇总不同渠道用户数, 金额(2)透视表汇总不同日期购买用户数,金额(3)透视表汇总不同用户购买订单数,金额step3:讲第二步结果可视化, 比如, 柱形图(1)不同渠道用户数, 金额(2)不同日期..._exce l趋势分析数据量
文章浏览阅读3.3k次。堡垒机可以为企业实现服务器、网络设备、数据库、安全设备等的集中管控和安全可靠运行,帮助IT运维人员提高工作效率。通俗来说,就是用来控制哪些人可以登录哪些资产(事先防范和事中控制),以及录像记录登录资产后做了什么事情(事后溯源)。由于堡垒机内部保存着企业所有的设备资产和权限关系,是企业内部信息安全的重要一环。但目前出现的以下问题产生了很大安全隐患:密码设置过于简单,容易被暴力破解;为方便记忆,设置统一的密码,一旦单点被破,极易引发全面危机。在单一的静态密码验证机制下,登录密码是堡垒机安全的唯一_horizon宁盾双因素配置
文章浏览阅读7.7k次,点赞4次,收藏16次。Chrome作为一款挺不错的浏览器,其有着诸多的优良特性,并且支持跨平台。其支持(Windows、Linux、Mac OS X、BSD、Android),在绝大多数情况下,其的安装都很简单,但有时会由于网络原因,无法安装,所以在这里总结下Chrome的安装。Windows下的安装:在线安装:离线安装:Linux下的安装:在线安装:离线安装:..._chrome linux debian离线安装依赖
文章浏览阅读153次。中国发达城市榜单每天都在刷新,但无非是北上广轮流坐庄。北京拥有最顶尖的文化资源,上海是“摩登”的国际化大都市,广州是活力四射的千年商都。GDP和发展潜力是衡量城市的数字指...
文章浏览阅读3.3k次。前言spark在java使用比较少,多是scala的用法,我这里介绍一下我在项目中使用的代码配置详细算法的使用请点击我主页列表查看版本jar版本说明spark3.0.1scala2.12这个版本注意和spark版本对应,只是为了引jar包springboot版本2.3.2.RELEASEmaven<!-- spark --> <dependency> <gro_使用java调用spark注册进去的程序
文章浏览阅读4.8k次。汽车零部件开发工具巨头V公司全套bootloader中UDS协议栈源代码,自己完成底层外设驱动开发后,集成即可使用,代码精简高效,大厂出品有量产保证。:139800617636213023darcy169_uds协议栈 源代码
文章浏览阅读4.6k次,点赞20次,收藏148次。AUTOSAR基础篇之OS(下)前言首先,请问大家几个小小的问题,你清楚:你知道多核OS在什么场景下使用吗?多核系统OS又是如何协同启动或者关闭的呢?AUTOSAR OS存在哪些功能安全等方面的要求呢?多核OS之间的启动关闭与单核相比又存在哪些异同呢?。。。。。。今天,我们来一起探索并回答这些问题。为了便于大家理解,以下是本文的主题大纲:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JCXrdI0k-1636287756923)(https://gite_autosar 定义了 5 种多核支持类型
文章浏览阅读2.2k次,点赞6次,收藏14次。原因:自己写的头文件没有被加入到方案的包含目录中去,无法被检索到,也就无法打开。将自己写的头文件都放入header files。然后在VS界面上,右键方案名,点击属性。将自己头文件夹的目录添加进去。_vs2013打不开自己定义的头文件
文章浏览阅读3.3w次,点赞80次,收藏342次。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。当数据量很大时,count 的数量的指定可能会不起作用,Redis 会自动调整每次的遍历数目。_redis命令
文章浏览阅读449次,点赞3次,收藏3次。URP的设计目标是在保持高性能的同时,提供更多的渲染功能和自定义选项。与普通项目相比,会多出Presets文件夹,里面包含着一些设置,包括本色,声音,法线,贴图等设置。全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,主光源和附加光源在一次Pass中可以一起着色。URP:全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,一次Pass可以计算多个光源。可编程渲染管线:渲染策略是可以供程序员定制的,可以定制的有:光照计算和光源,深度测试,摄像机光照烘焙,后期处理策略等等。_urp渲染管线