技术标签: Linux 运维 进程间通信 linux 操作系统 服务器
目录
进程之间可能会存在特定的协同工作的场景,而协同就必须要进行进程间通信,协同工作可能有以下场景。
数据传输:一个进程需要将它的数据发送给另一个进程
资源共享:多个进程之间共享同样的资源。
通知事件:一个进程需要向另一个或一组进程发送消息,通知它发生了某种事件。
进程控制:有些进程希望完全控制另一个进程的执行(如Debug进程),此时控制进程希望能够拦截另 一个进程的所有陷入和异常,并能够及时知道它的状态改变
由于一个进程是不能访问到另一个进程的资源的,即进程之前是具有独立性的。
那么进程之间要通信,就不能使用属于进程的资源,而应该使用一份公共的资源。
所以进程间通信的本质是:由OS参与,提供一份所以进程都能访问的公共资源。
而公共资源是什么,例如:文件、队列、内存块。
适用场景:父子进程间通信。
基本原理:通过打开同一个文件,父子进程对文件进行读写操作,父子进程在文件内核缓冲区中写入或读出数据,从而实现通信。
使用接口
pipe:创建一个管道,参数为输出型参数,打开两个文件描述符(fd),返回值为0表示打开失败。
具体代码:
#include<stdio.h>
#include<unistd.h>
#include<stdlib.h>
#include<string.h>
int main()
{
int pipefd[2] = {0};
if(pipe(pipefd) != 0)
{
perror("pipe");
return 1;
}
// 父进程读取数据,子进程写入数据
// 规定:pipedfd[0]为读取端,pipefd[1]为写入端
if(fork() == 0)
{
//child
close(pipefd[0]);// 关闭读取端
const char* msg = "hello world\n";
while(1)
{
write(pipefd[1], msg, strlen(msg));
sleep(1);
}
exit(0);
}
// father
close(pipefd[1]);// 关闭写入端
while(1)
{
char buffer[64] = {0};
ssize_t s = read(pipefd[0], buffer, sizeof(buffer));// 如果read的返回值是0,表示子进程关闭了文件描述符
if(s == 0)
{
printf("child quit\n");
break;
}
else if(s > 0)
{
buffer[s] = 0;// 子进程写入时没有添加'\0',需要手动添加
printf("child say:%s",buffer);
}
else
{
printf("read error\n");
break;
}
}
return 0;
}
子进程写入数据,父进程读出数据,这样就实现了简单的父子进程间的通信:
问题分析:为什么上面的代码中,需保证读端比写端快?
因为管道是面向字节流的,字符串之间没由规矩分隔符,如果读取速度慢于写入速度,可能读端还没有将整个字符串读完,写端又写入了数据,会导致数据混乱。
匿名管道的五个特点:
只能单向通信的信道
面向字节流
只能在父子进程间通信
管道自带同步机制,原子性写入
管道也是文件,管道的生命周期随进程
#include<stdio.h>
#include<unistd.h>
#include<stdlib.h>
#include<string.h>
int main()
{
int pipefd[2] = {0};
if(pipe(pipefd) != 0)
{
perror("pipe");
return 1;
}
if(fork() == 0)
{
//child
close(pipefd[0]);// 关闭读取端
int count = 0;
char c = 'a';
while(1)
{
write(pipefd[1], &c, 1);
count++;
printf("%d\n", count);
}
exit(0);
}
// father
close(pipefd[1]);// 关闭写入端
while(1)
{
sleep(5);
char buffer[4*1024+1] = {0};
ssize_t s = read(pipefd[0], buffer, sizeof(buffer)-1);
buffer[s] = 0;
printf("father take:%s\n", buffer);
}
return 0;
}
云服务器中,管道的大小为64KB,写端写满后不会再写,会等读端读取管道内容,且读取4KB后才会重新写入(读端的容量为4KB)。
管道读写规则
当没有数据可读时
O_NONBLOCK disable:read调用阻塞,即进程暂停执行,一直等到有数据来到为止。 O_NONBLOCK enable:read调用返回-1,errno值为EAGAIN。
当管道满的时候
O_NONBLOCK disable: write调用阻塞,直到有进程读走数据
O_NONBLOCK enable:调用返回-1,errno值为EAGAIN
如果所有管道写端对应的文件描述符被关闭,则read返回0 如果所有管道读端对应的文件描述符被关闭,则write操作会产生信号SIGPIPE,进而可能导致write进程退出
当要写入的数据量不大于PIPE_BUF时,linux将保证写入的原子性。
当要写入的数据量大于PIPE_BUF时,linux将不再保证写入的原子性。
即匿名管道的四种情况:
读端不读或读的慢,写端要等读端
读端关闭,写端收到SIGPIPE信号直接终止
写端不写或者写的慢,读端要等写端
写端关闭,读端会读完管道内的数据然后再读,会读到0,表示读道文件结尾
为了解决匿名管道只能在父子进程间通信的缺陷,引入了命名管道。
其性质除了能让任意进程间通信外,与匿名管道基本一致,即创建一个文件一个进程往文件中写数据,一个进程读数据,且不让文件内容刷新到磁盘上,从而实现任意进程间的通信。
命令行创建
使用命令 mkfifo 管道
然后使用一个简单的shell脚本,将 hello world 每间隔一秒输入到管道中,然后另一边读取管道中的内容。
通过这种方式,显示不是重点。
代码创建
使用接口:mkfifo
因为是不同进程间的通信,所以这里需要创建两个进程:
comm.h
#include<string.h> #include<stdio.h> #include<sys/stat.h> #include<sys/types.h> #include<fcntl.h> #include<unistd.h> #define MY_FIFO "./fifo"
server.c#include"comm.h" int main() { umask(0); if(mkfifo(MY_FIFO, 0666) < 0) //创建命名管道 { perror("mkfifo"); return 1; } // 只需要文件操作即可 int fd = open(MY_FIFO, O_RDONLY); if(fd < 0) { perror("open"); return 2; } // 业务逻辑 while(1) { char buffer[64] = {0}; ssize_t s = read(fd, buffer, sizeof(buffer)-1); if(s > 0) { buffer[s] = 0; printf("client-> %s\n", buffer); } else if(s == 0) { printf("client quit...\n"); break; } else { perror("read"); break; } } close(fd); return 0; }
client.c
#include"comm.h" int main() { int fd = open(MY_FIFO, O_WRONLY); if(fd < 0) { perror("open"); return 1; } // 业务逻辑 while(1) { printf("请输入-> "); fflush(stdout); char buffer[64] = {0}; ssize_t s = read(0, buffer, sizeof(buffer)-1); // 从显示器上读取数据,然后写入到文件中 if(s > 0) { buffer[s-1] = 0; printf("%s\n", buffer); write(fd, buffer, strlen(buffer)); } } return 0; }
运行起来后,就实现了简单的命名管道的通信:
为什么命名管道有名字,而匿名管道没有?
命名管道有名字是为了保证让不同进程看到同一个文件。
匿名管道没有名字,是因为他是通过父子继承放入方式,看到同一份资源不需要名字。
system V:同一主机内的进程间通信方案,在OS层面专门为进程间通信设计的方案
进程间通信的本质:让不同的进程看到同一份资源
system V标准下的三种通信方式
共享内存
消息队列
信号量
通过系统调用,在内存中创建一份内存空间
通过系统调用,让进程"挂接"到这份新开辟的内存空间上(即在页表上建立虚拟地址与物理地址的映射关系)
去关联(挂接)
释放共享内存
使用接口:
shmget:申请共享内存
#include <sys/ipc.h> #include <sys/shm.h> int shmget(key_t key, size_t size, int shmflg); // key:创建共享内存时的算法和数据结构中唯一标识符,由用户自己设定需用到接口ftok // size:共享内存的大小,建议是4KB的整数倍 // shmflg:有两个选项:IPC_CREAT(0),创建一个共享内存,如果已经存在则返回共享内存;IPC_EXCL(单独使用没有意义) // IPC_CREAT|IPC_EXCL(如果调用成功,一定会得到一个全新的共享内存):如果不存在共享内存,就创建;反之,返回出错 // 返回值:shmdi,描述共享内存的标识符 #include <sys/types.h> #include <sys/ipc.h> key_t ftok(const char *pathname, int proj_id); // 算法生成key // pathname:自定义路径名 // proj_id:自定义项目id
shmctl:控制共享内存
#include <sys/ipc.h> #include <sys/shm.h> int shmctl(int shmid, int cmd, struct shmid_ds *buf); // shmid:共享内存id // cmd:控制方式,这里我们只使用IPC_RMID 选项,表示删除共享内存 // buf:描述共享内存的数据结构
struct_shmid_ds结构体:
shmat、shmdt:关联、去关联共享内存
#include <sys/types.h> #include <sys/shm.h> void *shmat(int shmid, const void *shmaddr, int shmflg); // 关联 // shmid:共享内存id // shmaddr:挂接地址(自己不知道地址,所以默认为NULL) // shmflg:挂接方式,默认为0 // 返回值:挂接成功返回共享内存起始地址(虚拟地址),类似C语言malloc int shmdt(const void *shmaddr); // 去关联(取消当前进程和共享内存的关系) // shmaddr:去关联内存地址,即shmat返回值 // 返回值:调用成功返回0,失败返回-1
命令行查看共享内存:
ipcs -m // ipcs 查看ipc资源
system V 的IPC资源,生命周期随内核,只能通过程序员显示释放(或者OS重启)
命令行删除共享内存方法:
ipcrm -m shmid
comm.h
#include<stdio.h> #include<sys/ipc.h> #include<sys/types.h> #include<sys/shm.h> #include<unistd.h> #include<string.h> #define PATH_NAME "./" #define PROJ_ID 0x6666 #define SIZE 4096
server.c
#include"comm.h" int main() { key_t key = ftok(PATH_NAME, PROJ_ID); if(key < 0) { perror("ftok"); return 1; } printf("key-> %x\n", key); int shmid = shmget(key, SIZE, IPC_CREAT|IPC_EXCL|0666); // 创建全新共享内存 if(shmid < 0) { perror("shmget"); return 1; } printf("shmid-> %d\n", shmid); char* mem = (char*)shmat(shmid, NULL, 0); // 通信逻辑 while(1) { printf("%s\n", mem);// 打印mem内存中的内容 sleep(1); } shmdt(mem); shmctl(shmid, IPC_RMID, NULL); return 0; }
client.c
#include"comm.h" int main() { key_t key = ftok(PATH_NAME, PROJ_ID); if(key < 0) { perror("ftok"); return 1; } int shmid = shmget(key, SIZE, IPC_CREAT); if(shmid < 0) { perror("shmget"); return 1; } // 挂接 char* mem = (char*)shmat(shmid, NULL, 0); // 通信逻辑 char c = 'A'; while(c <= 'Z') { mem[c - 'A'] = c; c++; mem[c - 'A'] = 0; sleep(2); } // 去关联 shmdt(mem); //该共享内存不由client创建,所以不用它删除 return 0; }
运行结果:
使用共享内存进行通信时,不需要使用read和write 接口。
共享内存是所有进程间通信中速度最快的。
共享内存不提供任何同步或互斥机制,需要程序员自行保证数据安全。
ps: 共享内存在内核中的申请的基本单位是页,内存页的大小为4KB,如果申请4097个字节,内核会分配8KB空间。
接口类似与共享内存,底层是一个队列结构
msgget:创建消息队列
#include <sys/types.h> #include <sys/ipc.h> #include <sys/msg.h> int msgget(key_t key, int msgflg);
msgctl:控制消息队列
#include <sys/types.h> #include <sys/ipc.h> #include <sys/msg.h> int msgctl(int msqid, int cmd, struct msqid_ds *buf);
什么是信号量?
信号量不是以传输数据为目的,通过共享“资源”的方式,来达到多个进程的同步和互斥的目的!
本质是一个计数器,衡量临界资源中的资源数目。
临界资源:同时被多个进程访问的资源。例如:显示器打印,共享内存,消息队列
临界区:用来访问临界资源的代码,就是临界区。
原子性:执行事件时没有中间过程,且操作不可中断,要么执行完,要么没有执行。
互斥:在任意时刻,只允许一个进程进入临界资源。
同步:两个或多个数据库、文件、模块、线程之间用来保持数据内容一致性的机制。
接口类似共享内存
semget:创建信号量
#include <sys/types.h> #include <sys/ipc.h> #include <sys/sem.h> int semget(key_t key, int nsems, int semflg);
semctl:控制信号量
#include <sys/types.h> #include <sys/ipc.h> #include <sys/sem.h> int semctl(int semid, int semnum, int cmd, ...);
所有的ipc资源都是通过数组组织起来的。
文章浏览阅读3.4k次,点赞8次,收藏42次。一、什么是内部类?or 内部类的概念内部类是定义在另一个类中的类;下面类TestB是类TestA的内部类。即内部类对象引用了实例化该内部对象的外围类对象。public class TestA{ class TestB {}}二、 为什么需要内部类?or 内部类有什么作用?1、 内部类方法可以访问该类定义所在的作用域中的数据,包括私有数据。2、内部类可以对同一个包中的其他类隐藏起来。3、 当想要定义一个回调函数且不想编写大量代码时,使用匿名内部类比较便捷。三、 内部类的分类成员内部_成员内部类和局部内部类的区别
文章浏览阅读118次。分布式系统要求拆分分布式思想的实质搭配要求分布式系统要求按照某些特定的规则将项目进行拆分。如果将一个项目的所有模板功能都写到一起,当某个模块出现问题时将直接导致整个服务器出现问题。拆分按照业务拆分为不同的服务器,有效的降低系统架构的耦合性在业务拆分的基础上可按照代码层级进行拆分(view、controller、service、pojo)分布式思想的实质分布式思想的实质是为了系统的..._分布式系统运维工具
文章浏览阅读174次。1.数据源准备2.数据处理step1:数据表处理应用函数:①VLOOKUP函数; ② CONCATENATE函数终表:step2:数据透视表统计分析(1) 透视表汇总不同渠道用户数, 金额(2)透视表汇总不同日期购买用户数,金额(3)透视表汇总不同用户购买订单数,金额step3:讲第二步结果可视化, 比如, 柱形图(1)不同渠道用户数, 金额(2)不同日期..._exce l趋势分析数据量
文章浏览阅读3.3k次。堡垒机可以为企业实现服务器、网络设备、数据库、安全设备等的集中管控和安全可靠运行,帮助IT运维人员提高工作效率。通俗来说,就是用来控制哪些人可以登录哪些资产(事先防范和事中控制),以及录像记录登录资产后做了什么事情(事后溯源)。由于堡垒机内部保存着企业所有的设备资产和权限关系,是企业内部信息安全的重要一环。但目前出现的以下问题产生了很大安全隐患:密码设置过于简单,容易被暴力破解;为方便记忆,设置统一的密码,一旦单点被破,极易引发全面危机。在单一的静态密码验证机制下,登录密码是堡垒机安全的唯一_horizon宁盾双因素配置
文章浏览阅读7.7k次,点赞4次,收藏16次。Chrome作为一款挺不错的浏览器,其有着诸多的优良特性,并且支持跨平台。其支持(Windows、Linux、Mac OS X、BSD、Android),在绝大多数情况下,其的安装都很简单,但有时会由于网络原因,无法安装,所以在这里总结下Chrome的安装。Windows下的安装:在线安装:离线安装:Linux下的安装:在线安装:离线安装:..._chrome linux debian离线安装依赖
文章浏览阅读153次。中国发达城市榜单每天都在刷新,但无非是北上广轮流坐庄。北京拥有最顶尖的文化资源,上海是“摩登”的国际化大都市,广州是活力四射的千年商都。GDP和发展潜力是衡量城市的数字指...
文章浏览阅读3.3k次。前言spark在java使用比较少,多是scala的用法,我这里介绍一下我在项目中使用的代码配置详细算法的使用请点击我主页列表查看版本jar版本说明spark3.0.1scala2.12这个版本注意和spark版本对应,只是为了引jar包springboot版本2.3.2.RELEASEmaven<!-- spark --> <dependency> <gro_使用java调用spark注册进去的程序
文章浏览阅读4.8k次。汽车零部件开发工具巨头V公司全套bootloader中UDS协议栈源代码,自己完成底层外设驱动开发后,集成即可使用,代码精简高效,大厂出品有量产保证。:139800617636213023darcy169_uds协议栈 源代码
文章浏览阅读4.6k次,点赞20次,收藏148次。AUTOSAR基础篇之OS(下)前言首先,请问大家几个小小的问题,你清楚:你知道多核OS在什么场景下使用吗?多核系统OS又是如何协同启动或者关闭的呢?AUTOSAR OS存在哪些功能安全等方面的要求呢?多核OS之间的启动关闭与单核相比又存在哪些异同呢?。。。。。。今天,我们来一起探索并回答这些问题。为了便于大家理解,以下是本文的主题大纲:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JCXrdI0k-1636287756923)(https://gite_autosar 定义了 5 种多核支持类型
文章浏览阅读2.2k次,点赞6次,收藏14次。原因:自己写的头文件没有被加入到方案的包含目录中去,无法被检索到,也就无法打开。将自己写的头文件都放入header files。然后在VS界面上,右键方案名,点击属性。将自己头文件夹的目录添加进去。_vs2013打不开自己定义的头文件
文章浏览阅读3.3w次,点赞80次,收藏342次。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。当数据量很大时,count 的数量的指定可能会不起作用,Redis 会自动调整每次的遍历数目。_redis命令
文章浏览阅读449次,点赞3次,收藏3次。URP的设计目标是在保持高性能的同时,提供更多的渲染功能和自定义选项。与普通项目相比,会多出Presets文件夹,里面包含着一些设置,包括本色,声音,法线,贴图等设置。全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,主光源和附加光源在一次Pass中可以一起着色。URP:全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,一次Pass可以计算多个光源。可编程渲染管线:渲染策略是可以供程序员定制的,可以定制的有:光照计算和光源,深度测试,摄像机光照烘焙,后期处理策略等等。_urp渲染管线