技术标签: 架构
存储,是我们码农每天都要打交道的事情,而当我们面对RAID,SAN,对象存储,分布式数据库等技术的时候,又往往似是而非,存储成了我们熟悉的陌生人。
在老码农眼中,存储仿佛是这个样子的。
存储是计算机的一部分,在冯诺伊曼体系结构中,有一个重要的单元即存储器,它连接了输入/输出,以及控制器和运算器,处于核心纽带的位置。
存储的介质主要包括内存(DRAM)、固态硬盘(SSD)、机械硬盘(HDD)、非易失性存储器(NVM),以及磁带等。
特性/介质 | DRAM | SSD | HDD | NVM |
---|---|---|---|---|
非易失性 | 否 | 是 | 是 | 是 |
使用寿命 | 长 | 短 | 较长 | 长 |
随机读 | 非常快 | 快 | 慢 | 非常快 |
随机写 | 非常快 | 较快 | 慢 | 非常快 |
顺序读 | 非常快 | 快 | 较快 | 非常快 |
顺序写 | 非常快 | 快 | 较快 | 非常快 |
一般意义上的存储,多指磁盘。
与存储中的数据交互是通过IO实现的,IO的性能直接影响着系统的性能,甚至我们往往把应用分为IO密集型和CPU密集型等等。
从IO的访问方式来看,可以分为阻塞/非阻塞,同步/异步。在Linux,提供了5种IO模型:
从性能上看,异步 IO 的性能无疑是最好的。
对IO进行抽象,分为逻辑IO和物理IO两类,分为磁盘,卷和文件系统三层。做一个简单的比喻,磁盘象空地,卷如同小区,而文件系统就是小区里的楼房和房间。卷位于操作系统和硬盘之间,屏蔽了底层硬盘组合的复杂性,使得多块硬盘在操作系统来看就像一块硬盘。镜像,快照,磁盘的动态扩展,都可以通过卷来实现。而文件系统最主要的目标就是对磁盘空间的管理。
对程序员而言,我们所面对的一般是文件系统,通过文件系统感知存储中的数据。
一旦硬盘故障,面临的很可能就是数据的丢失,将演变成一场灾难。对很多的企业应用而言,直接提高存储可靠性的方式是通过磁盘阵列——RAID。
RAID是Redundant Arrays of Independent Disks的缩写,是把相同的数据存储在多个硬盘的不同的地方。通过把数据放在多个硬盘上,输入输出操作能以平衡的方式交叠,改良性能,也延长了平均故障间隔时间(MTBF),储存冗余数据也增加了容错, 从而提高了存储的可靠性。
常见的RAID类型如下:
RAID 等级 | RAID0 | RAID1 | RAID5 | RAID6 | RAID10 |
---|---|---|---|---|---|
别名 | 条带 | 镜像 | 分布奇偶校验条带 | 双重奇偶校验条带 | 镜像加条 |
带容错性 | 无 | 有 | 有 | 有 | 有 |
冗余类型 | 无 | 有 | 有 | 有 | 有 |
热备盘 | 无 | 有 | 有 | 有 | 有 |
读性能 | 高 | 低 | 高 | 高 | 高 |
随机写性能 | 高 | 低 | 一般 | 低 | 一般 |
连续写性能 | 高 | 低 | 低 | 低 | 一般 |
需要磁盘数 | n≥1 | 2n (n≥1) | n≥3 | n≥4 | 2n(n≥2)≥4 |
可用容量 | 全部 | 50% | (n-1)/n | (n-2)/n | 50% |
RAID 的两个关键目标是提高数据可靠性和 I/O 性能。实际上, 可以把RAID 看作成一种虚拟化技术,它对多个物理磁盘虚拟成一个大容量的逻辑驱动器。
尽管磁盘阵列也在一定程度上提高了存储的容量, 但是难以满足人们对存储容量的需求。为了解决存储空间的问题, 采用分而治之的方式,通过DAS将硬盘独立为存储空间。 DAS(Direct Attached Storage—直接连接存储)是指将存储设备通过SCSI接口或光纤通道等直接连接到一台主机上。DAS 就是一组磁盘的集合体,数据读取和写入等也都是由主机来控制。 然而,DAS 没法实现多主机共享磁盘空间的问题。
为了解决共享的问题,于是有了 SAN ( Storage Area Network)————存储网络。SAN 网络由于不会直接跟磁盘交互,而是解决数据存取的问题,使用的协议比 DAS 的层面要高。对于存储网络而言,对带宽的要求非常高,因此 SAN 网络下,光纤成为连接的基础。光纤上的协议比以太网协议更简洁,性能也更高。
从数据层面来看,存储空间的共享可以体现为文件的共享。NAS(Network Attached Storage)是将存储设备通过标准的以太网,连接到一组主机上,N是组件级的存储方法,能够解决迅速增加存储容量的需求。也就是说,NAS从文件系统层面解决存储的扩容问题。
NAS和SAN本质的不同在文件管理系统的不同。在 SAN中,文件管理系统分别在每一个应用服务器上;而NAS是每个应用服务器通过网络共享协议(如NFS等)使用同一个文件管理系统。NAS的出发点是在应用、用户和文件以及它们共享的数据上;而SAN的出发点在磁盘以及联接它们的基础设施架构。
三者之间的关系如下图所示:
存储是我们软件产品和服务的必备环节,常见的存储系统应用有:
在使用存储系统的时候,我们可能需要关注的指标:
存储引擎是存储系统中国年的发动机,直接决定存储系统的性能和功能,实现了存储系统的增/删/改/查。 常见的存储引擎有:哈希存储引擎,B树存储引擎(磁盘索引节省内存)和 LSM树存储引擎(随机写转为顺序写)。
分布式存储系统一般采用可扩展的系统结构,利用多台存储服务器分担存储负载,利用位置服务器定位存储信息,不但提高了系统的可靠性、可用性和存取效率,而且易于扩展。
分布式存储的应用场景一般分为三种:
一般地,对象存储通常以大文件为主,要求足够的IO带宽。块存储:即能应付大文件读写,也能处理好小文件读写,块存储要求的延迟是最低的。文件存储需要考虑目录、文件属性等等的支持,对并行化的支持难度较大,通过具体实现来定义接口,可能会容易一点。
实现一个分布式存储系统,通常会涉及到元数据,分区,复制,容错等诸多方面。分布式设计采用主从、全分布式或者是兼而有之, 底层的存储可以依赖本地文件系统的接口,或者实现一个简单的物理块管理,但都不是相对容易的事。
幸运的是,分布式存储系统已经成为了云服务的基础能力,尤其是对象存储,如七牛、S3、OSS、BOS 等等, 已经是标配了。有了面向云服务的存储, 使我们更多聚焦在业务本身,各种存储带来的烦恼会逐渐随风而逝么?!
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf