如何让你的SSD潜能得到释放
在过去十几年中,CPU的性能提升了100倍以上,而传统的HDD硬盘(Hard Disk Drive)才提升了1.5倍不到,这种不均衡的计算存储技术发展,极大地影响了IT系统整体性能的提升。直到固态硬盘SSD(Solid State Drive)被发明出来,其性能有了颠覆性的提升,才解决了存储的瓶颈问题。然而,SSD作为一项新技术,任旧存在一些固有的缺陷,如何充分的发挥SSD的优势,是一个值得研究的方向。下面从性能、持久性、使用成本等方面对此话题做一些探讨。
2.Linux的IO调度需要用电梯算法来对IO进行重排以优化磁头的路径;
在接口协议方面,随着SSD的发明,NVMe协议应运而生。相较于SAS、SATA的单队列机制,NVMe最多可以有65535个队列,并且直接采用PCIe接口,消除了链路和协议瓶颈。
在控制卡生态方面,各大厂商也纷纷推出自己的NVMe控制卡芯片,有PMC(现属于Microchip)、LSI、Marvel、Intel、慧荣以及国内的得瑞等,技术也已经很成熟。
在Linux驱动和IO协议栈方面,也做了相应的优化,如下图所示,NVMe驱动可以直接绕过那些传统的、专为HDD设计的调度层,快速缩短了处理路径。
到目前为止,为了充分的发挥SSD的性能,上面提到的三个传统HDD的问题中前两个已得到了解决,然而在企业级市场上,基于NVMe的Raid始终没有太好的方案。传统企业最广泛使用的Raid5/Raid6数据保护机制(N+1, N+2),通常是把数据条带化分片,然后计算出冗余的Parity Code(奇偶校验码),将数据存放到多块硬盘,写入新数据通常是一种“读改写”的机制。这种机制本身就成为了性能瓶颈,并且“读改写”对SSD的常规使用的寿命有很大的损耗。另外,因为NVMe协议把控制卡放到了NVMe盘的内部,IO都由NVMe盘内部的DMA模块来完成,这就给基于NVMe的Raid卡设计带来了更大的困难。目前市场上这类Raid控制卡可用方案也很少,并且性能上也没办法发挥出NVMe的优势,因此没能被广泛使用。
基于目前这样的情况,很多企业级存储方案仍然在使用SAS/SATA的SSD加传统的Raid卡,这样的形式又会出现前面已经解决的两个问题,SSD的性能得不到充分发挥。
然而,这样的情况也在发生改变,由Lightbits Labs发明的NVMe over TCP(NVMe/TCP)存储集群解决方案就对这样的一个问题做了很好的处理。该解决方案通过自主研发的一块数据加速卡,采用Erasure Code(纠删码)机制能做到超过1M IOPS的随机写性能,并能避免“读改写”带来的使用寿命损耗。另外,Lightbits提出了Elastic Raid机制,该机制提供弹性的N+1保护(类似于Raid5),相较于传统的Raid5需要热备盘或者需要及时替换损坏盘,该机制在一块硬盘发生损坏之后能自动平衡形成新的保护。比如一个节点内原先有10块盘,采用9+1的保护,当某块盘损坏后,系统会自动切换成8+1的保护状态,并且把原先的数据再平衡到新的保护状态,从而在可维护和数据安全性方面实现了大幅提升。此外,该数据加速卡还能做到100Gb的线速压缩,显著提高了可用容量,进而能大幅降低系统使用成本。
目前使用最广泛的SSD是基于NAND颗粒的,而NAND一个与生俱来的问题就是持久性(endurance)。并且随着技术的发展,NAND的密度也越来越高,最新一代已经到了QLC(4bits per Cell),同时每个Cell可被擦写的次数也在减少(1K P/E Cycles)。发展趋势如下图所示。
另外,对NAND的使用有一个特点,就是可擦的最小单位比较大,如下图所示,写的时候可以4KB为单位往里面写,但是擦的时候(比如修改原有数据)却只能以256KB为颗粒来操作(不同的SSD大小不一样,但原理都一样)。这就容易形成空洞而触发SSD的GC(Garbage collection)数据搬移,进而导致所谓的写放大现象,对盘的持久性会产生进一步影响。
在企业级存储中,通常使用Raid5/6这种“读改写”的机制,会对盘的写操作数量进一步放大,一般使用场景下大约是直接写入方式的2倍损耗。此外,很多Raid5还会启动Journal机制,对盘的使用寿命会进一步损耗。
最后,对于最新的QLC来说,使用中还需要考虑另一个因素——Indirection Unit(IU)。比如有些QLC盘使用16KB的IU,如果要写入较小的IO,也会触发内部“读改写”,对使用寿命又多一重损伤。
由此可以看出,基于NAND的SSD还是比较娇弱的。不过,只要能正确地使用,还是能够尽可能的防止这些问题。比如以某常用的QLC盘为例,通过如下两组关于性能和持久性相关的参数可以看出,在持久性上顺序写是随机写的5倍,而性能更是26倍:
通过上面的分析发现,能把盘使用在一个最佳的工作状态至关重要。好消息是目前一些先进的解决方案,比如Lightbits的全NVMe集群存储解决方案就可以解决这个问题。该方案通过把随机IO变成顺序IO的方式,以及独有的Elastic Raid技术避免了Raid“读改写”的弊端,从而能大幅提高盘的持久性及随机性能。
由于SSD相对于HDD而言是一项新技术,再加上产业的生产规模和需求量的矛盾,目前价格相比HDD仍然偏高。那么如何降低SSD使用成本就变得非常重要。
降低使用成本最重要的一环就是要把SSD充分使用起来,无论是容量还是性能。不过就目前而言,大多数NVMe盘都是直接插在应用服务器上使用,而这种方式非常容易造成大量的容量和性能浪费,因为只有这台服务器上的应用才能使用它。根据调研发现,使用这种DAS(Direct Attached Storage,直连式存储)方式,SSD的利用率大概在15%-25%。
针对这个问题比较好的解决方法是近几年来市场上被广泛接受的“解耦合”架构。解耦合之后,把所有的NVMe盘变成一个大的存储资源池,应用服务器用多少就拿多少,只要控制总数量够用就行,可以非常容易地将利用率推到80%。另外,因为资源集中起来,可以有更多的手段和方法用于降低成本,比如压缩。例如,平均应用数据压缩比在2:1,就相当于多了一倍的可用容量,也相当于每GB价格降了一半。当然压缩本身也会带来一些问题,比如压缩本身比较费CPU,另外很多存储解决方案在开启压缩之后性能就会大大降低。
针对压缩方面的问题,Lightbits的NVMe/TCP集群存储解决方案可以通过存储加速卡来予以解决。该卡可以做到100Gb的线速压缩能力,并且不消耗CPU,不增加延迟。利用这样的解决方案,压缩功能几乎没有额外的成本。此外,正如前面在介绍提高持久性时所提到的,Lightbits解决方案能提高常规使用的寿命并支持使用QLC盘,从整个使用周期来看,在使用成本方面也会有非常大的降低。总的来说,通过解耦合提高使用效率,压缩提高可用容量,优化提高使用寿命或启用QLC,经过这样的重重提升,SSD的使用成本可以得到极大的控制。
以上从性能、持久性、使用成本三个方面分析了如何用好SSD盘,可以看到要用好NVMe SSD盘还是不容易的。因此,对一般用户而言,选择一个好的存储解决方案就至关重要。为此,以色列创新公司Lightbits以充分发挥NVMe盘的最大价值为使命,发明了NVMe/TCP协议,并推出了新一代的全NVMe集群存储解决方案,可以帮助使用者轻松地将SSD盘用好。关键字:SSD引用地址:如何让你的SSD潜能得到释放
近日,根据市场情报分析公司TRENDFOCUS在最新的博客文章中透露,在过去四个季度当中,固态硬盘的价格已经上涨了36%。主要原因是PC以及智能手机等数码产品对快速存储的需求日益增加,导致闪存芯片出现了严重供货失衡。下面就随嵌入式小编一起来了解一下相关内容吧。 固态硬盘价格暴涨36% 阻碍SSD普及 TRENDFOCUS预警认为,存储设备售价上涨的趋势将贯穿2017整年,预计到2018年初才会有所放缓。 受此影响,配备固态硬盘的计算机售价也将出现上浮,阻碍了固态硬盘替代机械硬盘的普及进程。 同时,TRENDFOCUS还表示,基于传统SATA方案的固态硬盘与性能更好的PCIe固态硬盘之间的价格差距正在日益扩大,后者的涨
存储器控制芯片厂慧荣4日公布第1季财报,毛利率达50.2%,优于预期,展望未来,总经理苟嘉章预期,在SSD多项新开发案陆续量产,可望挹注第2季营收,预估单季营收成长率介于10-20%之间,毛利率介于48.5-50.5%之间。 受季节性因素、NAND跌价等影响客户备货趋于保守,慧荣首季营收9469万美元(单位下同),季减23%,年减27%,毛利率则优于预期,达50.2%;税后净利1504万元,每单位稀释之美国存托凭证(ADS)盈余0.42元。 据中国信息通信研究院的报告表示,2019年第1季大陆手机市场出货量较上1季大幅减少30%,因此影响到主要使用于中国智能手机的eMMC/UFS控制芯片营收,加上第1季NAND大厂客户季节
AI起飞,国内开启百模大战。当AI模型参数量慢慢的升高,力大砖飞实现了越来越多的智能涌现。 大模型兴起,为行业增添了越来越多的可能性,激发了更多云计算资源需求,大模型与云计算正在成为新世纪的淘金人和卖铲人。但云计算对算力需求越大,也拉升了存力的需求,行业正蓄势待发新一轮存力竞赛。 11月1日,平头哥发布首颗SSD主控芯片镇岳510,标志着它在存力方向,又迈进了一步。 存力也是云计算的关键 云计算也是典型的冯诺依曼架构,即数据从存储设备中取出,利用互联网传送到计算单元,运算结果利用互联网传输至存储设备中保存。 对云计算来说,算力(CPU、GPU、NPU)、网力(DPU、SmartNIC)、存力(HDD、SDD)三
主控芯片镇岳510 /
工控储存领导厂商 宜鼎国际 ,旗下工业级 3D NAND SSD 将正式于10月份开启全球量产,稳步提高产能。宜鼎国际董事长简川胜表示,为提供业界高等级工控品质,宜鼎3D NAND TLC花费超过两年时间进行前期导入测试以及工规等级的压力震动测试,目前已成功导入客户端,并持续以高端规格支持工控产业升级。 新3TE7 3TG6-P 严守工控规格 随着未来5G、数据中心、AI,以及大数据运算趋势,终端设备的储存需求大增,加以智能化不断驱动产品设计与规格提升,宜鼎国际新推出的3D NAND系列 3TE7 以及 3TG6-P ,持续与国际NAND FLASH大厂Toshiba扩大合作,提供32高达4TB的大容量规格,并支持工业宽温
全球量产正式启动 /
一、引脚说明 1.1 接口定义 1.2 硬件连接 1.3 总线协议 IO口软件模拟SPI 1.4 软件控制流程 ①IO初始化。 ②根据时序初始化LCD。 ③显示。 二、移植文件 将 oled.c 、 oled.h 、bmp.h文件加入到工程文件夹下 2.1 oled.c #include oled.h #include oledfont.h //向SSD1306写入一个字节。 //dat:要写入的数据/命令 //cmd:数据/命令标志 0,表示命令;1,表示数据; void OLED_WR_Byte(u8 dat, u8 cmd) { u8 i; if (cmd) OLED_DC_S
1306驱动) /
紫光集团(清华控股的子公司)与西部数据签署协议,紫光集团以38亿美元取得西部数据15%的股权。紫光购入的西部数据的价格为每股92.5美元,比签署协议公布日前一天的收盘价高了30%以上。紫光与步履维艰的西部数据此时签署协议无异于雪中送炭。西部数据最近一个季度(4月至6月)的净收入不到32亿美元,同比下降了13%。该季度出货量为4850万,同比下降23%。2015年第一季度(1月至3月)出货量为5450万,同比下降10%。PC市场表现不佳是西部数据营收下降的最大原因,但是今年年底之前PC市场看不到止跌的迹象。 清华控股是怎样与美国公司展开合作的 时间倒回2013年,爱德华斯诺登泄露了美国政府的机密数据,表明美国在监听中国大陆
PCmark10变与不变 PC时代已经奏响了四十年的乐章,其中昂扬的主旋律一直是标准化和通用化,这直接催生的后果就是任何PC主流平台的软件硬件隔阂都很小,都是能拿来比较的。有比较就有比较标准,最合适的比较标准是什么呢?——建模跑分呗。 整机评测工具大革命 PCMARK 10 初解析 眼下PC性能增长瓶颈的周期已经比较长了,一些人的跑分热情归于沉寂;也有一些人从一开始就从来都没有理解过“跑分”,但无可否认的事实是,跑分党依然是PC领域最核心玩家的代言人,也只有跑过分的人才有选购PC相对充分的发言权。形形的跑分软件中,对PC整体衡量比较有效的并不多,许多手机党看中的GeekBench在PC领域近乎搞笑;游戏狂魔眼中的
超频,就是让硬件运行在默认的频率设定之上,CPU超频、内存超频和显卡超频已经存在了相当长的时间,因此大家听到超频首先就会想起这三种硬件,然而Intel的新技术据称可能会打破这一局面,下一次,轮到SSD也能超频了!Intel 每年会有两个IDF大会,下半年这一场会在9月10日,在美国旧金山举行,据称会议上将会有一个单独的AIOS001技术讲解会,Intel在这次会议上 将会向大家伙儿一起来分享Ivy Bridge-E处理器以及X79平台针对超频所作出的改进,除了常规的CPU超频之外,Intel还会公布一些与SSD超频相关的东西。 SSD为何能超频呢?因为事实上SSD的主控可以看做是一颗处理器,它是拥有运行频率的,自然也可以对其运行频
算法
深度学习训练营:21天实战TensorFlow+Keras+scikit-learn (张强)
东芝1200V SIC SBD “TRSxxx120Hx系列” 助力工业电源设备高效
2024 瑞萨电子MCU/MPU工业技术研讨会——深圳、上海站, 火热报名中
Follow me第二季第4期来啦!与得捷一起解锁蓝牙/Wi-Fi板【Arduino Nano RP2040 Connect】超能力!
嵌入式工程师AI挑战营(进阶):基于RV1106部署InsightFace算法,实现多人的实时人脸识别
用FPGA解决高频交易时延问题:AMD推出Alveo UL3422金融专用加速卡
AMD正式对外发布了新一代Alveo UL3422金融科技加速卡,其专为金融行业进行服务,特别为高频交易领域设计。...
CAN(Controller Area Network)是一种用于汽车和工业控制管理系统的局域网技术,它具有高可靠性、实时性和灵活性。而RS-485是一种串行通信协 ...
CAN(Controller Area Network)是一种用于汽车和工业自动化领域的通信协议。采集到的CAN数据需要经过处理和分析,以便更好地理解通信过 ...
CAN(Controller Area Network)是一种基于总线通信的局域网技术,大范围的应用于汽车电子、工业控制等领域。在实际应用中,CAN通讯电路的好 ...
测量CAN总线(Controller Area Network)的高电平和低电平电阻是一项重要的工作,因为它们对于确保CAN总线 引言C ...
站点相关:嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科