An Insight Discussion about 3PAR SAN Technology
Comments (0) I came across an interesting thread about 3PAR’s unique SAN capability especially about its Chunklets, again it’s in Chinese. Those who participated in that thread seemed to be the SAN elite in their fields.
To my surprise, I’ve learnt that 3PAR is still using the old PCI-X, NO SAS drives. Well heard they are going to release the SAS version shortly in Q4 2011 and there is a new series V after T & F.
Interesting enough another SMB SAN/NAS product named Drobo somehow can achieve the same unique feature as 3PAR as Drobo’s Beyond RAID technology can also form a RAID using different size, different RPM drives (ie, mix SSD/FC/SATA), What’s more Drobo doesn’t use any hot-spare for redundancy as all the drives can devote part of the capacity for the hot-spare purpose, this is another similarity to 3PAR. Well, the price difference between the two is of course beyond numbers.
1,中端存储高端化：3PAR定为于高端存储，但是它的架构有点类似中端存储的架构，有控制器的概念，最多可以有8个控制器（S400最多有4个控制器，S800可以有8个），控制器之间由一个网状背板连接起来，每个控制器有两个INTEL的CPU负责控制指令，还有一个3PAR自己控制器的ASIC完成数据移动。普通的中端存储，一个LUN只能属于一个控制器，用户必须将LUN人工分布到两个控制器上，而3PAR每个LUN实际上是由多个控制器并行处理的。
这个怎么说那？
个人感觉本身可能打算用来代替EVA的，但是目前在hp的产品线看来他是介于xp和eva之间，当然他的满配跟hp的xp也差不多少了，更何况他更适合于云，另外当年oracle又说他跟asm结合能够如何如何的提高性能。毕竟他是hp自己的东东，相对于可能更愿意推3par，其实3par2个系列，F和T，而跟在后面的数字就是支持的控制器的最大数，F200最大支持2个，F400最大支持4个，T400最大支持4个，当然T800最大支持8个，
至于他的控制器的芯片感觉有点类似于LSI，intel的cpu只是负责控制信息，真正做raid计算的是ASIC，所以如果和其他厂家的控制器全intel inside来pk说3par的cpu不行，可就有点外行了
当然Q4听说要出新3par就将采用双ASIC控制器，并支持SAS硬盘，将pci-x改为pci-e
另外说双A（不是ALUA哦），这点不能说其他厂家的终端存储都最多做到ALUA，其实hds的AMS也是真正的双A，至于eva和cx都是ALUA，ds5000就只能是A/P了2,非常有特点的盘盒： 3PRA插盘的方式非常独特，和其他存储都完全不同，在4U高度的盘盒中，有10个盘包，每个盘包可以纵向插入4块盘，相当于其他存储一块盘的位置插入了四块，所以3PAR的盘的密度非常高。当然这也有问题，比如在换盘时，每次需要将整个盘包拔出，或者盘包自身的背板损坏，可能造成数据丢失等等。不过3PAR已经考虑了这些情况，并有解决方案。
其实3par有3种盘笼，DC2, DC4（T-Class ） and DC3（F-Class）DC2, DC4累就是上面写的，但是dc3是16个个drive bay，0-15就不是4个硬盘装在一起了。
3，虚拟卷管理：第一层：每个盘都被划分为256M的小块(chunklet)，由于每个盘盒都和两个控制器相连，所以这些存储块都有两个访问通道。第二层：将这些存储块，基于RAID类型和存储块的位置组成逻辑盘(LD)。第三层：将一个或多个LD映射成为了一个虚拟卷(VV)，并最终以LUN的形式输出给主机(VLUN)。这样可以将IO分散到系统所有的磁盘，光纤连接和控制器上，而不象某些存储，必须要借助主机的LVM才能实现。如果我们使用文件系统或者ASM的话，将会很方便。另外一个特点就是管理非常方便，只需要告诉系统我要多大的LUN，其他系统会自动完成
这点感觉有点类似于eva（其实eva）或者v7000，xiv，当然他们又不完全相同，XIV的Pool是个逻辑的，他并没有将disk物理隔离（譬如EVA中的Disk Group，eva有rss的概念），对于外部的IO quest由所有的Disk提供，只是在空间，也就是Size方面逻辑的划分pool
对于国内存储市场来说，3PAR 是不折不扣的后来者。也是个相对陌生的存储产品，以至于其竞争对手的人员甚至都不知道这家公司已经杀入中国市场。
3PAR 在 1999 年成立，几个创始人主要出自 Sun ，前身叫作 3PARdata ， 2008 年上市。要知道在存储技术领域竞争还是比较激烈的，EMC / HDS 等控制着高端存储的主要市场，3PAR 能突破技术壁垒并最后成功上市，没两把刷子那是绝对做不到的。
InSpire 硬件结构
3PAR 背板采用全网状的连接结构，每个控制器节点之间高速直连。因为是全网状的，所以基本上一个链路坏掉只影响直连的两个节点的通信，对其它节点无影响。每个控制器节点内置一块硬盘，用于操作系统安装。控制器节点最多可以扩展到 8 个，是 3PAR 存储最核心的组件。
相比之下，HDS 架构采用全光线交换方式（Universal Star Network），而 EMC 是采用直连矩阵方式(新一代产品采用虚拟矩阵架构–Virtual Matrix ，其实已经放弃了直连矩阵架构了)。这些连接方式的孰优孰劣历来是厂商攻击竞争对手的着眼点，能否最大限度发挥性能是用户最需要关心的。
3PAR 针对 I/O 指令和数据移动使用不同的计算芯片。I/O 指令(元数据/控制Cache)用 Intel 的芯片，而 数据移动/Cache 则使用专门设计的 ASIC 芯片来完成。
因为有专门的硬件 ASIC 芯片用于 RAID 5 XOR 校验，3PAR 号称有了其第三代 ASIC 芯片，实现的 RAID 5 是业界最快的，甚至 SATA 盘也能有不错的性能表现。(从 Oracle 公司测试的数据来看，和 RAID 10 速度的确相差无几。)
InForm 操作系统软件与虚拟化
3PAR 的操作系统叫 InForm，最初就是面向层次化的设计。与其他存储不同的是，3PAR 所有磁盘被分成 256MB 统一大小的小盘(Chunklet)，可以根据需要用多个 Chunklet 组成 RAIDlet(逻辑磁盘)。因为这个独特的设计方式，3PAR 是可以很容易做到不同容量的磁盘混用，同一个 RAID 组里都可以有不同大小、不同转速的磁盘混用，这是其他存储做不到的。而且，所有的磁盘都可以利用，因为Hotspare Chunklet 以更小的单位分散在不同的磁盘上，也不再需要单独留热备盘。空间利用率可以更充分一些。
多说一句，有这个冗余机制，3PAR 更换磁盘也是与众不同：直接抽磁盘盒子(一个盒子可是四块磁盘啊)，我当初看到 3PAR 技术人员这么操作真是着实吓了一跳。
因为固定大小的 Chunklet 的存在，可以将 I/O 更为均匀的分散到多个磁盘上。
对于熟悉Oracle 的朋友来说，会发现这和 ASM 的思想非常接近。因而也可以和 Oracle 数据库进行无缝集成：
因为软件做得非常具有易用性，日常管理与维护远远没有其他高端存储那么复杂，新增磁盘这种事情，都是一行命令之后底层自动处理。其实在 Thin Provisioning 方面 3PAR 也是很值得一说的，比一些厂商的伪 Thin Provisioning 具体多了。限于篇幅，不赘述。
3PAR 在美国有很多金融证券行业的客户，也有 Web 2.0 行业的客户–MySpace 。在保证 I/O 响应在 10ms 以内的前提下，3PAR 的 IOPS 能力非常优异(这才是卖点，不难理解其客户多集中在证券、金融领域)。虽然有些厂商号称能得到更高的 IOPS ，但那是在 I/O 响应时间很差的情况下的数据。要说明的是，现在随着一些存储厂商在高端服务器上也支持 SSD ，未来几年如何还要再看。
前两年 3PAR 推行所谓 Utility Storage(功用存储) 理念，现在貌似改成敏捷存储了。说实话，我觉得敏捷存储真的挺适合的，3PAR 命令行批量创建 LUN 真的很让人感觉舒服。当然，也在宣传云存储和绿色存储的理念，那是题外话了。
3PAR 原来只做中高端市场，只有 T 这一个系列，现在也开始关注中低端市场了，推出了 F 系列的产品。软硬件体系基本没变，倒是没仔细看过。
当然3PAR也有几个不怎么样的地方:
1.不支持sas盘，大家都用sas，你不用，是不是有点另类？
2.换盘麻烦，不像xp，eva那样直接就拔盘（当然只是T系列），虽然这点对于用户和销售来说不是问题，但是对于工程师来说还是费劲。估计要多干10分钟的活
3.pcx-133的总线
4.虽然说背板不是个什么问题，但不管怎么说还是个单点
5.后端依然是JBOD
5.硬件感觉不如软件那么NB
6.lun的大小调整需要额外的license，不像eva，这都是基本的免费功能
7.3PAR 的技术优势在机械硬盘时期，但未来将是SSD 的时代，追求高 IOPS ，更小 I/O 响应时间，如果全用ssd即可
8.不支持raid3
1.3par相比其高端存储配置时间和复杂度大大降低，抛开xp配置的复杂度不说，只谈时间，每次做dci，格式化后，我们就可以去睡觉了。
2.相比其他中端双控存储，
他们很难做性能方面的扩展，也难以提高的更安全的保障，某些硬件故障的时候，它这个性能可能会大幅的下降，即使是某些高端的存储，如果某一个cache 板挂掉，性能可不是降低一点点哦？将近达到90%以上了。3.自动分层
他把不同类型的硬盘，如SSD、FC或者SATA，划分为256MB Chunklets，这些Chunklets被自动的分组，构成vv，以前是针对整个卷进行RAID划分，而现在，对子卷进行RAID划分。实现了分层的存储，从而让一个卷可以跨SSD、FC和STAT等不同的类型的硬盘。通过对vv中不同类型硬盘IOPS的监控，就可以实现基于策略的数据自动迁移，自动在不同硬盘底层平衡工作负载，如用SSD来满足应用对IOPS要求。系统帮他决定哪个应用需要IOPS比较高，自动把这部分数据迁到SSD的硬盘上，
不像其他存储，redolog你要不放在SSD上，要不放在FC盘或者SATA上，如果我很多的文件都要求性能很高就费劲了，都要放在ssd上，但是3par就不用了，你可以把他们都放在池子里面，性能不够加ssd，容量不够加sata，其他的，管他那，唉，做3par的cpu挺累的，真不容易，我感觉未来应该就是这样，对用户越来越透明，不过以后如果全部ssd，这个功能就可以88啦,关于自动分层吹牛的东西咱不聊，网上讲的很多，也很细，不过我看很多其他厂家也有这技术了
