科技时代新浪首页 > 科技时代 > 硬件 > 正文

把10万部电影存进去 近线存储系统揭密


http://www.sina.com.cn 2004年12月18日 15:26 PCPOP-电脑时尚
要久、要准、还要快 企业存储新挑战

        许多人经常抱怨,在深夜或凌晨前往自动柜员机提款,会出现“暂停服务”的沮丧情形,即便换另一台提款机,也会遭遇同样的情况,这并非是提款机的问题,而是该金融卡的原服务银行,其主机系统正在停机检测或数据备份,无法提供前端服务。

    类似的情形也很多,例如浏览某网站时,会公告何日何时因为某因素要暂时关闭网站,约关闭多久才会恢复。凡此种种从信息系统的管理角度看,即是服务系统的运作时间(Up Time)不够,或系统停机、停顿、停止服务(Down Time)的时间过久,在今日Internet遍布风行的情况下,所有的服务系统都在追求永不停顿及全天候运作(7x24)。

    不仅是柜员机服务、网站服务被更高度要求,实体服务也是相同,过去经常有“抢轧三点半”的情形,如今积极的银行都尽可能延长其营业时间,如到下午5点、晚间7点等,甚至也开始试行六、日的例假日营业,相对的有高达3,000个分局、支局的机构似乎还未考虑要加时营业、假日营业。

把10万部电影存进去近线存储系统揭密
图为:近线存储系统

    这是EMC于2002年5月发表针对Near-Line存储领域的新系列存储系统??Centera,后续的Centera亦是全面采用ATA接口硬盘。Centera具备自有的API(应用程序接口),软件业者与企业用户,可运用API改写程序,如此即可从MO Jukebox转移成使用Centera。

    接着我们将情境转到另一时空,不知各位是否还记得:2002年11月左右,美国政府对华尔街(Wall Street)5家知名的金融公司予以罚款,包括高盛证券(GS)、摩根史坦利(MWD)、花旗集团(C)的投资银行部门:U.S. Bancorp.(USB)所属的U.S. Bancorp Piper Jaffray、以及德意志银行(DB)的证券部门,总计罚款达830万美元,受罚原因是:未依联邦主管部门的要求将电子信件进行留存。

    美国对证券业者于营运上的电子文件留存规范,是要求2年内的数据要能立即被调阅,而即便2年过后也依然要再保存1年,但这1年的留存就不再硬性规定立即调阅,可以用其它方式留存。诸如此类的要求,多是为了日后配合法令调查之用,包括金融业者的客户可能涉及洗钱,或金融机构本身可能违约交易等,届时持续留存的电子数据、文件就成为记录左证。

    至于对电子信件、数据、文件的调阅有响应时间上的要求,亦是要避免受调机构利用时间拖延而伪造相关记录,因此不仅数据未留存要受罚,就连有留存,但调阅时间过长也一样要受罚,理由是时间愈长,造假的可疑性就愈高,因此这些规范都在平时就对企业进行要求,以便在突如其来的配合调查中能够从容因应。

    金融证券业如此要求,其它机构与行业也有宽松不等的相近规定,例如在恩隆(Enron)会计丑闻案后,美国证管会订定了沙宾法案(Sarbanes Oxley Act;SOA),要求会计帐务等相关资料要留存4年以上。而不同产业的营运数据也各有不同年限要求,例如医疗记录必须保存21年,健康保险相关的OSHA(Health Insurance Portability and Accountability Act;OSHA)要求存留达30年,甚至美国证券交易委员会的第17a-4条法案(U.S.-SEC Rule 17a-4,简称:SEC 17a-4)更要求资料要保存到该业者结束营运为止。

    不仅要长时间留存,更要在不时的情况下,于规定时间内将数据调阅、呈现。虽然此等严苛要求尚未适行于国内,但在发生多起上市公司掏空案(博X、讯X)后,此类问题也渐受重视。如同国内外一连串的天灾人祸后,企业才开始重视异地备援、灾后复原(Disaster Recovery;DR),同样的在国内外一连串的金融问题曝光后,公司治理(Corporate Governance)也成为企业不得不面对的问题,即是不待政规、法案来要求,自身就先作好稽核内控。

    更严肃地说,就算国内法规未要求,企业为了自身的商业利益也必然要重视。今日许多代工业者会被国外订单客户要求各种数据安全规范(如BS7799),若无通过规范认证也就无资格争取订单,或者企业要上市上柜、增资、发行公司债,承接此等业务的金融业者,也开始对相关营运数据的完整性有日益高标的要求。

    不过,相当令人失望的,根据IDC作过的调查,办公室内的活动作业中,理应是多数时间在处理信息,然实际结果却是有一半的时间耗在搜找信息,只有另一半的时间是在处理信息。由此可知数据的找寻、调阅速度已大大影响工作效率,特别是今后企业对信息部门的绩效评估,将把服务层级(Service Level)也列入重要考虑,如果信息服务不能愈快提供,或是在服务停顿时不够尽快恢复,如此即是服务层级的表现过低,相反的若能作到实时提供、永不停顿,那么企业就会肯定这是个高价值、高满意度的信息部门。

近线存储的需求源起

    前述的银行加时营业,以及法令对数据留存年限、调阅速度的强制规范,两个例子乍听之下似乎毫无关连,但其实与企业的信息存储环境设计大大相关。

    让我们先看看企业现有的信息存储环境设计。为了在营业时间内给予客户快速、满意的服务,企业会准备高速、昂贵的存储系统,此称为在线存储(On-Line Storage)系统,过去是使用与大型主机、服务器直接对应连接的磁盘阵列柜(Disk Array,今日也称Direct Attached Storage;DAS),如今则逐渐转成SAN存储设备。

    接着,相信各位都有经验:金融卡提款若累积达一定交易笔数或一定交易金额,并且又没有补登存折,则无法继续使用金融卡交易,一直到补登存折后才行。如此设计的原因,多半是由于交易系统的数据库要维持一定的存取效率,然而数据库所存储的数据会日益庞大,就会连带地让数据库的效率产生影响,进而减慢交易响应、反应的速度。

把10万部电影存进去近线存储系统揭密
图为:近线存储系统

    NetApp的近线存储系统??NearStore R200型,单一机柜可装置56颗ATA硬盘,单颗硬盘目前最高至274.4GB容量,如此单机可至16TB,最高单一系统可串接6部机柜,达96TB。

    因此,银行会将过久的交易数据自交易数据库中撤出,即是将过久的交易数据(亦可称为:历史交易记录)复制到磁带库中的磁带,让数据持续留存,然后再将复制过后的数据从交易数据库内予以删除,以此方式将交易数据库的容量维持在一定范畴之下,进而常保服务质量(服务速度亦是服务质量的一环)。

    至于为何是复制到磁带中?答案是:以磁带组成的磁带库,其存储特性正好与前述交易用的硬盘柜全然相反,是慢速但低廉的存储媒体,企业无论是为了自身的营运分析检视,还是为了因应政策法规,都会留存多年且大量的作古数据,而这些数据不会再用于营运服务上,所以较无直接、立即的存取要求,但庞大的存量又需要便宜的存放方式,因此磁带最为理想合适。也因此磁带库被称为离线存储(Off-Line Storage)系统,即是不参与立即性的信息服务运作,故称“离线”。

    一般而言,企业只要有“在线”与“离线”的存储系统即够使用,但对于某些行业而言,有时必须从已封存的数据中,再度将数据调阅出来(纯读取历史数据),甚至是将调阅出的数据进行小幅修改(读取、写入历史数据)等需求。例如芯片设计公司会翻阅已经停产的设计电路图(参考改进),医院会调出11年前曾来就诊病患的X光片(旧疾复发),又如广告公司已结案或取消的创意提案(激发新创),或是律师事务所多年前的诉讼记录(判例比对),以及图书馆多年馆藏的取用(过去尚无数字化技术前,多半用micro fish微缩胶卷来缩减收藏空间)。

    前述的历史数据被再度调阅,也仅在于读取,若将历史数据进行写入修改,反而成了“窜改历史”,是不被允许的。但有些运用却又是允许小幅修改、写入,例如户政单位将失踪已久的人口数据从服务用数据库中移出,然而某一日失踪者被寻获确认,则必须将数据重新调出,并将“Loss”的记录改成“Dead”,当然!若失踪者归返,数据就会自封存重新放回运作数据库中。

    由于有重新取调的需要,且也有一定程度的频繁性,因此慢速的磁带库难以满足,但也不需要如服务运作般地快速,若用硬盘柜来兼任调阅工作,不仅可能让原有的交易、服务等正务遭拖慢,也没有如此快的调阅需要,同时将调阅数据放在在线硬盘柜中,存放的空间成本也会较高,不利于企业节费。

    所以,在On-Line、Off-Line外,又多出一个折衷需求的地带,此即称为Near-Line Storage(近线存储),且多是由磁光盘片(Magneto Optical, MO)所组成的磁光盘库(MO Jukebox)来负责,并区分成两类:Rewritable(可再写入)、Write-Once(仅写一次,亦称:WORM=Write-Once, Read Many,或许近年来WORM容易与资安议题牵扯,WORM一词几乎都改称成Write-Once)。Rewritable即允许再小幅修改、写入,而Write-One即是Read Only的特性,刚买回的MO片为空白,写入一次后,未来就只允许读取,不得再写入,所以称为:Write-Once。(规则特性上类似电子电机组件中的OTP ROM,OTP=One Time Programmable)

Near-Line存储领域的新宠:ATA硬盘柜

    在企业的信息存储环境发展成On-Line、Near-Line、Off-Line三个层面及取向后,已是相当完整的设计,事实这样的组态方式也已在众多企业机构中使用、实证多年,应当无更多修改,之后即便从直接连接的作法,改换成网络连接的方式,也仅是让存储资源的运用、调度更为活化,对于三种存储的特性与需求未因此而改变。

    不过,正因为企业对信息系统的“Uptime”不断地要求(最好永不停,但不可能),并将停机视为商务营运成本(Downtime is Cost.),使得存储环境的架构再起变化。现在许多在线存储系统之所以无法服务客户,并非是硬件机件坏去或软件程序问题,而是将数据备份到离线存储设备时,离线存储的写入速度过慢,使在线存储必须迁就其缓慢的备份速度,一直到备份完成才能完全抽身,重新对前端提供服务。

把10万部电影存进去近线存储系统揭密
图为:硬盘

    ATA硬盘的容量大增、价格大降,并且从过往的PC端延伸到企业用的Near-Line、Off-Line存储设备上,加上Serial ATA接口的出现,未来ATA硬盘的效能亦有更大的发挥潜能。图为Seagate最新的Serial ATA硬盘:Barracuda 7200.8系列。

    由于是数据备份,且为保持数据统一、一致,在备份过程中不允许同时进行存取交易。所以尽快让备份工作完成,成为愈来愈重视的课题,即便企业为信息系呈敌懈呖捎眯裕?igh Availability;HA)的设计安排,也不会让备份速度有所提升,因为高可用性只能确保信息硬件或软件程序在坏损时有备援机制能及时接手,然就如前所述:数据必须集中、一致,不能闹双胞,因此数据库依然只有一套,高可用性的备援作法无法套用在数据库上。

    至于该如何加速备份?不能让迁就慢速磁带的窘境持续下去,许多存储硬件业者、存储管理软件业者都为此设想各种改善方式,例如不透过备份执行服务器,直接让备份数据从硬盘柜通往磁带库,减省一道过境程序,此称为“Serverless Backup”。或由备份软件同时驱动多个磁带内的读写臂,将备份数据进行多份的平行分拆,然后快速写入多个离散位置的磁带中,尽速让在线存储设备将备份数据释尽,及早恢复正常服务运作,而磁带库在密集接受分离存放的数据后,待离峰时间时再逐一将零散放置的数据重组回完整、连续存放的数据。

    不过,在多种加速备份的技术中,以“Tape Buffer/Cache”最为直接有效,即是不将备份数据直接送入磁带库,而是先送到以“ATA接口硬盘”组成的硬盘柜内,之后才转移至磁带库。

    由于ATA硬盘的价格、容量、速度等表现,在这数年内有高度的成长,虽然论速度依然稍不如高阶的SCSI硬盘、光纤信道(Fibre Channel;FC)硬盘,但在容量、价格上却比SCSI/FC硬盘更有利,既然速度无法超越SCSI/FC硬盘,但却又远快于磁带,唯每单位存储成本依然高于磁带。从这样的媒体属性表现,很明显的是与Near-Line Storage相似的用途定位:速度高于Off-Line Storage,价格低于On-Line Storage。

    另外,所谓的Tape Buffer作法,是让On-Line Storage将备份数据送至ATA硬盘柜后,即算完成备份作业,可以及早恢复正常服务工作,之后再由ATA硬盘柜将数据转拷至磁带库中,完成最终、真正的低成本封存,如此ATA硬盘柜如同磁带库备份的前置缓冲存储区,故称为Tape Buffer,或亦可称为Backup Buffer。

    至于Tape Cache,则是Near-Line Storage的本务角色,成为已封存数据的调阅系统,由于存放的仅是可能、经常频繁调阅的数据,而非全部的封存数据,因此称为Cache(快取),若真的遇到需要调阅的数据未放在Near-Line Storage上,也是由Near-Line Storage向磁带库发出调用需求,待取得数据并复制到Near-Line Storage内部后,再传送给需要调阅的使用者中。此外,ATA硬盘本身就是可读可写的媒体,只要在Near-Line Storage机内进行机制设计,也可以模拟成只读型的调阅系统。

继承Cache 担任Buffer 迎接的ILM/DLM

    由此来看,Near-Line Storage从过去的只读调阅、修改调阅,又新增了一个备份缓冲的任务。然在谈论如此多的存储属性与运作机制后,我们回过神来看最前头的商务要求:要更长、更连续、更少停顿的服务时间,要在作业规范、法令要求的时间内将指定的数据及时调阅,如果企业在现有的存储设备与环境中没有将近线存储系统考虑进去,则将会愈来愈难满足商务营运上、政令规范上的要求。如此使过去只有部分产业才可能受用的近线存储设备,变成各个企业都可能有需求。

    除了用ATA硬盘柜外,用既有的磁光盘库来因应可否?就笔者的角度似乎力有未逮,磁光盘的存储媒体,其速度、价格等表现提升皆有走缓的迹象,所以也有其它擅长光学存储技术的业者试图用其它光储媒体来替代磁光盘库,特别是已经成熟、普及的DVD技术最被推崇,对于Write-Once需求的用户可换用DVD-ROM、DVD-R、DVD+R,对于Rewritable需求的用户则可改用DVD-RW、DVD+RW、DVD-RAM,且由于光学读取装置兼容过去的CD-ROM格式,因此也允许初期成本考虑或其它因素,而用CD-ROM/CD-R/CD-RW等来代替,此种以DVD光盘技术组成的新种光盘库,称为:DVD Library(DVD光盘库)。

把10万部电影存进去近线存储系统揭密
图为:近线存储系统

  [1]  [2]  [下一页]



新浪科技24小时热门新闻排行     硬件驱动程序高速下载

评论】【硬件论坛】【推荐】【 】【打印】【下载点点通】【关闭
 

 
新 闻 查 询
关键词一
关键词二



热 点 专 题
健力宝收购案风云突变
联想收购IBM PC业务
高峰私生子案一审判决
中外乒乓球明星对抗赛
女人与车的美丽约会
自己建房开发商靠边站
图集:中外豪宅大比拼
娱乐风月图鉴
岁末读书频道大盘点

 
 



科技时代意见反馈留言板 电话:010-82628888-5488   欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

Copyright © 1996 - 2004 SINA Inc. All Rights Reserved

版权所有 新浪网