科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道加强信息存档成为必需

加强信息存档成为必需

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

Citigroup需要重新审视自己的数据保存策略。所有的部门都需要分析自己的流程,以决定他们需要保存哪些数据,以及这些数据需要保存的时间长度和相应的访问级别。

作者:computing.co.uk 2005年10月13日

关键字:

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共2页)

    “保存磁带并且安全存储它们是一件劳动密集性的工作,而且更重要的是,追查以前的信息非常困难:如果需要查找几年前的一条信息,由于软件和硬件的环境都已经改变了,也许新的环境很难和原来的系统向上兼容。因此,我们必须保证保存了所有曾经使用过的软件版本。快速查找特定的历史数据在过去几乎不可能。”

    “用户如果有时间的话,也许能够从磁带上找到一、两年前的某一特定信息,但是如果要查找的信息是十年以前的,那几乎是不可能的。”根据法规的要求,Citigroup应该能够保存并快速查找出历史数据--比如某一特定客户在过去四年里全部的有价证券交易记录,这些记录也许包含了几千条交易记录--如果需要,还要求快速找出这些数据。通常,交易系统本身只在线存储数量有限的交易记录,可能只是六个星期的记录。但是已经存储的数据还必须可以编辑,例如,如果Citigroup在某起交易发生后,发现交易中有一个错误(错误的价格,或者类似的错误),尽管这很罕见,但是有时候交易数据仍然需要能够进行修正。

    因此,Citigroup面临着如何快速定位并编辑数量逐渐增长的数据的难题,也就是说能够像处理实时数据一样处理这些数据--但是因为性能原因,他们不能够把数据存放在操作数据库中。将数据仓库和交易数据库进行无缝整合成为必要的手段。

    因此,Citigroup决定把传统的静态存储改变为动态存储。管理层选择了Sybase IQ作为完成这一工作的工具。Szafran Athey表示,这样做的最重要的原因是“因为它所采用的技术能够支持快速响应,即使当请求的数据量非常大的时候也能够保持比较理想的响应速度,而且由于数据的压缩比比较大,所以能够高效地进行存储。”传统的关系型数据库应该针对提高交易效率进行优化。当用户发送了一个请求,特定的数据列可以根据索引找到。这增加了管理成本。因为每次读的都是完整的数据列,而随着数据体积的增大,响应时间变长了。

    另一方面,Sybase IQ不是水平结构的,而是垂直结构的。为了发现一个特定区域,不需要扫描数据列,而可以直接找到相应的数据。这缩短了访问数据所需要的时间。每个区域都生成了一类索引,这就避免了独立索引引起的访问时间增长的问题。同时,数据库可以被充分地压缩。Szafran Athey展示了一些数据来说明这种不同。“德国的Citigroup现在需要将交易数据保存4年;这样一来,所需要保存的交易总数大约是13,200,000起。每一笔交易包括大约388 bytes的交易数据。而在的SQL数据库中,由于索引的原因,每起交易数据要达到405 bytes。与之相反,Sybase IQ数据库只需要218 bytes来保存这些信息,这意味着压缩比达到了43%。我们的目标是希望通过IQ,能够在线存储10年的交易信息。”

    “决定性的因素是Sybase IQ同关系型数据库有着同样的应用界面,尽管它存储数据的方式截然不同。” Szafran Athey表示。“这意味着可以使用常用的SQL访问数据。因此每种应用都能够无缝地访问当前或者历史数据。用户可以实时访问存档的数据,将数据上载到交易数据库(在这个案例中,交易数据库是ASE),如果需要(例如,如果发现交易数据中有错误),还可以修数据,然后再次存档。交易在交易数据库中被修改的事实将会被如实记录下来。历史数据不会被荒废。”

    不同部门的最终用户现在可以自行搜索历史数据,而在以前这需要IT专家的协助,这就增加了存储的工作。存档的工作现在已经完全自动化了。每天,根据交易发生的时间长短,达到联合存档标准的数据被从ASE数据库传送到IQ数据仓库,最后存档的时间被修改。

    在线历史存档是用来满足新法规要求的主要步骤。“现在它已经在那里了,存档为公司打开了新的前景,” Szafran Athey这样表示。“一个例子是标准在线报告。如果用户以前因为忘记准备或者因为其他原因没有按时准备好还可以被系统接受的话,现在如果某一个日期被存档之后,用户就不能够再生成那一天的报告了。今天不再是问题。很多在以前想都不敢想的一些新的分析方法在现在都变得可行了,而这些方法在过去,由于时间或者经费的原因,是根本不可能的。总体上来说,现在对于过去行为进行系统性的分析几乎不再有任何障碍--无论是统计、针对市场或者CRM的趋势分析,还是流程优化--现在历史数据可以实时地被分析了。”

    很多梦想都变成了现实,诸如在数据库里,把在某一个交易日中所有价格的变动都标记出来的功能都能够实现。Szafran Athey表示:“由于在这种情况下需要记录的数据量太大,我们现在只记录每天收盘的价格。但是从理论上说,这类历史数据库让你可以记录所有的价格更新,不仅仅是一天之内的,而是几年的数据都可以记录。这可能能够为我们的生意和客户提供更多的价值。”外部需求也在增长。管理机构知道现在他们可以要求企业执行以前不可能实现的流程和程序,这都是技术进步的功劳。在线历史存档将成为一种必需。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章