大型归档架构规划是HPC问题？

PCIe带宽

历来许多PCIe总线都不能按额定性能运行，因此PCIe总线可能是系统架构中最关键的一部分。对于现在大多数的CPU架构，内存带宽至少是PCIe总线性能的2倍甚至是8倍或以上，而内存带宽又比CPU性能要慢。这就意味着PCIe带宽对于校验计算最为关键。购买PCIe总线带宽不佳的机器将限制校验计算的速度，因为需要让数据进入内存。

最近PCIe 3.0标准已得到批准，PCIe 3.0系统有望在今年晚些时候面市。这将有助于PCIe性能增加一倍，但诸如AMD、IBM和英特尔等厂商的最新技术也大大增加了内存容量。问题就在于PCIe 3.0仅比PCIe 2.0增加了一倍的性能，而内存带宽的增加速度更快。这种不平衡会影响到从存储中能够读取多少数据以及验证校验和的。

存储带宽

存储性能既不能与PCIe带宽保持一致，也赶不上内存带宽，因此存储带宽对校验和验证也起着决定性的作用。虽然闪存技术比旋转存储具有更高的带宽，但对于大型归档系统来说，它不符合成本效益。
存储资源必须能够以一个合理的速度读取数据。如果一个10PB归档系统想要每30天验证一次校验和，则需要刚刚超过4GB/s的带宽（10PB /（30 * 24 * 3600），而带宽4GB/s并不包括从用户那里撤回的采集和文件。这意味着存储系统必须能够以4GB/s的带宽从磁盘或磁带读入内存。显然，对于每30天的验证，考虑其高成本，是不实用的。但验证需求（验证归档系统的频率）必须设计到架构之中，也应该成为一个主要的架构考虑。

结论

数字格式的可靠性受到众多因素的影响，位衰减、硬件损坏、基于标准信道错误率的无记载数据损坏可能性以及其他因素。校验和验证具有多个副本，因此保证归档系统数据有效至关重要。使用可靠的校验和可改进验证进程，却增加了计算需求。

而关键是需要一个平衡系统，以满足校验和验证、采集和访问的需求。平衡CPU、内存、PCIe和存储带宽通常是架构规划进程中很困难的一部分。

大型归档系统和大型HPC难题之间唯一的区别在于节点间的网络连接，鉴于HPC高性能低延迟的需求，HPC一般使用InfiniBand。

大型保存归档系统可以得益于HPC系统发展而来的架构技术。在大型归档系统中，如果不定期核查数据，就不能保证多年后还是同样的数据，因为定期核查降低了多个数据副本被损坏的可能性。