光谱科技为鲁宾天文台500PB宇宙延时影像提供存储方案

位于智利的维拉·鲁宾望远镜首次发布南半球夜空图像,标志着为期十年的星系变化延时拍摄项目正式启动。该望远镜搭载32亿像素相机,每晚约40秒拍摄一次不同区域,十年内将产生约500PB数据。Spectra Logic磁带库系统负责长期存储这些珍贵的天文图像数据,为人类提供迄今最广阔、最快速、最深入的夜空观测记录。

位于智利的维拉·C·鲁宾天文台首批图像已经发布,展示了前所未有的南半球夜空视野,这标志着一个为期十年的星系和恒星变化延时电影项目的开始。光谱科技的磁带库系统将为这些图像提供长期存储。

该天文台配备3200万像素的相机,在未来十年里每晚约每40秒拍摄一张南半球不同区域的夜空图像,创建超宽视野、超高清的夜空变化延时记录,其中包含数百万颗变星的详细信息。该系统能够精确测量变星在数分钟、数天和数年内的亮度变化。这项名为时空遗产调查(LSST)的项目将在十年期间产生约500PB的数据,这将是迄今为止观测到的最宽、最快、最深的夜空视野。

鲁宾天文台拍摄人眼可见光和近红外光谱的夜空广角图像。相比之下,轨道上的詹姆斯·韦伯太空望远镜视野范围更窄(0.1度相比鲁宾的3.5度),主要工作在红外光谱。韦伯望远镜能够捕获特定天体目标的高度详细深空图像,但覆盖的天空范围仅为鲁宾望远镜的极小部分。

首批鲁宾图像刚刚发布,其中一张显示了室女座星系团的部分区域。作为对比,韦伯望远镜拍摄的是室女座中的单个星系——NGC 5068棒旋星系。

鲁宾天文台位于智利中部科金博大区的塞罗帕琼山,海拔2701米,位于拉塞雷纳市东部。望远镜相机的图像数据通过100Gbps光纤网络传输到拉塞雷纳的基地设施。初步处理在那里进行,检测到的瞬变天体事件警报会分发给全球相关机构。

每晚20TB的数据通过一对100Gbps链路传输到位于加利福尼亚州斯坦福大学的SLAC(斯坦福线性加速器中心)国家实验室。

SLAC是主要的处理中心,关于鲁宾天文台软件和数据处理的公开详情有限。我们了解到它使用Apache Spark分布式SQL数据引擎,并将配备运行在SSD、HDD和磁带上的热、温、冷存储系统。一系列分布式鲁宾镜像数据门户正在建设中用于年度数据集访问,首批门户分别位于法国里昂的CC-IN2P3中心和英国,可能在爱丁堡并使用IRIS网络。还将在公有云中设置一个门户,可能是AWS或GCP。其他站点尚未确定。

天文学研究人员将能够通过网络门户访问这些本地鲁宾数据中心。智利研究人员将能够访问拉塞雷纳站点。

SLAC将使用18框架的光谱科技Tfinity LTO-9磁带库系统来存储鲁宾图像的冷数据。该系统还存储SLAC其他项目的数据,如直线加速器相干光源(LCLS)粒子加速器和低温电镜中心(S2C2)。鲁宾档案将以每年6PB的速度增长,SLAC预计到2033年其总存储需求将达到约2EB。

SLAC将使用HPSS分层存储管理软件来操作和管理档案。法国、英国和其他地区分布式访问站点的鲁宾数据存储将由站点运营商负责。据了解,法国CC-IN2P3站点将使用Ceph文件系统和Qserbv数据库来存储鲁宾数据。该站点也配备光谱科技Tfinity磁带库。

NSF-DOE维拉·C·鲁宾天文台由美国国家科学基金会和能源部科学办公室资助。这是NSF NOIRLab和DOE SLAC国家加速器实验室的联合项目,将合作运营鲁宾天文台。

来源:BLOCKS & FILES

0赞

好文章,需要你的鼓励

2025

06/24

09:35

分享

点赞