以色列初创公司 Regatta 正在构建一个可扩展的、支持事务处理 (OLTP) 和分析处理 (OLAP) 的关系型数据库 (OLxP),并可扩展至半结构化和非结构化数据。该公司表示,这是 Postgres 的即插即用替代品,从一开始就被设计为支持 SSD 存储。其架构在联合创始人兼首席技术官 Erez Webman (前 ScaleIO 首席技术官,该公司于 2013 年被 EMC 收购) 的博客中有详细讨论。
这种 OLTP+OLAP 的组合已被其他供应商采用,如 SingleStore 添加了索引向量搜索以加快 AI 查询速度。SAP HANA、具有内存选项的 Oracle 数据库、具有内存 OLTP 的 Microsoft SQL Server、具有 Redshift Spectrum 的 Amazon Aurora、带有 Citus 或 Timescale DB 扩展的 PostgreSQL 都提供组合的事务和分析数据库功能。Regatta 正在进入一个相当成熟的市场,并认为其架构具有优势。
Webman 表示:"Regatta 主要是一个无共享的集群架构,异构节点 (服务器、虚拟机、容器等) 可以协同工作,以并行/分布式方式执行长期 (以及短期) SQL 语句,节点之间支持多对多数据传播 (即中间数据无需通过中心节点)。"每个存储驱动器"只能由集群中的单个节点访问"。
Regatta 集群设计支持数千个节点,可支持不同大小和配置的节点,这些节点可以提供计算+存储、仅计算或仅存储功能。数据库可以托管在本地物理或虚拟服务器以及公共云中,并可作为服务使用。
Regatta 与 MongoDB 等分片扩展数据库的不同之处在于支持跨节点边界的分布式 JOIN,并确保即使行位于不同节点上也能保证强大的 ACID 特性。
该公司开发了自己的并发控制协议 (CCP),提供完全可序列化和外部一致性的隔离级别。在数据库支持并发用户或应用程序访问的情况下,不同用户的操作需要保持独立,不互相干扰。这就是并发控制的目的,可以采用悲观或乐观设计。悲观设计假设事务之间的数据访问冲突可能发生,并使用锁确保同一时间只有一个事务可以访问或修改数据。
乐观设计假设事务数据访问冲突很少见,允许事务不受限制地进行,直到需要提交更改。在提交之前,每个事务都会经过验证阶段,检查其读取的数据自最初读取以来是否被其他事务修改 (使用时间戳或数据版本)。
Webman 表示,Regatta 的 CCP "主要是乐观的,但与大多数乐观协议不同,它在检测到冲突时不会导致事务中止 (当然,除了死锁情况,在这种情况下,乐观和悲观协议都倾向于中止每个死锁循环中的一个事务)"。它是无快照的,不需要时钟同步。
短期或长期一致/可序列化的只读查询可以在实时、最新的事务数据上执行,而不会阻塞写入事务的进行。
Regatta 直接在原始块存储之上实现自己的行存储数据布局以优化 I/O 性能,不需要任何底层文件系统。这是一个与 LSM 树设计有很大不同的日志结构数据布局。它的设计考虑了对其他类型行存储、列存储、blob 存储等的可扩展性。Webman 表示,"第一种行存储数据布局类型专门针对闪存媒体进行了优化。它使我们能够在同一个表中最优地支持传统的固定大小的小行和具有大动态范围大小的可变大小大行"。
据了解:"Regatta 的 B+树 (例如用于索引) 大量利用闪存媒体的高并发读取特性,与假设使用更'通用'底层存储 (即磁性硬盘) 的算法相比,可以实现明显更快和更高效的 B+树访问。"
CEO 兼联合创始人 Boaz Palgi 告诉我们,Regatta 系统旨在确保: - 在完全实时的事务数据上执行复杂和实时查询 – 例如电信公司的客服代理收到刚刚为套餐添加漫游服务的用户关于漫游的问题。 - 执行事务,使同一代理理解用户应该同时添加意大利和法国的漫游服务,而不是仅添加法国,并需要进行相应修正。 - 通过简单添加更多节点,在不更改业务逻辑代码的情况下线性提升事务和分析性能。这对于在增加大量代理的同时保持业务运转至关重要。
他说:"传统数据库无法提供性能来处理这种代理生成的负载,大多数数据库也无法在同一个数据库中结合 OLAP 和 OLTP。数据仓库无法支持代理的事务工作负载。当您希望代理不仅仅处理陈旧的基于存档的数据时,ETL 就成为一个问题。"
对于生成式 AI,"我们目前没有做任何特定的工作,不过我们将添加一些功能。"
好文章,需要你的鼓励
Lumen Technologies对美国网络的数据中心和云连接进行重大升级,在16个高连接城市的70多个第三方数据中心提供高达400Gbps以太网和IP服务。该光纤网络支持客户按需开通服务,几分钟内完成带宽配置,最高可扩展至400Gbps且按使用量付费。升级后的网络能够轻松连接数据中心和云接入点,扩展企业应用,并应对AI和数据密集型需求波动。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
RtBrick研究警告,运营商面临AI和流媒体服务带宽需求"压倒性"风险。调查显示87%运营商预期客户将要求更高宽带速度,但81%承认现有架构无法应对下一波AI和流媒体流量。84%反映客户期望已超越网络能力。尽管91%愿意投资分解式网络,95%计划五年内部署,但仅2%正在实施。主要障碍包括领导层缺乏决策支持、运营转型复杂性和专业技能短缺。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。