KIOXIA单服务器实现48亿高维向量搜索数据库,借助GPU实现索引构建时间加速7.8倍
依托NVIDIA cuVS库和KIOXIA AiSAQ技术,以极低DRAM用量完成1024维向量索引
Kioxia Corporation今日宣布,凭借其开源的KIOXIA AiSAQ™近似最近邻搜索(ANNS)技术,成功演示在单台服务器上实现48亿向量的高维向量搜索扩展。此外,Kioxia还展示了通过NVIDIA cuVS利用GPU加速,显著缩短索引构建时间的成果。这两项成果标志着检索增强生成(RAG)搜索解决方案取得了重大进展。目前公司正持续开发,以支持超过48亿向量的更大规模部署。
大规模向量数据库的索引构建时间是行业的核心痛点。Kioxia与NVIDIA合作,演示了其在1024维高维向量的KIOXIA AiSAQ索引构建时间上最多20倍的改进,以及端到端构建时间上最多7.8倍的改进。这20倍的改进意味着,构建索引的时间从使用CPU的28.4天缩短至使用4块NVIDIA Hopper GPU的1.4天,端到端测试时间从31天缩短至4天。1
如今,AI应用可依赖存储在固态硬盘上的更大规模向量化信息(可达数百亿向量及以上),而仅靠DRAM即便在十亿级规模下也已不再适用。Kioxia借助KIOXIA AiSAQ技术,实现了十亿级搜索的高可扩展存储架构,在Milvus向量数据库环境中,使用单台查询服务器即可满足RAG应用的延迟要求。其索引构建依托GPU加速,让大规模部署变得切实可行。
NVIDIA存储技术副总裁Jason Hardy表示:“向量数据库是那些需要在海量非结构化数据集中实时理解意图、上下文和相似度的应用的核心支撑。通过借助NVIDIA cuVS库实现GPU加速索引,Kioxia支持高维向量数据库实现扩展,并以前所未有的效率构建索引。”
KIOXIA AiSAQ开源软件技术于去年首次发布,通过支持直接从固态硬盘进行向量搜索并降低DRAM用量,解决了RAG技术的可扩展性挑战。KIOXIA AiSAQ技术具备高可扩展性,非常适合多租户环境和大规模单体索引部署。该技术采用创新的全局索引(Global Index)算法,结合混合聚类和图搜索,在超大规模下实现高效向量搜索。KIOXIA AiSAQ软件提供灵活的调优选项,可在性能与大规模向量可扩展性之间取得平衡,让大规模部署更易实现和扩展。
Kioxia Corporation常务执行董事、固态硬盘事业部副总裁Masashi Yokotsuka表示:“将向量数据库扩展至十亿级规模,需要重新思考内存和计算方案。通过将基于KIOXIA AiSAQ固态硬盘的向量搜索与NVIDIA用于索引构建的GPU加速相结合,我们实现了大规模部署下切实可行的索引构建。作为行业创新者,我们将继续利用闪存技术突破AI的边界。”
Kioxia始终致力于推进由存储驱动的AI解决方案,以支持大规模智能数据处理,并持续推动KIOXIA AiSAQ向万亿向量级部署迈进。
|
注: |
|
1. 本次基准测试共处理了19.66 TB向量数据。性能或基准测试结果可能因主机设备、读写条件、数据大小及其他因素而有所不同。 |
|
KIOXIA AiSAQ是KIOXIA的商标。 |
|
公司名称、产品名称和服务名称可能第三方公司的商标。 |
关于Kioxia
Kioxia是全球存储解决方案领域的领军企业,致力于闪存和固态硬盘(SSD)的开发、生产和销售。其前身Toshiba Memory于2017年4月从1987年发明NAND闪存的公司Toshiba Corporation分拆而出。Kioxia致力于通过提供产品、服务和系统来为客户创造选择,并为社会创造基于存储技术的价值,从而提升世界的“记忆”。Kioxia创新的3D闪存技术BiCS FLASH™正在塑造存储技术在高密度应用领域(包括高级智能手机、PC、汽车系统、数据中心和生成式AI系统)的未来。
本文档中的信息(包括产品价格和规格、服务内容和联系信息)在公告发布之日是正确的,但如有更改,恕不另行通知。
- 中国行业品牌百强名企三花携手奥哲低代码,助力精细化成本管控
- 第七届中国家装职业技能大赛暨轩尼斯门窗全国5U门窗安装工技能大赛合肥赛区
- 百花奖最佳女配角提名发布 袁泉赵丽颖万茜徐冬冬 你最欣赏谁呢?
- 创造真正的社交环境,Terra Wallet对社交互动的影响
- “大号地铁”贯通 “广佛同城”再提速 --从“硬联通”到“软对接”
- Bitget Report: 66% of Crypto Users Plan to Increase Investment, Driving Global Growth
- 北京地铁一号线年货专列开启,元岐食养与您一起过健康年——热烈庆祝元岐(浙江)生物科技有限公司入选北京地铁1号线年货进京专列
- 刘荫祥的意义 何家英/文
- 破局者北芯生命:打破技术垄断,推出国内首个获批的国产金标准FFR产品
- 啄木鸟家庭维修:引领维修服务新风尚,见证行业变迁的里程碑
- 父亲节厨房焕新,Liebherr利普赫尔助力打造家的「第二会客厅」
- 浙江音乐联盟与湖滨街道共庆第34个全国助残日,爱心汇聚温暖人心
- 曾为故宫定制高级珠宝,轩灵珠宝大雅仁风·故宫系列发布新品
- 【跨界新风尚】中科金财携手快手,共吟《浮梦吟》——解锁数字娱乐新纪元
- UPAD 推出 “Rakija Gate”——巴尔干首个反机器人协议,恰逢该地区史上遭遇网络攻击最严重的演唱会门票开售
- PUMA 2023年温室气体排放量减少24%
- 布瑞琳BRANEW:高端洗护领航者,铸就品质生活新典范
- Lifezone Metals宣布启动坦桑尼亚卡班加镍矿项目的项目融资流程
- Vaping Expected to Increase COPD Health and Economic Burden by 2050
- 美柚新妈演习生第三季:创意公益+沉浸预演,延续母婴公益IP
- New Milestone: NIRI and Taiwan's TIRI Advance Global IR Standards
- 临商银行北城支行营业部多措并举做优服务
- 上海德馨医院耳鼻咽喉科:治疗咽炎新突破,守护咽喉健康
- 破局湾区,共赢未来!红棉花广佛肇300人大会解码“破卷”新范式
- 吴钩足球总决赛决出8强
- 2025会宁丹参产业推介活动启动 众合开创协同
- 云克隆:以创新之力突破减重科研壁垒,赋能全球应对肥胖挑战
- 浪潮汹涌,邀您一同前行! 日照亚太数字口腔智能智造技术大奖赛征集中!
- “体系防护,人宠安全”, “澄喵喵”宠物湿巾创世界纪录,以科技践行人宠和谐共生
- 工业烟气脱硫脱硝氨逃逸AI精准控制:开启智能环保新纪元
推荐
-
奥运冠军刘翔更新社交账号晒出近照 时隔473天更新动态!
2月20日凌晨2点,奥运冠军刘翔更新社交账号晒
资讯
-
周星驰新片《少林女足》在台湾省举办海选,吸引了不少素人和足球爱好者前来参加
周星驰新片《少林女足》在台湾省举办海选,吸
资讯
-
王自如被强制执行3383万
据中国执行信息公开网消息,近期,王自如新增一
资讯
-
看新东方创始人俞敏洪如何回应董宇辉新号分流的?
(来源:中国证券报)
东方甄选净利润大幅下滑
资讯
-
透过数据看城乡居民医保“含金量” 缴费标准是否合理?
记者从国家医保局了解到,近期,全国大部分地区
资讯
-
国足13次出战亚洲杯首次小组赛0进球
北京时间1月23日消息,2023亚洲杯小组
资讯
-
一个“江浙沪人家的孩子已经不卷学习了”的新闻引发议论纷纷
星标★
来源:桌子的生活观(ID:zzdshg)
没
资讯
-
新增供热能力3200万平方米 新疆最大热电联产项目开工
昨天(26日),新疆最大的热电联产项目—&md
资讯
-
男子“机闹”后航班取消,同机旅客准备集体起诉
1月4日,一男子大闹飞机致航班取消的新闻登上
资讯
-
中央气象台连发四则气象灾害预警
暴雪橙色预警+冰冻橙色预警+大雾黄色预警+
资讯

