2025-03-25 02:25:35
84,2666次浏览
新浪科技讯3月14日下午消息,清华大学高性能计算研究所翟季冬教授团队与清华系创企清程极智联合宣布,大模型推理引擎“赤兔Chitu”正式开源。据悉,该引擎实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,打破“硬件绑定”困境,为国产AI芯片的广泛应用和生态建设带来了新的突破。
DeepSeek的发展推动了FP8精度模型成为行业主流,随着DeepSeek的持续火热,企业大模型私有化部署的需求也呈现井喷态势。然而,当前全球领先的FP8模型长期依赖英伟达H系列高端GPU,这使得国内企业在部署大模型时受限于AI芯片供应获取的限制。
据悉,此次开源的“赤兔”推理引擎通过底层技术革新,首次实现了非H卡设备(包括英伟达Hopper架构之前的GPU卡及各类国产卡)对原生FP8模型的高效部署,摆脱对特定硬件的依赖,降低了企业部署AI模型的门槛和成本。
在首期开源版本中,赤兔引擎部署DeepSeek-R1-671B满血版时,在A800集群的测试中,相比部分国外开源框架,GPU使用量减少50%的情况下推理速度仍有3.15倍提速。这意味着企业可以用更少的硬件资源获得更高的推理性能,极大降低了部署门槛和运营成本。而且,在帮助企业降本增效的同时,赤兔引擎的技术可实现模型效果不受损。
目前,赤兔引擎目标建立覆盖从纯CPU到大规模集群的全场景大模型部署需求,适配英伟达多款GPU及多款国产芯片。为帮助企业提供开箱即用的部署方案及专业运维服务,清程极智还推出了基于赤兔的“推理一体机”,进一步简化企业AI落地流程。
清华大学翟季冬教授强调,赤兔凝结了团队多年并行计算与编译优化技术积累,目标是“弥合先进模型与多样化硬件之间的差距,让国产算力真正‘跑起来’,为中国大模型产业落地提供关键支撑”。清程极智CEO汤雄超表示:“赤兔的定位是成为连接多元算力与大模型应用的桥梁。ag凯发_凯发一触即发不仅支持英伟达全系列GPU,还针对国产芯片深度优化,未来将陆续开源适配版本。”(文猛)
责任编辑:刘万里SF014
我想成为苏州的一棵树
清华团队开源“赤兔Chitu”推理引擎,宣布打破英伟达“绑定”困境
「活动」YqxWxksfArydlj8vbj
下载男女又爽❌又黄❌免费漫画安装你想要的应用 更方便 更快捷 发现更多
87%好评(72人)
35
-
软件大小:
59.97MB
-
最后更新:
2025-03-25 02:25:35
-
最新版本:
V57.56.58
-
文件格式:
apk
-
应用分类:ios-Android
初音未来被❌到爽COS
-
使用语言:
中文
-
:
需要联网
-
系统要求:
5.41以上
一,男性脱👙给我揉🐻亲嘴二次元污被❌黄网站观看安装
二,小心🐤入🍑🍑视频漫画,小🐔🐔使进🔞🔞
三,美女的胸❌又黄❌又大精,女同学被❌到爽自慰网站
四,5📅5we·🖕🏽com主播视频下载,裸体全身㊙️无遮挡免费视频
五,国产区🔞成人视kkhxnd,jK❌裸体❌白丝❌
六,欧美🧑🏿❤️💋🧑🏻日韩大👨🦽➡潮喷水,中国美女赤裸🚶🏾♀️➡️直播🔑软🇦🇺件
七,二次元美女被❌超污安慰
【联系ag凯发_凯发一触即发】
客服热线:139-2501-646
加载更多
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:35
-
2025-03-18 02:25:36
-
2025-03-18 02:25:36
-
2025-03-18 02:25:36
-
2025-03-18 02:25:36
-
2025-03-18 02:25:36