英博数科发布多款英博云智算产品与服务行业首提“单位有效算力成本”评价标准
时间: 2024-12-14 05:40:32 | 作者: 米乐m6易游下载
- 方案介绍
12月13日,在AICon全球AI开发与应用大会(AICon 北京 2024)上,英博数科CTO李少鹏正式对外发布了多款“四大板块,专注于提供高效益、多样化的GPU智算产品及服务,助力企业加速AI研发技术和业务发展。与此同时,英博数科还在会上首次提出
随着人工智能技术的广泛应用,智算行业正从规模化扩展迈向精益化运营,并呈现出三大关键发展的新趋势。一是全球通用大模型训练对算力的需求持续攀升,集群规模从千卡级跃升至万卡乃至十万卡级,成为推动大模型技术进步的重要基石。二是垂直行业的AI应用迅猛发展,各行业对算力的需求更加分散且动态化。从科研、金融到娱乐、零售,各领域企业迫切地需要灵活且弹性的算力支持,以满足多样化场景需求。三是在AI商业化加速的背景下,推理场景对算力的需求迅速增加,逐渐超过训练算力需求,成为市场发展的核心驱动力。
然而,高昂的算力成本已成为制约大模型技术演进和应用繁荣的主要障碍。时至今日,算力行业依然缺少有效的成本效益评价体系,难以精准衡量实际算力利用水平。对此,英博数科创新性地提出了“单位有效算力成本”这一评价体系及计算公式,定义行业评价标准。
与传统以装机算力、设备成本、机电成本和运维成本等固定支出为核心的评价体系不同,“单位有效算力成本”将评价重点从硬件投入转向实际效益通过引入“卡可用率”“卡利用率”和“模型算力利用率(MFU)”三大关键指标,这一创新体系能够精准衡量实际算力利用水平,有效规避了算力资源闲置、设备故障频发及整体利用率低下等行业痛点导致的评估误差,提升算力效率和效益评价的准确性。
“单位有效算力成本”的提出,为智算行业的高效运营提供了重要参考路径,为推动算力行业向透明化、高效化和可持续化发展注入了强大动力。
为响应智算行业发展的新趋势,英博云通过多款高效益、多样化的GPU智算产品及服务,涵盖智算中心建设运维、GPU容器服务、先进算力实验室和产业孵化器四大板块,为企业加速AI研发技术与业务创新提供全方位支持。
针对通用大模型的集中式、大规模训练的需求,英博云凭借丰富的智算中心交付经验,可提供一整套标准化、模块化的智算中心建设运维解决方案。其自研的高性能并行存储解决方案、专业的硬件测评与检测体系以及细粒度的集群监控和自动化故障恢复体系,能够在提供高硬件稳定性集群的同时,提升集群的可用性。依托成熟的算力调度平台,英博云还支持通过容器化形式为长尾客户提供高效、弹性的算力服务,有效满足多种规模和需求的用户。
英博数科智算中心建设运维解决方案目前已在京能项目落地。英博数科在智算中心建设运维方面拥有的独特优势,成为推动项目持续进展的核心力量。供应链方面整合资源与众多供应商合作保稳定,集群运维组网方面从选型到建设交付皆有高标准规范与专业保障,推动项目进展,未来有望与更多智算中心项目落地助力产业发展。
面对垂类大模型分散、动态的训练需求,英博云为中小客户提供高效、弹性的GPU容器服务。通过Vcluster形式,英博云提供GPU和CPU资源混合的弹性K8S集群服务,满足大模型并行训练的工程需求。与此同时,英博云支持SSH和Kubectl管理操作,为用户所带来灵活便捷的体验。秒级别的容器启停和计费粒度,企业级的并行存储服务,使其能够提升GPU资源使用效率、降低使用成本,并能支持容器数据持久化和模型数据的高速共享。加之英博云提供内网预定义场景镜像仓库、常用模型库、常用数据集等数据源服务,可以有明显效果地提高数据准备和环境配置效率。截至目前,除了京能集团、百川智能、无问芯穹、潞晨科技等产业界有名的公司,英博云更为众多中小企业、权威学府、科研院所的垂直大模型需求提供弹性、灵活的算力产品与服务,共筑AI产业链坚实合作生态。
先进算力实验室致力于成为业界顶尖的算力性能评测中心,围绕硬件评测、软件评测以及行业服务展开工作,为企业算力基础设施的升级与优化提供前瞻先进、切实可行的建议,助力提升算力效率和业务表现。在硬件评测方面,对GPU、交换机、光模块、并行存储等进行严格测试,确保设备性能符合高标准;在软件评测方面,涵盖基座模型、训练框架、微调框架、推理框架等,为智能算力的优化提供全方位支持。通过提供行业标准制定和定制化服务,先进算力实验室助力企业在智能算力领域不断突破创新。实验室已经开展工业界主流GPU芯片的测试。
此外,产业孵化器通过联合AI产业链上下游,探索算力组合投资新模式,挖掘AI产业潜在方向,赋能公司实现研发技术与业务扩展的双向突破。
英博云系列智算产品与服务的发布,不仅彰显了其在智能算力领域的技术实力与产品的优点,更为行业发展注入了强劲动力。通过创新评估体系与多样化解决方案,英博云正引领行业迈向高效益、多样化和可持续发展的新阶段。未来,英博云将持续深耕智能算力领域,以技术创新为核心驱动,与行业伙伴携手探索AI技术的无限可能,为全球智算行业的可持续发展提供源源不断的动能。