康普观点:数据中心如何更快、更经济地利用AI
人气科幻小说在描绘“机器智能的崛起”时,通常伴随着激光、爆炸等场景,就算不是这般震撼,至少也会带有些许哲学上的恐惧意味。但毋庸置疑的是,人们日益关注人工智能(AI)和机器学习(ML)在更广泛应用中的可能性,而且新的应用也层出不穷。
目前,数百万人慢慢的开始通过 ChatGPT 和其他AI界面来尝试这些想法。但这些用户中的许多人并没意识到,他们通过电脑屏幕与富有好奇心的AI助手之间的交流其实就是由位于全球各地的大型数据中心驱动的。
企业也在其数据中心内投资建立自己的AI集群,构建、训练并完善自己的AI模型,以满足其自身商业利益。这些AI的核心就是由大量 GPU(图形处理器)机架所构成的,其可提供AI模型所需的惊人的并行解决能力,以便对其算法进行详尽的训练。
在导入数据集后,AI推理会对数据来进行分析,并阐释其中蕴含的意义。例如,基于猫与狗特征差异进行训练,就能识别出图片中呈现的是猫还是狗。然后,生成式AI就可以对此数据来进行处理,以创建全新的图像或文本。
正是这种“智能”的处理吸引着全球各地的人们、政府和企业发挥想象力。据IDC最新发布的《全球AI支出指南》预计,2027年中国AI投资规模有望达到381亿美元,全球占比约9%。近年来,本土AI产业向高水平发展迈进,并加速与各行业的不一样的需求的融合落地。然而,创建一个有用的AI算法需要大量的数据用于训练,而这是一个成本高昂且耗能的过程。
数据中心一般都有着离散式的AI和计算集群,他们协同工作以提供训练AI算法的数据。这些高能耗 GPU 产生的热量限制了在给定机架空间内能够安装GPU的数量,因此必须优化物理布局。另一个令人担忧的问题是,光纤线缆线路过长会增加插入损耗。
光纤是一种高效、低损耗、低延迟的基础设施,AI集群的工作速度可达 100G 或 400G。然而,随着大量数据在AI集群中传输,每增加一米光纤布线,都会带来成本高昂的延迟和损耗。
一般认为,训练大规模AI所需的时间中,约有三成消耗在网络延迟上,其余七成用于计算时间。任何减少延迟的机会,哪怕是通过减少 10 米光纤来减少 50 纳秒的延迟,都能节省大量的时间和成本。考虑到训练这样一个大型AI模型动辄要消耗 1000 万美元或更多,延迟的代价就很明显了。
运营商应仔细考虑在AI集群中使用哪些光收发器和光缆,以最大限度地减少相关成本和功耗。由于光纤运行必须尽可能短,因此光学成本将取决于收发器。使用并行光纤的收发器的优点是其无需用于波分复用的光复用器和解复用器。因此,使用并行光纤的收发器成本和功耗都更低。收发器成本的节省足以抵消多芯光缆(而非双工光缆)成本的小幅增加。例如,使用8芯光缆的 400G-DR4 收发器比使用双工光缆的 400G-FR4 收发器更具成本效益。
单模光纤和多模光纤应用可支持长达 100 米的链路。硅光等技术的进步降低了单模收发器的成本,使其接近同等多模收发器的成本。对于高速收发器(400G +)而言,单模收发器的成本往往是同等多模收发器成本的两倍。虽然多模光纤的成本略高于单模光纤,但由于多模光纤线缆成本主要根据 MPO 连接器,因此多模和单模之间的线缆成本差异较小。
此外,高速多模收发器的功耗比单模收发器低一到两瓦。单一AI集群中最多有 768 个收发器,使用多模光纤的设置将节省高达 1.5 千瓦的功率。与每台 GPU 服务器 10 千瓦的功耗相比,这似乎微不足道,但对于AI集群而言,任何节省功耗的机会都能在AI训练和运行过程中节省大量费用。
许多 AI/ML 集群和 HPC 使用有源光缆(AOC)来实现 GPU 和交换机之间的互连。有源光缆是一种设备直连线缆,两端集成了光发射器和接收器。大多数有源光缆用于短距离传输,其通常使用多模光纤和 VCSEL光源。高速(>
40G)有源光缆和连接光收发器的光缆相同,使用的都是 OM3 或 OM4 光纤。AOC 中的发射器和接收器可能与同类收发器中的发射器和接收器相同,但它们不一定适合所有场合使用。每个发射器和接收器都不需要满足严格的互操作性规范,它们只需要与连接到光缆另一端的特定设备一同运行即可。由于安装人没办法接触到光纤连接器,因此无需具备清洁和检查光纤连接器的技能。
AOC 的缺点是不具备收发器能提供的灵活性。安装 AOC 需要耗费大量时间,因为必须在连接着收发器的情况下布线。正确安装带分支的 AOC 尤其具有挑战性。AOC 的故障率是同等收发器的两倍。当 AOC 发生故障时,新的 AOC 一定要通过网络来布线,这也就占用了计算时间。最后,当要升级网络链路时,必须移除 AOC 并用新的 AOC 取而代之。对于收发器,光纤布线是基础设施的一部分,并能在几代数据速率下保持不变。
AI/ML 已经到来,并将成为人、企业和设备之间交互方式中更重要、更集成的一部分。但毋庸置疑的是,虽然与AI服务的交互可以在手机上实现,但它仍然依赖于大型数据中心基础设施和算力的驱动,而能快速高效地训练AI的企业将在当前瞬息万变、超级互联的世界中占了重要的一席之地。如若当下投资于先进的光纤基础设施以推动AI的训练和运行,日后就会收获令人难以置信的成果。
上一篇:Akamai 在亚洲、欧洲、北美和拉丁美洲新增核心计算区域,扩展分布广泛于全球的云计算
集微网10月31日报道(记者 张轶群)今日,荣耀年度旗舰新品——荣耀Magic2在京发布。 这是一部“黑科技”十足的秀肌肉之作,AI加持下的荣耀Magic2带来外观、配置、软件等方面全方位的进化,成为手机产品中的全新物种。九项领先全球的魔法黑科技让其“机制科技”属性凸显无疑,而凭借在AI领域的前瞻性布局,荣耀正在构建AI手机上的强大竞争力。 此次发布的荣耀Magic2共包含四个版本:其中6GB+128GB版本售价3799元,8GB+128GB版本售价4299元,8GB+256GB版本售价4799元,8GB+512GB 3D感光版售价5799元。荣耀Magic2本次还提供包
博鳌亚洲论坛分论坛“未来的生产论坛”上,格力电器董事长董明珠发表演讲,表示“我们不必为AI感到恐慌,它是制造业的骄傲”。 董明珠表示,当今世界是开放互联的有机整体,不应该争论哪个国家会更好,而要讨论哪家企业会更好,更先进,而一个企业应该抓住技术创行带来的优势,共创一个共赢共享的时代。 对于人工智能这一话题,董明珠看来,我们不必感到恐慌,而应该感到骄傲。作为企业应该依托技术创新,特别是格力这种传统制造业更需要依靠新技术解决生产力问题,特别是当前的大数据时代,更应该随时代的改变而改变。 董明珠还表示,格力电器多年来的发展,并不单单是靠一双手来处理问题,而是把握住市场对产品的需求,依靠人来控制机器,提高生产效率。的确,近几
新闻摘要: 为增强AI/ML及其他高级数据中心工作负载打造的 Rambus 高性能内存 IP产品组合 高达9.6 Gbps的数据速率,支持HBM3内存标准的未来演进 实现业界领先的1.2 TB/s以上内存吞吐量 中国北京,2023年12月7日 ——作为业界领先的芯片和IP核供应商,致力于使数据传输更快更安全,Rambus Inc.(纳斯达克股票代码:RMBS)今日宣布Rambus HBM3内存控制器IP现在可提供高达9.6 Gbps的性能,可支持HBM3标准的持续演进。相比HBM3 Gen1 6.4 Gbps 的数据速率,Rambus HBM3内存控制器的数据速率提高了50%,总内存吞吐量超过1.2 TB/s
性能 /
近日,上海市政府官网发布了《全力打响“上海制造”品牌 加快迈向全球卓越制造基地三年行动计划(2021-2023年)》(以下简称《行动计划》),提出加快发展三大先导产业和六大重点产业集群,全方面推进关键核心技术攻关。 《行动计划》提出,上海要努力打造世界级新兴起的产业发展策源地之一,努力打造联动长三角、服务全国、辐射全球的高端制造业增长极,努力打造具有国际影响力的制造品牌汇聚地。到2023年,集成电路、生物医药、人工智能三大先导产业规模力争增长50%左右,新增3-4个国家级创新平台、10-15家全国质量标杆企业,战略性新兴产业制造业产值占全市规模以上工业总产值比重达到42%左右。 为此,《行动计划》提出了10大重点领域专项行动,分别是
2020年9月,由中国人工智能产业高质量发展联盟(AIIA)主办的“AIIA2020人工智能开发者大会”在北京举行。Imagination Technologies作为投身AI领域多年的领先半导体知识产权供应商,也参与了此次活动。 Imagination中国区战略市场与生态高级总监时昕代表公司出席,并在主论坛上发表了“基于GPU与神经网络加速器的异构计算平台”的主题演讲,分享了AI芯片的应用场景和发展的新趋势。 图形处理单元(GPU)通常使用多个图块的渲染空间来处理图形数据,而GPU所能控制的渲染复杂程度,也依赖于这些渲染空间。因此,如果要发挥GPU的强性能,就需要调控这些图块来渲染空间。 为此,Imagination在2020年5月2
芯片揭秘 /
谷歌公司(Google)在北京时间10月5日凌晨开了场发布会,时间不长,产品不少,发布会依然无聊。 新浪科技为您梳理一下这个硅谷最著名理工男夜里都做了什么?最重要的主角是谁。 一对手机 这是本次发布会最吸引一般用户的产品。 六年前,谷歌发布了Nexus手机一代,之后又在此基础上衍生出了平板电脑产品,谷歌的本意是将Nexus作为自己的Android系统的载体,在行业中做安卓手机标杆、以及演示自己的最新系统用。 以往,Nexus系列新产品是三星、LG、HTC、MOTO、华硕等厂商代工设计及生产(谷歌仅参与设计)。人们习惯性地将Nexus戏称为“谷歌亲儿子”,前几代颇引人瞩目,代工厂也以之为荣,但
集微网10月25日报道 10月22日至25日,2021世界物联网博览会在无锡太湖国际博览中心举办,在同期举行的中国移动物联网开发者大会上,高通技术公司商品市场总监李骏捷做了题为《拥抱5G与AI 赋能物联网未来》的报告,就5G和AI技术将如何与物联网结合,帮助千行百业产生变革等话题进行了分享。 IHS Markit独立研究机构进行的调研报告结果为:预计在2035年,5G为产业创造的经济价值能达到13.1万亿美元之多。其中,智能制造以及由此衍生出的工业4.0概念,到2035年将创造出的经济产出最高可达到4.8万亿美元,占总价值的四分之一。此外,还包括智慧城市、智慧医疗等。 李骏捷表示,在物联网领域,高通已经在全球多个细分市场拥有
日本 武田药品工业、富士胶片及盐野义制药等企业将利用 人工智能 (AI)推进新药开发。包括富士通和NEC等IT企业在内,大约有50家企业参加该项目。计划与理化学研究所和京都大学合作,开发研究新药用的人工智能,以快速寻找能用来制作新药的候选物质。目前开发新药需要巨额费用,而成功率只有2万~3万分之1。用AI将提高开发效率,在激烈的全球新药开发中提高竞争力。 企业与研究机构组成的联盟将于近期启动。不仅是日本国内,预计海外的IT企业和制药企业也会参与。力争以3年后为目标,普及基于AI的新药开发。日本文部科学省将在2017年度的预算概算要求中增加25亿日元为该项目提供支援,预计最终总额将达到100亿日元规模。
技术在新能源汽车行业的应用_万舜
诊断方法研究_唐圣学
全功能环境监测站作品源码
东芝1200V SIC SBD “TRSxxx120Hx系列” 助力工业电源设备高效
2024 瑞萨电子MCU/MPU工业技术研讨会——深圳、上海站, 火热报名中
Follow me第二季第4期来啦!与得捷一起解锁蓝牙/Wi-Fi板【Arduino Nano RP2040 Connect】超能力!
嵌入式工程师AI挑战营(进阶):基于RV1106部署InsightFace算法,实现多人的实时人脸识别
艾睿电子技术解决方案展 2024 — 携手共建更智能绿色未来,火热报名中!
为期两天享誉业界的会议将提供物联网行业深入的专业相关知识和技能中国,北京 – 2024年11月8日 – 致力于以安全、智能无线连接技术,建立 ...
在科技之光的照耀下,大模型从云端的殿堂飘然而至终端的舞台。这一历史性的跨越,不仅赋予了数据处理以迅捷之翼,更将智能体验推向了前所未 ...
进博会“全勤生”高通七赴进博之约,展现智能计算与生态合作新篇章11月5日,第七届中国国际进口博览会在上海国家会展中心盛大启幕。今年, ...
2024年11月4日,MACOM Technology Solutions Holdings, Inc (MACOM)宣布,公司已被选中领导一项由美国国防部(DoD)资助的开发项目, ...
Gartner近日发布2025年及未来的重要战略预测。Gartner的重要预测探讨了生成式人工智能(GenAI)怎么样影响在多数人眼中只有人类才能产生持久 ...
LTC2263-12 演示板,12 位,25Msps,1.8V 双路串行 ADC,5MHz
C8051F983DK,用于工业应用的 C8051F983 8051 微控制器的开发系统
使用 Semtech 的 EZ1587C 的参考设计
LTC2209#3CDPBF 演示板,高中频,LVDS 输出,185Msps,16 位 ADC,80MHz
是德科技携手麦吉尔大学,联合演示创纪录的 10 千米距离 1.6 Tbps O 波段相干传输
Linux2.6.32移植到MINI2440(4)移植+分析DM9000网卡驱动
站点相关:综合资讯其他技术下一代网络短距离无线基站与设施RF技术光通讯标准与协议物联网与云计算有线宽带