对话后摩智能CEO吴强:未来90%的数据处理可能会在端边
在后摩智能展台,后摩智能M50系列产品首次亮相,后摩智能M50芯片与力谋®BX50计算盒子、力擎LQ50 Duo M.2卡等旗下核心产品一同位于展台的核心位置。
作为主打端边大模型和存算一体的芯片企业,后摩智能这次带来的M50芯片专为大模型推理设计,主要面向AI PC(人工智能个人电脑)、智能终端等场景。
“未来大模型有两个重要发展趋势:一是大模型的重心逐渐从训练向推理迁移。二是逐渐从云端智能逐渐向边端或者端边智能迁移。”7月25日,后摩智能CEO(首席执行官)吴强对观察者网等表示。
他认为,未来的计算格局有可能是端、边、云的混合体,但是90%的数据处理可能会在端和边,只有10%的训练算到云端做更昂贵或者更复杂的任务在云端做。
据介绍,M50芯片实现了160TOPS INT8、100TFLOPS bFP16的物理算力,搭配最大48GB内存与153.6 GB/s的超高带宽,典型功耗仅10W,相当于手机快充的功率,能让PC、智能语音设备、机器人等智能移动终端高效运行1.5B到70B参数的本地大模型,实现了“高算力、低功耗、即插即用”。
当前,后摩智能通过存算一体技术与大模型的深度融合,推动AI大模型在端边侧实现“离线可用、数据留痕不外露”。
在他看来,M50的发布只是一个开始,“我们的目标是让大模型算力像电力一样随处可得、随取随用。”
图源:观察者网
本次推出的M50产品可广泛应用于消费终端、智能办公、智能工业等多元领域,且均能在离线状态下实现全流程本地处理,从源头杜绝数据联网传输风险。
“目前我们看重几个领域,一是平板和电脑这种消费终端类,大模型是生产力工具。二是智能语音系统,大模型语音会议也是我们重点布局的方面。三是运营商的边缘计算,5G+AI是一个趋势。”他说道。
吴强还提到,机器人包括具身智能机器人(特指陪伴机器人),更像是十年前的智能驾驶,是一个新兴的垂直赛道,格局还未定,“大家还有机会”。
面向未来,后摩智能已启动下一代DRAM-PIM技术研发,通过将计算单元直接嵌入DRAM阵列,使计算与存储的协同更加紧密高效。该技术将突破1TB/s片内带宽,能效较现有水平再提升三倍,推动百亿参数大模型在终端设备实现普及,让更强大的AI算力能够融入PC、平板等日常设备。
本文系观察者网独家稿件,未经授权,不得转载。
1、扔个旧沙发还要花好几百,如何破解扔旧的比买新的还难这个问题?,旧沙发怎么丢
2、【中国那些事儿】外媒点赞中国高铁:串起万千风光 重塑发展纽带
3、官方通报一男子跳下高铁站台:与随行家属发生争执,情绪激动跳下,高铁站跳下站台