商汤副总监龚睿昊确认出席AICon北京站，分享大模型推理系统与压缩优化

快速阅读: 12月19-20日，AICon全球人工智能大会在北京举行，主题为“探索AI应用边界”。大会聚焦企业级Agent落地、上下文工程等，商汤副总监龚睿昊将分享大模型推理优化与边缘AI部署的实践经验。

12 月 19-20 日, AICon全球人工智能开发与应用大会收官之站 “将在北京举办,本次大会 将以 “探索 AI 应用边界” 为主题,聚焦企业级 Agent 落地、上下文工程、AI 产品创新等多个热门方向,围绕企业如何通过大模型提升研发与业务运营效率的实际应用案例,邀请来自阿里、字节、华为、京东、快手、美团等头部企业、大厂以及明星创业公司的专家,带来一线的大模型实践经验和前沿洞察。一起探索 AI 应用的更多可能,发掘 AI 驱动业务增长的新路径! 商汤副总监龚睿昊已确认出席并将在「 大模型推理优化与边缘 AI 部署 “」专题发表题为《 大模型推理系统与压缩优化:从算法到工具的工程实践 “》的主题分享。大模型时代的模型生产成本更加高昂,模型尺寸大、并行规模大、服务并发高,体系化的大模型工具链和系统对于提升模型迭代和研发效率至关重要。

本次演讲将分享在大模型工具和系统建设的实践经验,介绍搭建的大模型训练、压缩和推理部署系列工具,覆盖多种模态和场景,通过分析阐述其中的相关算法创新与系统实现原理,汇报团队在多种模态大模型的训练系统优化、模型压缩算法和大规模并行服务上的系列探索。

龚睿昊是商汤科技研究院大模型工具体系团队负责人,主要负责工业级模型工具链,包括大规模模型训练、多平台部署、模型压缩和软硬件协同技术体系。通过算法和工具实现规模化工业落地,支持智慧城市、智能驾驶、AIOT、手机场景等大量业务模型的模型生产,团队支撑了商量等商汤大模型体系的底层技术搭建,致力于 ML+System 的综合效率提升。在 ICLR、NeuIPS、CVPR、ICCV、IJCV 等期刊会议发表四十余篇论文,多次获得低功耗计算机视觉比赛 LPCV 冠军、无人机追逐赛亚军等奖项。他在本次会议的详细演讲内容如下: 1. 引言: ○ 视频、图像、语音、语言多种模态生成式大模型推理的系统挑战 ○ Light系列推理工具生态2. 核心技术解析: ○ 多进程架构:模态伸缩与扩展 ○ 多维度压缩方法:量化、Token Pruning、稀疏和Cache复用 ○ 动态扩缩容:大规模服务的实时弹性扩缩容设计 ○ Triton算子:全面灵活的算子库3. 应用案例 ○ 视频生成民主化:个人玩家的福音 ○ 规模服务的降本:组合拳的成本控制4. 未来展望: ○ 统一模态的融合设计 ○ 应用层的系统打通听众收益:○ 快速了解生成式大模型的核心推理优化技术,掌握各种模态类型的优化异同点,并理解领域发展的最新趋势 除此之外,本次大会还策划了 LLM 时代的软件研发新范式 “、 Context Engineering “、 Data+AI / Agent 落地实践 “、 大模型系统工程 “、 企业级 Agent 的设计与落地 “、 大模型时代下的搜广推系统实践 “、 多模态从技术突破到创新应用落地 “等10多个专题论坛,届时将有来自不同行业、不同领域、不同企业的50+资深专家在AICon北京站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 8 折优惠,单张门票立省1160 元,详情可扫码或联系票务经理 13269078023 咨询。

(以上内容均由Ai生成)