AI

英特尔Gaudi 2E加速DeepSeek V3.1,问答编码显著提升

发布时间:2025年8月27日    来源:szf
英特尔Gaudi 2E加速DeepSeek V3.1,问答编码显著提升

快速阅读: 英特尔推出Gaudi 2E AI加速器,采用7纳米制程,配备96GB HBM2E内存和48MB SRAM,总内存带宽2.4TB,优化随机和线性访问,提升DeepSeek-V3.1问答和编码能力。

英特尔宣布,Gaudi 2E AI 加速器现已为 DeepSeek-V3.1 提供深度优化支持。这款加速器采用 7 纳米制程,配备 96GB HBM2E 内存和 48MB SRAM,总内存带宽达到 2.4TB。Gaudi 2E 针对随机访问和线性访问场景进行了优化,有效避免了 AI 训练或推理任务的延迟。

Gaudi 2E 拥有 24 个完全可编程的张量处理器核心(TPC)和 2 个矩阵乘法引擎(MME),具备出色的可扩展能力,提供 24 个 100 GbE 端口,支持多卡互联,为用户提供了灵活且可定制的解决方案,满足不断变化的 AI 需求。

实测数据显示,在 Gaudi 2E 的支持下,DeepSeek-V3.1 在问答和编码方面的能力显著提升。在部署了 8 张 Gaudi 2E 的一体机服务器上运行 DeepSeek-V3.1 模型时,当输入/输出 token 长度均为 1k、多用户并发数为 30 时,每个并发 token 生成速率达到每秒 10 token;当输入/输出 token 长度均为 2k、多用户并发数为 28 时,每个并发 token 生成速率同样达到每秒 10 token。

(以上内容均由Ai生成)

你可能还想读

芯纬内部人士抛售超10亿美元股票引发警报

芯纬内部人士抛售超10亿美元股票引发警报

快速阅读: 纳斯达克上市公司CoreWeave因内部人士大量抛售股票受关注,10月交易超10亿美元,股价承压下跌,引发投资者对该公司信心的质疑。 纳斯达克上市的CoreWeave (CRVW)因内部人士大量抛售股票而受到广泛关注。10月,一 […]

发布时间:2025年10月24日
升腾首席分析与AI官:用数学背景解决医疗问题

升腾首席分析与AI官:用数学背景解决医疗问题

快速阅读: 安森斯首席分析与人工智能官卡提克·拉贾强调,人工智能是一类问题而非单一事物,需识别并应用正确方法解决。他领导团队利用AI优化医疗流程,提高决策效率,同时注重人才培养和道德领导。 卡提克·拉贾,这家覆盖16个州的大型医疗系统首席分 […]

发布时间:2025年10月24日
格拉斯利宣布法官使用AI致法庭命令出错,实施新政

格拉斯利宣布法官使用AI致法庭命令出错,实施新政

快速阅读: 美国参议院司法委员会主席格拉斯利宣布收到法官们关于AI导致法院命令出错的回应,法官温盖特和尼尔斯承认错误并实施新政策,确保命令准确性,同时法院行政办公室成立AI咨询工作组,发布临时指导方针。 美国参议院司法委员会主席查克·格拉斯 […]

发布时间:2025年10月24日
AI视频生成系统不断进步,ChatGPT创始人更新发展计划

AI视频生成系统不断进步,ChatGPT创始人更新发展计划

快速阅读: 本周,顶尖开发者公布人工智能视频生成系统的最新进展,包括即将推出的安卓应用。该技术融合多种特性,引发艺术与伦理讨论,但仍不断进步,输出效果惊人。 基于人工智能的视频生成系统集多种特性于一身。的确,它们引发了关于艺术、创作者角色及 […]

发布时间:2025年10月24日
美法官承认职员用AI起草错误命令

美法官承认职员用AI起草错误命令

快速阅读: 美国地方法官温盖特承认其法律助理使用AI程序起草了有误的法院命令,引发争议。温盖特表示将加强审查流程,避免类似错误。参议员格拉斯利呼吁制定更明确的AI使用政策。 密西西比州的一名联邦法官承认,其工作人员使用人工智能起草了一份有误 […]

发布时间:2025年10月24日
ChatGPT遭遇重大故障,用户报告服务中断

ChatGPT遭遇重大故障,用户报告服务中断

快速阅读: ChatGPT遭遇重大技术故障,OpenAI确认“高频率错误”,用户反馈广泛。故障始于周四上午11时(美国东部时间),Downdetector数据显示问题激增。 受连续强降雨影响,南部多地出现洪水,相关部门紧急启动防汛响应。Ch […]

发布时间:2025年10月24日
OpenAI推新浏览器Atlas,挑战Google Chrome

OpenAI推新浏览器Atlas,挑战Google Chrome

快速阅读: OpenAI推出ChatGPT Atlas浏览器,挑战谷歌Chrome,集成AI功能助用户高效完成任务,计划近期增加标签组和广告拦截器等新特性。 萨姆·阿尔特曼的OpenAI继续将其生成式AI模型整合到全球大多数人的日常工具—— […]

发布时间:2025年10月24日
ChatGPT短暂故障后恢复,医疗咨询模式引关注

ChatGPT短暂故障后恢复,医疗咨询模式引关注

快速阅读: 医学研究人员报告AI医疗失误案例,患者因咨询ChatGPT致溴化物中毒精神错乱。专家长期担忧此问题,OpenAI推出专门医疗建议模式应对。 几周前,一位医学研究人员报告了一起由AI引发的医疗失误案例,详细描述了一名患者因咨询Ch […]

发布时间:2025年10月24日