当前位置：网站首页 » 热点 » 内容详情

bf16最新视觉报道_bf16精度(2024年12月全程跟踪)

内容来源：麦吉窗影视所属栏目：热点更新日期：2024-12-02

bf16

「第七届中国国际进口博览会」「AI+新质生产力」AMD在芯片展示区展示了多款高性能产品，有包括： -运行在5Ghz的第五代EPYC处理器- AMD EPYC 9005系列处理器，涵盖所有的新的云工作负载，也满足所有重要的企业工作负载； -适用于专业创意和国内大模型AI计算、为AI 服务器和AI工作站量身打造的Radeon PRO W7900 Dual Slot GPU, 单卡可提供48GB大容量显存； -采用XDNA神经网络架构的、仅用75W功耗即可实现高达404 TOPs算力（Int8精度，202TOPs for BF16）的AMD Alveo V70 AI计算卡。

【Intel Arrow Lake-H笔记本处理器升级新核显：特殊的1.5代架构】将于明年初发布的主流笔记本处理器Arrow Lake-H，核显既不是Lunar Lake系列的二代Xe2-LPG，也不是Meteor Lake、Arrow Lake-S/HX系列的一代Xe-LPG，而是可以视为1.5代。Intel称之为“Alchemist+”，也叫做“Xe-LPG+”，还称为“Xe with XMX”。它源于初代的Xe-LPG，包含后者没有的XMX引擎，支持INT、INT8、FP16、BF16等数据格式，其中INT8、FP16的每时钟周期操作数分别为2048个、1024个。 Xe-LPG+一共配备128个XMX引擎(可视为128个流处理器)，也就是8个Xe核心，还有128个16宽度的矢量引擎，针对AI和能效进行了优化，以及2个几何流水线、8个采样器、4个像素后端。同时，它还有8个增强光追单元、8MB独立二级缓存，对比上代翻番，并完整支持DX12 Ultimate、XeSS。 AI算力最高可达77 TOPS，再加上CPU、GPU，突破100 TOPS将会非常轻松，最高或可接近150 TOPS。 Arrow Lake-H处理器将采用和桌面版一样的Lion Cove P核架构、Skymont E核架构，支持多引擎安全、高性能NPU、Wi-Fi 7和蓝牙5.4、雷电4、高速LPDDR5X内存、PCIe 5.0，采用Foveros 3D整合封装。

[LG]《"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization》E Kurtic, A Marques, S Pandit, M Kurtz... [Neural Magic] (2024)网页链接「机器学习」「人工智能」「论文」

大模型显存占用计算：参数与优化器状态详解在深度学习中，模型参数量与显存占用之间的关系常常让人感到困惑。为了帮助大家更好地理解这个问题，本文将详细介绍这两个概念的关系。 1️⃣ 参数量与显存的关系 𐟧斥…ˆ，让我们澄清一下概念：1B代表十亿个参数，而1G显存表示十亿字节（byte）。如果使用全精度训练（fp32），每个参数占用32比特，相当于4字节。因此，1B参数对应4G显存。如果采用fp16或bf16精度，显存占用则会减半，即1B参数对应2G显存。 2️⃣ 显存的其他开销 𐟒ኩ™䤺†模型参数本身，训练时的显存还会被其他部分占用，包括梯度和优化器状态：梯度：每个参数对应一个梯度值，显存占用与参数量相同，占用1倍显存。优化器状态：这取决于具体的优化器类型。如果使用裸SGD，不需要额外显存；若使用带动量的SGD，显存增加1倍；如果是Adam优化器，则会增加2倍显存，因为需要储存一阶和二阶动量。 3️⃣ 计算示例 𐟓Š 假设我们训练一个1B参数量的小模型，使用Adam优化器、fp32精度，忽略数据和hidden states部分的显存开销。显存占用如下：参数占用：4G 梯度占用：4G 优化器状态占用：8G 总计：16G显存。如果是bf16精度，则减半，占用8G显存。通过这些信息，你可以更好地估计大模型训练所需的显存量，从而选择合适的硬件设备。

GPU高效训练Transformer 目标是在尽可能减少GPU训练成本的同时，最大化模型性能。以下是一些实用的建议： 𐟧 内存优化：在内存有限的情况下，可以通过增加计算成本来减少内存需求。实验表明，在不同内存配置下，通过选择性激活重计算可以显著减少内存需求。 𐟒ᠦ•𐦍𖨡Œ度：使用高质量的互连技术可以增加数据并行度，从而提高总吞吐量。分片优化器可以减少优化器的额外内存，而多维度的数据并行度也非常重要。额外开销应小于等于总内存的20%。 𐟔砦𗷥ˆ精度训练：大多数Transformer模型采用混合精度训练，如fp16+fp32或bf16+fp32，这样可以减少训练模型和推理所需的内存量。 ⚙️ 计算成本：Transformer模型通常用GPU-hours或FLOP-seconds来表示计算成本。如果计算性能低于115 FLOP/S/A100，那么很可能是模型或硬件配置出了问题。通过这些方法，可以在保证模型性能的同时，有效降低GPU训练成本。

[鲜花]摩尔线程宣布开源高性能线性代数模板库 MUTLASS，以便开发者能够更高效针对摩尔线程全功能 GPU 的 MUSA Core 及 Tensor Core 等单元进行编程，加速基于国产 GPU 的算子开发以及算法创新。 [打call]作为摩尔线程专为 MUSA 架构优化的高性能计算库，MUTLASS（MUSA Templates for Linear Algebra Subroutines）是基于开源模板库 CUTLASS 进行的 MUSA 适配和定制化开发、优化。针对矩阵乘法及相关变种，MUTLASS 提供了一系列高性能的 C++ 模板组件，并采用了与 muDNN 库类似的分层分解及数据搬运策略，以确保性能的充分发挥。 [微风]在本次开源的版本中，摩尔线程适配了 CuTe 后端库，为其增加了第三代 MUSA 架构的 MMA 计算原语，支持 TF32 / FP16 / BF16 / INT8 等多种数据精度，并以此为基础，初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。网页链接

神经网络显存优化：你真的需要那么多吗？最近，很多神经网络模型都采用了 BFloat 16（BF16）来存储权重。但你有没有注意到，实际上BF16在8比特的幂中平均只用了2.66比特？这意味着对于那些庞大的模型来说，大量的显存其实是被浪费了。𐟘… 为了解决这个问题，我们开发了一个名为NeuZip的CUDA扩展，它可以压缩掉那些多余的空间，而且不会损失任何精度。更棒的是，它的运行速度非常快，几乎可以和成熟的量化框架相媲美。𐟚€ 你可以通过pip install neuzip来直接使用这个Python包。如果你有能力和意愿，也可以直接修改源代码。我们相信，通过这个工具，你可以更有效地管理神经网络的显存使用。𐟒𞊊欢迎大家加入讨论，一起探索如何让神经网络更高效地运行！𐟤

腾讯今天开了个发布会一股脑的发布了一堆新内容，每个都很牛皮：「ai」 - 元宝 APP 能力更新，增加 AI 搜索应用，支持搜索 QQ 音乐和视频号内容； - 开源最大规模的 MoE LLM Hunyuan-Large； - 开源 SOTA 3D 生成模型，首个支持文生 3D 的模型 Hunyuan3D-1.0 元宝 APP 现在新上线了 AI 搜索能力。同样支持具有推理能力的深度搜索功能，另外也支持了搜索微信生态更多模态的信息，这个太厉害了。在数据层面直接吊打其他家，比如搜索结果里面会有视频号和 QQ 音乐的音频内容。开源最大规模的 MoE LLM Hunyuan-Large。总参数量达到 389B，激活参数量为 52B，预训练模型支持 256K 上下文长度。基准测试和数学推理能力基本超过了所有同规模的大语言模型。 Hunyuan-Large 会上线腾讯云TI平台，同步支持业务自主精调及部署测试。另外还优化了推理架构，显著减少了 GPU 内存使用（KV-Cache 部分节省了 50%），通过 FP8 量化优化，实现与传统 FP16/BF16 量化相比内存使用减少 50%的同时保持精度。 Hunyuan3D-1.0 现在应该是最好的开源 3D 生成模型了，支持文本和图片生成 3D 模型。主要的优势是是非常强的泛化能力，无论是建筑、角色、场景、生物都可以很好的生成。采用两级级联模型架构，标准质量只需要 4 秒就能生成，高精度模型也只需要 7 秒。你现在可以在元宝APP”3D 角色梦工厂“应用里面测试这个模型，上传自己的照片就可以生成跟你一样的多种类型 3D 模型。 Hunyuan3D-1.0：网页链接 Hunyuan-Large：网页链接

完全没提到OpenGL，主机游戏会比高配置的基于计算机的3D游戏主机更省电。游戏显卡的算力似乎对FP64/INT64的支持并不好；不过FP32和INT32也是能用的；但AI算力有种INT8/INT16/FP16/BF16的趋势！ sony和IBM合作的Cell[?]处理器对于图片处理上有优势！索尼最大的危机不是《星鸣特攻》暴毙，而是主机行业不行了？【差评君】「哔哩哔哩动画」索尼最大的危机不是《星鸣特攻》暴毙，而是主...

「特斯拉超话」「自动驾驶」老马家的HW 3，也就是推理硬件(inference，其实更准确说，应该叫“推断”)为何用int8？这个视频讲得不错(【int8/fp16/bf16/tf32在AI芯片中什么作用？【AI芯片】AI计算体系06-哔哩哔哩】网页链接)。

专栏内容推荐

1326 x 542 · png
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】-CSDN博客
素材来自:blog.csdn.net

1473 x 1037 · png
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】-CSDN博客
素材来自:blog.csdn.net
773 x 715 · png
fp32、fp16 與 bf16 - JOYK Joy of Geek, Geek News, Link all geek
素材来自:joyk.com

1665 x 847 · png
BFloat16 — DeepRec latest 文档
素材来自:deeprec.readthedocs.io

1200 x 800 · jpeg
What is the difference between FP16 and BF16? Here a good explanation ...
素材来自:civitai.com
810 x 1080 · jpeg
BF16
素材来自:laurellittletheatre.com

1546 x 324 · png
BF16和FP16对比-CSDN博客
素材来自:blog.csdn.net

960 x 540 · png
The bfloat16 numerical format | Cloud TPU | Google Cloud
素材来自:cloud.google.com

1000 x 666 · jpeg
F-16系列戰機太好用美空軍暫不考慮研發接替機種 -- 上報 / 國際
素材来自:upmedia.mg
1600 x 1072 · jpeg
F-16 vs 米格29：戰鬥機性能大比拼｜天下雜誌
素材来自:cw.com.tw

800 x 578 · jpeg
[新聞] 是否提供烏克蘭F16戰機？拜登說不 - 看板 IA - 批踢踢實業坊
素材来自:ptt.cc
1280 x 720 · jpeg
台灣戰機花蓮墜海F-16全面停飛蔡英文要求徹查事故原因
素材来自:rfi.fr

1920 x 1080 · jpeg
Is FF16 Coming to PC or Xbox? - The Escapist
素材来自:escapistmagazine.com

800 x 450 · jpeg
全民齊集氣／F-16 起飛 2 分鐘後消失於花蓮外海，國軍派 3 機 9 艦艇海空全力搜救
素材来自:tw.news.yahoo.com

1920 x 972 · jpeg
『FF16』発売日、キャラ、最新情報まとめ。バトルや開発スタッフなども紹介【ファイナルファンタジーXVI】 | ゲーム・エンタメ最新情報の ...
素材来自:famitsu.com

800 x 536 · jpeg
軍情動態》美同意出售F-16戰鬥機菲律賓反稱「太貴考慮中」 - 國際 - 自由時報電子報
素材来自:news.ltn.com.tw
999 x 664 · jpeg
紀永添專欄：殲-16機群將是攻台要角台灣要怎麼應對？ -- 上報 / 評論
素材来自:upmedia.mg

1920 x 1080 · jpeg
Final Fantasy XVI Will Receive a Demo in Early 2023
素材来自:finalfantasyunion.com

656 x 365 · jpeg
陸殲-16 轟-6等37軍機大舉擾台恐是為了這 - 國際 - 中時新聞網
素材来自:chinatimes.com

1200 x 675 · jpeg
國軍F-16V接裝成軍 F-16堪稱戰機界經典｜東森新聞：新聞在哪東森就在哪裡
素材来自:news.ebc.net.tw

素材来自:battlefordreamisland.fandom.com

3840 x 2160 · jpeg
VideoTime - Noticias y Trailers de Pokémon Brilliant Diamond, Pokémon ...
素材来自:videotimehn.com

800 x 531 · jpeg
軍情動態》包含台灣訂單！ F-16海外賣太好美軍增設生產線 - 國際 - 自由時報電子報
素材来自:news.ltn.com.tw
2000 x 2000 · jpeg
37877b42b08251ceb321d81d172d3b8f.jpg
素材来自:s.lazada.co.th

1920 x 1080 · jpeg
Final Fantasy Characters Names And Pictures
素材来自:ar.inspiredpencil.com

1200 x 633 · jpeg
1架F-16V戰機驚傳嘉義外海失聯海空搜救中 | beanfun!
素材来自:beanfun.com

474 x 355 · jpeg
'BB 16': Housemates can now reclaim Rs 25 lakh they lost from prize money
素材来自:siasat.com
1200 x 675 · jpeg
【環球直擊】4月3日完整版（1） | 中國房地產 | 張海 | 陸委會 | 新唐人中文電視台在線
素材来自:ntdtv.com

1024 x 576 · jpeg
'Big Brother 16': Joey Van Pelt Evicted
素材来自:hollywoodreporter.com

1280 x 720 · jpeg
BFB 16: The Escape from Four - YouTube
素材来自:youtube.com

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)