当前位置：网站首页 » 热点 » 内容详情

bf16最新视觉报道_bf16精度(2024年11月全程跟踪)

内容来源：麦吉窗影视所属栏目：热点更新日期：2024-11-28

bf16

听到了超算和智算的说法，但从实现的指令集角度说，超算更多是int32/int64/int128 fp32/fp64/fp128，而智算是int8/int16 bf16 ... 。

「第七届中国国际进口博览会」「AI+新质生产力」AMD在芯片展示区展示了多款高性能产品，有包括： -运行在5Ghz的第五代EPYC处理器- AMD EPYC 9005系列处理器，涵盖所有的新的云工作负载，也满足所有重要的企业工作负载； -适用于专业创意和国内大模型AI计算、为AI 服务器和AI工作站量身打造的Radeon PRO W7900 Dual Slot GPU, 单卡可提供48GB大容量显存； -采用XDNA神经网络架构的、仅用75W功耗即可实现高达404 TOPs算力（Int8精度，202TOPs for BF16）的AMD Alveo V70 AI计算卡。

【Intel Arrow Lake-H笔记本处理器升级新核显：特殊的1.5代架构】将于明年初发布的主流笔记本处理器Arrow Lake-H，核显既不是Lunar Lake系列的二代Xe2-LPG，也不是Meteor Lake、Arrow Lake-S/HX系列的一代Xe-LPG，而是可以视为1.5代。Intel称之为“Alchemist+”，也叫做“Xe-LPG+”，还称为“Xe with XMX”。它源于初代的Xe-LPG，包含后者没有的XMX引擎，支持INT、INT8、FP16、BF16等数据格式，其中INT8、FP16的每时钟周期操作数分别为2048个、1024个。 Xe-LPG+一共配备128个XMX引擎(可视为128个流处理器)，也就是8个Xe核心，还有128个16宽度的矢量引擎，针对AI和能效进行了优化，以及2个几何流水线、8个采样器、4个像素后端。同时，它还有8个增强光追单元、8MB独立二级缓存，对比上代翻番，并完整支持DX12 Ultimate、XeSS。 AI算力最高可达77 TOPS，再加上CPU、GPU，突破100 TOPS将会非常轻松，最高或可接近150 TOPS。 Arrow Lake-H处理器将采用和桌面版一样的Lion Cove P核架构、Skymont E核架构，支持多引擎安全、高性能NPU、Wi-Fi 7和蓝牙5.4、雷电4、高速LPDDR5X内存、PCIe 5.0，采用Foveros 3D整合封装。

[LG]《"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization》E Kurtic, A Marques, S Pandit, M Kurtz... [Neural Magic] (2024)网页链接「机器学习」「人工智能」「论文」

GPU高效训练Transformer 目标是在尽可能减少GPU训练成本的同时，最大化模型性能。以下是一些实用的建议： 𐟧 内存优化：在内存有限的情况下，可以通过增加计算成本来减少内存需求。实验表明，在不同内存配置下，通过选择性激活重计算可以显著减少内存需求。 𐟒ᠦ•𐦍𖨡Œ度：使用高质量的互连技术可以增加数据并行度，从而提高总吞吐量。分片优化器可以减少优化器的额外内存，而多维度的数据并行度也非常重要。额外开销应小于等于总内存的20%。 𐟔砦𗷥ˆ精度训练：大多数Transformer模型采用混合精度训练，如fp16+fp32或bf16+fp32，这样可以减少训练模型和推理所需的内存量。 ⚙️ 计算成本：Transformer模型通常用GPU-hours或FLOP-seconds来表示计算成本。如果计算性能低于115 FLOP/S/A100，那么很可能是模型或硬件配置出了问题。通过这些方法，可以在保证模型性能的同时，有效降低GPU训练成本。

大模型显存占用计算：参数与优化器状态详解在深度学习中，模型参数量与显存占用之间的关系常常让人感到困惑。为了帮助大家更好地理解这个问题，本文将详细介绍这两个概念的关系。 1️⃣ 参数量与显存的关系 𐟧斥…ˆ，让我们澄清一下概念：1B代表十亿个参数，而1G显存表示十亿字节（byte）。如果使用全精度训练（fp32），每个参数占用32比特，相当于4字节。因此，1B参数对应4G显存。如果采用fp16或bf16精度，显存占用则会减半，即1B参数对应2G显存。 2️⃣ 显存的其他开销 𐟒ኩ™䤺†模型参数本身，训练时的显存还会被其他部分占用，包括梯度和优化器状态：梯度：每个参数对应一个梯度值，显存占用与参数量相同，占用1倍显存。优化器状态：这取决于具体的优化器类型。如果使用裸SGD，不需要额外显存；若使用带动量的SGD，显存增加1倍；如果是Adam优化器，则会增加2倍显存，因为需要储存一阶和二阶动量。 3️⃣ 计算示例 𐟓Š 假设我们训练一个1B参数量的小模型，使用Adam优化器、fp32精度，忽略数据和hidden states部分的显存开销。显存占用如下：参数占用：4G 梯度占用：4G 优化器状态占用：8G 总计：16G显存。如果是bf16精度，则减半，占用8G显存。通过这些信息，你可以更好地估计大模型训练所需的显存量，从而选择合适的硬件设备。

神经网络显存优化：你真的需要那么多吗？最近，很多神经网络模型都采用了 BFloat 16（BF16）来存储权重。但你有没有注意到，实际上BF16在8比特的幂中平均只用了2.66比特？这意味着对于那些庞大的模型来说，大量的显存其实是被浪费了。𐟘… 为了解决这个问题，我们开发了一个名为NeuZip的CUDA扩展，它可以压缩掉那些多余的空间，而且不会损失任何精度。更棒的是，它的运行速度非常快，几乎可以和成熟的量化框架相媲美。𐟚€ 你可以通过pip install neuzip来直接使用这个Python包。如果你有能力和意愿，也可以直接修改源代码。我们相信，通过这个工具，你可以更有效地管理神经网络的显存使用。𐟒𞊊欢迎大家加入讨论，一起探索如何让神经网络更高效地运行！𐟤

[鲜花]摩尔线程宣布开源高性能线性代数模板库 MUTLASS，以便开发者能够更高效针对摩尔线程全功能 GPU 的 MUSA Core 及 Tensor Core 等单元进行编程，加速基于国产 GPU 的算子开发以及算法创新。 [打call]作为摩尔线程专为 MUSA 架构优化的高性能计算库，MUTLASS（MUSA Templates for Linear Algebra Subroutines）是基于开源模板库 CUTLASS 进行的 MUSA 适配和定制化开发、优化。针对矩阵乘法及相关变种，MUTLASS 提供了一系列高性能的 C++ 模板组件，并采用了与 muDNN 库类似的分层分解及数据搬运策略，以确保性能的充分发挥。 [微风]在本次开源的版本中，摩尔线程适配了 CuTe 后端库，为其增加了第三代 MUSA 架构的 MMA 计算原语，支持 TF32 / FP16 / BF16 / INT8 等多种数据精度，并以此为基础，初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。网页链接

百度文心NLP算法实习面经分享 5月23日，我参加了百度文心NLP算法实习的最后一轮面试，当天下午就收到了offer，预计6月入职。面试地点在百度深圳国际大楼。 𐟌 一面：技术常规第一轮面试比较常规，主要问了一些基础问题，比如环形链表和链表插入节点的实现。此外，还额外问了一些关于LORA的问题。 𐟒젤𚌩⯼š业务交流第二轮面试主要是业务面的交流，没有涉及太多技术问题，主要是聊天式的交流。 𐟓 面试细节自我介绍：我尽量展现了自己的自信和沟通能力。简历项目：面试官问了我简历上的项目，主要是了解项目背景和我在项目中的角色。 LORA深度：面试官对LORA进行了深入的询问，包括混合精度训练的细节。手写LORA层：面试官要求我手写LORA层的实现，并分析了两种不同的实现方式及其复杂度。 𐟤” 面试挑战面试中，我被问到了为什么NF4和FP32不能直接转换，以及为什么中间需要BF16。这些问题在LORA论文中有详细解释，但当时我并没有立刻回答上来。 𐟎‰ 收获与展望通过这次面试，我不仅对自己的技术能力有了更清晰的认识，也对LORA有了更深入的了解。希望未来能在百度文心NLP算法实习中继续学习和成长。 𐟌Ÿ 交流与分享如果你也在深圳寻找算法实习的机会，欢迎交流学习，一起探索技术的前沿！

「特斯拉超话」「自动驾驶」老马家的HW 3，也就是推理硬件(inference，其实更准确说，应该叫“推断”)为何用int8？这个视频讲得不错(【int8/fp16/bf16/tf32在AI芯片中什么作用？【AI芯片】AI计算体系06-哔哩哔哩】网页链接)。

专栏内容推荐

1024 x 368 · jpeg
Bfloat16 – a brief intro - AEWIN
素材来自:aewin.com

600 x 245 · jpeg
BF16 与 FP16 在模型上哪个精度更高呢 - 知乎
素材来自:zhuanlan.zhihu.com

743 x 301 · png
Arm Adds Muscle To Machine Learning, Embraces Bfloat16
素材来自:nextplatform.com

1473 x 1037 · png
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】-CSDN博客
素材来自:blog.csdn.net
1665 x 847 · png
BFloat16 — DeepRec latest documentation
素材来自:deeprec.readthedocs.io

474 x 123 · jpeg
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】 - 思创斯聊编程
素材来自:ispacesoft.com

660 x 421 · jpeg
深度学习中的TF32和BF16格式 | chenyaofo's blog
素材来自:chenyaofo.github.io
700 x 293 · png
bfloat16 vs float16 in machine learning/ mutli precision : 네이버 블로그
素材来自:blog.naver.com

876 x 553 · jpeg
fp32、fp16、bf16介绍与使用_fp32和fp16算力区别-CSDN博客
素材来自:blog.csdn.net
474 x 159 · jpeg
用bf16加速ncnn - 知乎
素材来自:zhuanlan.zhihu.com

850 x 473 · png
Analysis result under FP16, BF16, and INT16 | Download Scientific Diagram
素材来自:researchgate.net

1200 x 800 · jpeg
What is the difference between FP16 and BF16? Here a good explanation for you | by Furkan ...
素材来自:medium.com
1480 x 868 · jpeg
从一次面试搞懂 FP16、BF16、TF32、FP32 - 知乎
素材来自:zhuanlan.zhihu.com

700 x 293 ·
加速AI深度学习，BF16浮点格式应运而生-EDN 电子技术设计
素材来自:ednchina.com

474 x 203 · jpeg
数据格式为人工智能芯片竞争要点 BF16成科技巨头新共识
素材来自:gb-www.digitimes.com.tw

1200 x 817 · jpeg
BFloat16 Deep Dive: ARM Brings BF16 Deep Learning Data Format to ARMv8-A | Tom's Hardware
素材来自:tomshardware.com
600 x 216 · jpeg
ARM CPU性能优化：FP32 、FP16 和BF16区别 - 知乎
素材来自:zhuanlan.zhihu.com

960 x 540 · png
The bfloat16 numerical format | Cloud TPU | Google Cloud
素材来自:cloud.google.com

1546 x 396 · png
BF16和FP16对比-CSDN博客
素材来自:blog.csdn.net

474 x 249 · jpeg
What is the difference between FP16 and BF16? Here a good explanation for you | by Furkan ...
素材来自:medium.com

979 x 521 · png
[分享]RTX A6000 fp16性能和bf16性能《补交测试数据》 - 电脑讨论(新) - Chiphell - 分享与交流用户体验
素材来自:chiphell.com

810 x 721 · png
[分享]RTX A6000 fp16性能和bf16性能《补交测试数据》 - 电脑讨论(新) - Chiphell - 分享与交流用户体验
素材来自:chiphell.com
640 x 640 · jpeg
Analysis result under FP16, BF16, and INT16 | Download Scientific Diagram
素材来自:researchgate.net

782 x 219 · jpeg
Intel® Deep Learning Boost New Deep Learning Instruction bfloat16
素材来自:intel.com

320 x 320 · jpeg
Resource consumption comparison of the INT16, FP16, and BF16... | Download Scientific Diagram
素材来自:researchgate.net
1480 x 414 · jpeg
从一次面试搞懂 FP16、BF16、TF32、FP32 - 知乎
素材来自:zhuanlan.zhihu.com

素材来自:youtube.com

720 x 440 · jpeg
ARM CPU性能优化：FP32 、FP16 和BF16区别_fp32和fp16算力区别-CSDN博客
素材来自:blog.csdn.net
600 x 172 · jpeg
大模型训练中的 fp32/fp16/bf16、混合精度、训练溢出 - 知乎
素材来自:zhuanlan.zhihu.com

720 x 297 · jpeg
大模型性能优化（一）：量化从半精度开始讲，弄懂fp32、fp16、bf16 - 知乎
素材来自:zhuanlan.zhihu.com

600 x 659 · jpeg
一文搞懂BF16和Broadcast机制 - 知乎
素材来自:zhuanlan.zhihu.com
652 x 578 · png
Bfloat16 Processing for Neural Networks | Semantic Scholar
素材来自:semanticscholar.org

920 x 316 · png
有关于pytorch单精度bfloat16位_torch.bfloat16-CSDN博客
素材来自:blog.csdn.net

1040 x 483 · png
BFloat16 extensions for Armv8-A - AI and ML blog - Arm Community blogs - Arm Community
素材来自:community.arm.com

1051 x 640 · jpeg
大模型性能优化（一）：量化从半精度开始讲，弄懂fp32、fp16、bf16 - 知乎
素材来自:zhuanlan.zhihu.com

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)