当前位置：网站首页 » 热点 » 内容详情

bf16最新视觉报道_bf16精度(2024年12月全程跟踪)

内容来源：麦吉窗影视所属栏目：热点更新日期：2024-12-01

bf16

⚡️ Qwen QwQ 32B 预览 4bit 量化𐟒露Ž bf16 相比，平均质量恢复率为 101.3%。即使在低 4bit 量化范围内，最好的也越来越好。 𐟑‡

听到了超算和智算的说法，但从实现的指令集角度说，超算更多是int32/int64/int128 fp32/fp64/fp128，而智算是int8/int16 bf16 ... 。

「第七届中国国际进口博览会」「AI+新质生产力」AMD在芯片展示区展示了多款高性能产品，有包括： -运行在5Ghz的第五代EPYC处理器- AMD EPYC 9005系列处理器，涵盖所有的新的云工作负载，也满足所有重要的企业工作负载； -适用于专业创意和国内大模型AI计算、为AI 服务器和AI工作站量身打造的Radeon PRO W7900 Dual Slot GPU, 单卡可提供48GB大容量显存； -采用XDNA神经网络架构的、仅用75W功耗即可实现高达404 TOPs算力（Int8精度，202TOPs for BF16）的AMD Alveo V70 AI计算卡。

【Intel Arrow Lake-H笔记本处理器升级新核显：特殊的1.5代架构】将于明年初发布的主流笔记本处理器Arrow Lake-H，核显既不是Lunar Lake系列的二代Xe2-LPG，也不是Meteor Lake、Arrow Lake-S/HX系列的一代Xe-LPG，而是可以视为1.5代。Intel称之为“Alchemist+”，也叫做“Xe-LPG+”，还称为“Xe with XMX”。它源于初代的Xe-LPG，包含后者没有的XMX引擎，支持INT、INT8、FP16、BF16等数据格式，其中INT8、FP16的每时钟周期操作数分别为2048个、1024个。 Xe-LPG+一共配备128个XMX引擎(可视为128个流处理器)，也就是8个Xe核心，还有128个16宽度的矢量引擎，针对AI和能效进行了优化，以及2个几何流水线、8个采样器、4个像素后端。同时，它还有8个增强光追单元、8MB独立二级缓存，对比上代翻番，并完整支持DX12 Ultimate、XeSS。 AI算力最高可达77 TOPS，再加上CPU、GPU，突破100 TOPS将会非常轻松，最高或可接近150 TOPS。 Arrow Lake-H处理器将采用和桌面版一样的Lion Cove P核架构、Skymont E核架构，支持多引擎安全、高性能NPU、Wi-Fi 7和蓝牙5.4、雷电4、高速LPDDR5X内存、PCIe 5.0，采用Foveros 3D整合封装。

[LG]《"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization》E Kurtic, A Marques, S Pandit, M Kurtz... [Neural Magic] (2024)网页链接「机器学习」「人工智能」「论文」

GPU高效训练Transformer 目标是在尽可能减少GPU训练成本的同时，最大化模型性能。以下是一些实用的建议： 𐟧 内存优化：在内存有限的情况下，可以通过增加计算成本来减少内存需求。实验表明，在不同内存配置下，通过选择性激活重计算可以显著减少内存需求。 𐟒ᠦ•𐦍𖨡Œ度：使用高质量的互连技术可以增加数据并行度，从而提高总吞吐量。分片优化器可以减少优化器的额外内存，而多维度的数据并行度也非常重要。额外开销应小于等于总内存的20%。 𐟔砦𗷥ˆ精度训练：大多数Transformer模型采用混合精度训练，如fp16+fp32或bf16+fp32，这样可以减少训练模型和推理所需的内存量。 ⚙️ 计算成本：Transformer模型通常用GPU-hours或FLOP-seconds来表示计算成本。如果计算性能低于115 FLOP/S/A100，那么很可能是模型或硬件配置出了问题。通过这些方法，可以在保证模型性能的同时，有效降低GPU训练成本。

大模型显存占用计算：参数与优化器状态详解在深度学习中，模型参数量与显存占用之间的关系常常让人感到困惑。为了帮助大家更好地理解这个问题，本文将详细介绍这两个概念的关系。 1️⃣ 参数量与显存的关系 𐟧斥…ˆ，让我们澄清一下概念：1B代表十亿个参数，而1G显存表示十亿字节（byte）。如果使用全精度训练（fp32），每个参数占用32比特，相当于4字节。因此，1B参数对应4G显存。如果采用fp16或bf16精度，显存占用则会减半，即1B参数对应2G显存。 2️⃣ 显存的其他开销 𐟒ኩ™䤺†模型参数本身，训练时的显存还会被其他部分占用，包括梯度和优化器状态：梯度：每个参数对应一个梯度值，显存占用与参数量相同，占用1倍显存。优化器状态：这取决于具体的优化器类型。如果使用裸SGD，不需要额外显存；若使用带动量的SGD，显存增加1倍；如果是Adam优化器，则会增加2倍显存，因为需要储存一阶和二阶动量。 3️⃣ 计算示例 𐟓Š 假设我们训练一个1B参数量的小模型，使用Adam优化器、fp32精度，忽略数据和hidden states部分的显存开销。显存占用如下：参数占用：4G 梯度占用：4G 优化器状态占用：8G 总计：16G显存。如果是bf16精度，则减半，占用8G显存。通过这些信息，你可以更好地估计大模型训练所需的显存量，从而选择合适的硬件设备。

[鲜花]摩尔线程宣布开源高性能线性代数模板库 MUTLASS，以便开发者能够更高效针对摩尔线程全功能 GPU 的 MUSA Core 及 Tensor Core 等单元进行编程，加速基于国产 GPU 的算子开发以及算法创新。 [打call]作为摩尔线程专为 MUSA 架构优化的高性能计算库，MUTLASS（MUSA Templates for Linear Algebra Subroutines）是基于开源模板库 CUTLASS 进行的 MUSA 适配和定制化开发、优化。针对矩阵乘法及相关变种，MUTLASS 提供了一系列高性能的 C++ 模板组件，并采用了与 muDNN 库类似的分层分解及数据搬运策略，以确保性能的充分发挥。 [微风]在本次开源的版本中，摩尔线程适配了 CuTe 后端库，为其增加了第三代 MUSA 架构的 MMA 计算原语，支持 TF32 / FP16 / BF16 / INT8 等多种数据精度，并以此为基础，初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。网页链接

神经网络显存优化：你真的需要那么多吗？最近，很多神经网络模型都采用了 BFloat 16（BF16）来存储权重。但你有没有注意到，实际上BF16在8比特的幂中平均只用了2.66比特？这意味着对于那些庞大的模型来说，大量的显存其实是被浪费了。𐟘… 为了解决这个问题，我们开发了一个名为NeuZip的CUDA扩展，它可以压缩掉那些多余的空间，而且不会损失任何精度。更棒的是，它的运行速度非常快，几乎可以和成熟的量化框架相媲美。𐟚€ 你可以通过pip install neuzip来直接使用这个Python包。如果你有能力和意愿，也可以直接修改源代码。我们相信，通过这个工具，你可以更有效地管理神经网络的显存使用。𐟒𞊊欢迎大家加入讨论，一起探索如何让神经网络更高效地运行！𐟤

高性能计算服务：H100/H20租用指南探索高性能计算的未来，我们提供H100和H20芯片的租用服务，为您的科研、工程或数据分析提供强大的算力支持。𐟌Ÿ 𐟔堈20芯片：拥有4096个CUDA核心和256个张量核心提供0.3 TFLOPS的FP64精度算力和25 TFLOPS的FP16/BF16精度算力功耗为400W，是高效计算的理想选择 𐟚€ H100芯片：配备8192个CUDA核心和512个张量核心能够提供10.4 TFLOPS的FP64精度算力和332.8 TFLOPS的FP16/BF16精度算力功耗高达700W，为您的复杂计算任务提供强大动力 𐟛 ️ 租用选项：裸金属租用云算力租用 8卡GPU服务器整机租用 40kw高电机柜租用 𐟌🠦œ𚦈🧎異ƒ：我们的数据大楼采用热缓冲夹层节能设计，配合防晒墙，减少40%的辐射热，打造高效低碳、绿色节能的数据中心。 𐟔Œ 供电系统：双路高可靠供配电系统，全线独立2N配置，UPS核心电源按2（N+1）配置，确保供电的稳定性和可靠性。 ❄️ 制冷系统：高效节能制冷系统，室内精密空调N+2冗余配置，冷水机组冷冻水管网2N双环路保障，确保设备在最佳温度下运行。 𐟔⠦œ𚦟œ规格：我们提供42U/48U标准机柜，可供电量选择包括10kw、35kw、40kw等规格，满足不同用户的需求。立即租用，开启您的高性能计算之旅！𐟌ˆ

专栏内容推荐

1326 x 542 · png
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】-CSDN博客
素材来自:blog.csdn.net

1473 x 1037 · png
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】-CSDN博客
素材来自:blog.csdn.net
474 x 123 · jpeg
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】-CSDN博客
素材来自:blog.csdn.net

773 x 715 · png
fp32、fp16 與 bf16 – Gea-Suan Lin's BLOG
素材来自:blog.gslin.org
900 x 900 · png
BF16 GPS etetőhajó - Baitfishing
素材来自:baitfishing.hu

570 x 570 · png
BF16 GPS etetőhajó - Baitfishing
素材来自:baitfishing.hu
1546 x 396 · png
BF16和FP16对比-CSDN博客
素材来自:blog.csdn.net

843 x 843 · jpeg
BF16 mod – KHW mods
素材来自:khwmods.com
1200 x 1200 · jpeg
Levedura Angel Lager BF16 12 G - Empório do Lúpulo
素材来自:emporiodolupulo.com.br

843 x 843 · jpeg
BF16 mod – KHW mods
素材来自:khwmods.com
800 x 800 · jpeg
BF16,BF16L - Drilling and Milling Machine - SENMO Machine Tools
素材来自:senmocn.com

1200 x 1800 · jpeg
VoidMix [fp16/bf16] [safetensors] [Checkpoint] - v4 | Stable Diffusion Checkpoint | Civitai
素材来自:civitai.com
1024 x 778 · jpeg
Crosskeys BF16 XPE | BF16 XPE Mercedes Tourismo Crosskeys Co… | Flickr
素材来自:flickr.com

843 x 843 · jpeg
BF16 mod – KHW mods
素材来自:khwmods.com
900 x 900 · png
BF16 GPS etetőhajó - Baitfishing
素材来自:baitfishing.hu

876 x 553 · jpeg
fp32、fp16、bf16介绍与使用_fp32和fp16算力区别-CSDN博客
素材来自:blog.csdn.net
903 x 903 · jpeg
BF16 mod black – KHW mods
素材来自:khwmods.com

1480 x 868 · jpeg
从一次面试搞懂 FP16、BF16、TF32、FP32 - 知乎
素材来自:zhuanlan.zhihu.com
1719 x 900 · png
BF16 Black Bait Etetőhajó - Baitfishing
素材来自:baitfishing.hu

474 x 474 · jpeg
BF16 mod – KHW mods
素材来自:khwmods.com
536 x 441 · png
BF16是为深度学习而优化的新数字格式预测精度的降低幅度最小_禁止使用fp16-CSDN博客
素材来自:blog.csdn.net

1200 x 600 · png
使用deepspeed单机多卡+bf16，微调llama-2-13b，loss为0。 · Issue #1898 · hiyouga/LLaMA-Factory · GitHub
素材来自:github.com

800 x 1418 · jpeg
HD bf16 wallpapers | Peakpx
素材来自:peakpx.com
1092 x 606 · png
bf16, fp32, fp16, int8, int4 in LLM | by Jasminewu_yi | Medium
素材来自:medium.com

1200 x 648 · png
TheBloke/openbuddy-llama2-34b-v11.1-bf16-GGUF at main
素材来自:huggingface.co

1600 x 1600 · jpeg
BF16 mod red – KHW mods
素材来自:khwmods.com
474 x 474 · jpeg
BF16 mod red – KHW mods
素材来自:khwmods.com

1020 x 570 · jpeg
Máy hút bụi dạng hộp Hitachi CV-BF16 GN
素材来自:greenair.com.vn

1600 x 1600 · jpeg
BF16 mod white – KHW mods
素材来自:khwmods.com
1020 x 570 · jpeg
Máy hút bụi dạng hộp Hitachi CV-BF16 GN
素材来自:greenair.com.vn

3460 x 1484 · png
低精度算子支持开发规范-使用文档-PaddlePaddle深度学习平台
素材来自:paddlepaddle.org.cn

1067 x 800 · jpeg
14 CA6 F0 B BF16 4723 9 E24 9 B43365 D9 A85 — Postimages
素材来自:postimg.cc
1200 x 1692 · jpeg
kanu_origin自炼原生模型 - 原版bf16 | Stable Diffusion Checkpoint | Civitai
素材来自:civitai.com

474 x 474 · jpeg
BF16 mod black – KHW mods
素材来自:khwmods.com
810 x 1080 · jpeg
BF16
素材来自:laurellittletheatre.com

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)