当前位置：网站首页 » 观点 » 内容详情

对数似然函数权威发布_对数似然值越大越好吗(2024年11月精准访谈)

内容来源：麦吉窗影视所属栏目：观点更新日期：2024-11-27

对数似然函数

ICML2024亮点：KTO对齐 𐟓š 论文标题：Model Alignment as Prospect Theoretic Optimization 𐟎‰ 论文来源：ICML 2024 (spotlight poster) 𐟏려𝜨€…单位：斯坦福大学，Contextual AI 𐟔‘ 代码开源：是 𐟔堤𘻨恥†…容摘要： 𐟌 利用人类感知偏差：研究表明，人类在感知随机变量时存在偏差，如损失厌恶（loss aversion），这些偏差在Kahneman & Tversky的前景理论（prospect theory）中有详细描述。论文指出，现有的LLM对齐目标（如DPO）成功的原因之一是它们隐含地包含了这些人类感知偏差。 𐟓‰ 人类感知损失（HALOs）：论文提出了一类新的损失函数，称为人类感知损失（human-aware losses，HALOs），这些损失函数考虑了人类的决策模型，与传统的基于最大对数似然的方法不同。 𐟓ˆ Kahneman-Tversky优化（KTO）：基于Kahneman和Tversky提出的人类效用模型，论文提出了一种新的对齐方法KTO，它直接最大化生成内容的效用，而不是最大化偏好的最大对数似然。 𐟓Š 性能对比：通过一系列实验，论文展示了KTO在不同规模的模型上（从1B到30B参数）与基于偏好的方法（如DPO）相比，要么匹配要么超越了它们的表现，即使KTO仅从二元信号（输出是否理想）中学习。 𐟓Š 数据不平衡处理：KTO能够处理极端的数据不平衡情况，即使在理想示例（好生成）比不理想示例少90%的情况下，也能匹配DPO的性能。 𐟓Š 无需监督微调：在预训练模型足够好的情况下，可以直接跳过监督微调（SFT）阶段，直接使用KTO，而不会降低生成质量。 𐟓Š 理论分析：论文还提供了理论分析，解释了为什么KTO即使在相同的偏好数据上也能与DPO表现相当或更好，包括对偏好数据噪声和不一致性的处理。 𐟓Š 未来工作：论文讨论了未来工作的方向，包括开发更符合人类对语言感知的HALOs，以及如何为不同的个体和设置确定最佳的HALO。 𐟓Š 实际应用：论文强调了这些方法在实际应用中的潜力，如提高LLMs的有用性和安全性，同时也指出了潜在的风险，如可能加剧数据偏差和偏好同质化。

九种损失函数详解，助你轻松应对各种问题！几乎每个人的机器学习之旅都是从均方误差开始的。均方误差是一种用于回归问题的损失函数，它通过计算模型预测值与真实值之间差异的平方和来衡量模型的拟合效果。通过这个简单的损失函数，我们可以直观地理解，均方误差越小，模型对数据的拟合越好。在训练过程中，机器学习算法的目标通常是最小化均方误差，以使模型能够更好地逼近真实数据分布。然而，需要注意的是，不同类型的问题可能需要使用不同的损失函数，因为损失函数的选择取决于问题的性质和要解决的任务。以下是一些常见的损失函数，帮助你更好地理解和应用它们：均方误差（Mean Squared Error）𐟓：用于回归问题，衡量预测值与真实值之间的差异。交叉熵损失（Cross Entropy Loss）𐟌：用于分类问题，衡量预测概率分布与真实概率分布之间的距离。铰链损失（Hinge Loss）𐟔—：用于支持向量机（SVM），衡量预测值与真实值之间的差异。平方损失（Square Loss）𐟓：用于回归问题，直接计算预测值与真实值之间的差异。绝对值损失（Absolute Loss）𐟓：用于回归问题，计算预测值与真实值之间的绝对差异。 0-1损失（0-1 Loss）𐟔Ÿ：用于分类问题，直接计算预测值与真实值是否一致。指数损失（Exponential Loss）𐟔导š用于分类问题，计算预测值与真实值之间的指数差异。对数损失（Log Loss）𐟓ˆ：用于分类问题，计算预测概率的对数差异。负对数似然损失（Negative Log Likelihood Loss）𐟓‰：用于分类问题，计算预测概率的负对数似然。通过了解和选择合适的损失函数，你可以更好地解决不同类型的问题，提升模型的性能。

清华AI夏令营笔试揭秘𐟓š 𐟎024年清华大学人工智能学院夏令营笔试，一场充满挑战的智力盛宴！以下是笔试的详细回忆版，带你一探究竟。 𐟓Œ 数学与概率部分： P1：三维点变换最小化二范数平方。已知N个三维点X和Y，估计A和T。 P2：二维实数列每行均值极限为0，每列均值极限也为0，求所有元素均值极限是否为0。 P3：抽象代数问题，将一群数学家放在两个大房间，求房间内每个数学家的朋友数均为偶数，证明总人数是0或2的幂次。 P4：随机过程问题，给定名字但忘记了具体内容，有a个红球和b个蓝球，每轮均匀随机抽取一个球，放回的同时再放入一个同色球，设X_T表示T轮后的红球数，证明X_T=1000a时E(T)≥999(a+b)。 𐟓Œ 算法部分： P1：邮局问题，第一问输入N点无序坐标，找到与N点距离和最小的点，要求线性时间并证明算法正确性。第二问k个邮局，还是找N点距离最近邮局的距离和，要求多项式时间复杂度。第三问不是数轴，改为图，距离为最短路，证明是NP-hard问题，并给出算法。 P2：monge矩阵问题，第一问证明对任何的mxn Monge矩阵,有f(1)≤f(2)≤≤f(m)。第二问计算m㗮的Monge矩阵A中每一行的最左最小值的索引f()，要求时间复杂度O(m+nlogm)。 P3：n点匹配连线不相交问题，给定平面上有n个白点和n个黑点，任意三点不共线，试将每个白点与一个黑点相连，要求所有连线互不相交，时间复杂度O(n^2logn)。 𐟓Œ 人工智能部分： P1：GPT预测句中token "People often eat in Shanghai"，第一问prefix为"People often eat'"有什么问题，正确方式是什么。第二问本地有GPT2模型（可以直接计算句子的概率似然），给出exact的方法来predict。第三问只能调用GPT4 API，第二问的方法还能用吗，如何用GPT4实现预测。 P2：反向传播问题，第一问back propagation计算。第二问forward-mode differentiation。第三问MLP用上述两种方法哪个有更低时间复杂度，为什么。 P3：离散域的Score function形式似乎是Diffusion的Score，后两问没来得及写。第一问证明离散方法是合理的（用了onehot来添加小误差），极限为概率密度函数对数的梯度。第二问去噪式子中有p_data hat_q(hat_㗼x)具体忘记了。第三问有diffusion中的二范数平方具体忘记了。这次笔试不仅考察了同学们的基础知识，还对大家的创新思维和解决问题的能力提出了挑战。希望这份回忆版能帮助到正在准备相关考试的你！𐟌Ÿ

专栏内容推荐

1505 x 823 · png
图解极大似然估计_似然函数图示-CSDN博客
素材来自:blog.csdn.net

888 x 386 · png
机器学习中的数学原理——对数似然函数 - 掘金
素材来自:juejin.cn

1440 x 874 · jpeg
贝叶斯公式的对数似然函数_贝叶斯方法理解（1）— 从先验到后验-CSDN博客
素材来自:blog.csdn.net
1220 x 644 · png
似然函数总结_离散型随机变量的似然函数-CSDN博客
素材来自:blog.csdn.net

430 x 461 · png
机器学习中的数学原理——对数似然函数 - 掘金
素材来自:juejin.cn
473 x 253 · png
最大似然估计_对数似然函数和pdf-CSDN博客
素材来自:blog.csdn.net

1373 x 581 · png
03 ，似然函数求解：目标函数推导，对数似然求解，最小二乘法_似然函数怎么求-CSDN博客
素材来自:blog.csdn.net

1134 x 924 · png
似然函数小结_两点分布的似然函数-CSDN博客
素材来自:blog.csdn.net
1549 x 857 · png
图解极大似然估计_似然函数图示-CSDN博客
素材来自:blog.csdn.net

530 x 349 · jpeg
极大似然函数 - 知乎
素材来自:zhuanlan.zhihu.com
486 x 361 · png
机器学习中的数学原理——对数似然函数 - 掘金
素材来自:juejin.cn

1362 x 503 · png
03 ，似然函数求解：目标函数推导，对数似然求解，最小二乘法_似然函数怎么求-CSDN博客
素材来自:blog.csdn.net

686 x 108 · png
机器学习中的数学原理——对数似然函数-CSDN博客
素材来自:blog.csdn.net

706 x 130 · png
机器学习中的数学原理——对数似然函数-CSDN博客
素材来自:blog.csdn.net

504 x 285 · png
机器学习中的数学原理——对数似然函数-CSDN博客
素材来自:blog.csdn.net
374 x 389 · png
负对数似然(negative log-likelihood)_负对数似然函数-CSDN博客
素材来自:blog.csdn.net

684 x 651 · jpeg
极大似然估计(MLE)推导与3D可视化 - 知乎
素材来自:zhuanlan.zhihu.com
1461 x 624 · png
机器学习（六）_似然函数的那个符号是什么意思-CSDN博客
素材来自:blog.csdn.net

385 x 188 · png
机器学习中的数学原理——对数似然函数-CSDN博客
素材来自:blog.csdn.net
1252 x 888 · jpeg
机器学习——算法进阶（二） – 源码巴士
素材来自:code84.com

431 x 147 · png
机器学习中的数学原理——对数似然函数-CSDN博客
素材来自:blog.csdn.net
558 x 430 · png
深入理解Pytorch负对数似然函数（torch.nn.NLLLoss)和交叉熵损失函数（torch.nn.CrossEntropyLoss ...
素材来自:blog.csdn.net