当前位置：网站首页 » 观点 » 内容详情

对数似然函数权威发布_对数似然函数公式(2024年12月精准访谈)

内容来源：麦吉窗影视所属栏目：观点更新日期：2024-12-02

对数似然函数

统计量分布笔记：参数估计大家好，今天我们来聊聊概率论与数理统计中的统计量分布及参数估计。这个部分的内容和统计学笔记有些重合，但毕竟数学笔记嘛，总是要尽量完善。这些笔记是我自己整理的，难免会有一些小错误，如果大家发现有误，欢迎在评论区指正哦！参数估计：矩估计法 𐟓 矩估计法是一种常见的参数估计方法。对于单个参数，我们可以用一阶矩来估计。具体来说，对于一个随机变量X，它的期望值EX就是我们要估计的参数。用样本的一阶矩来估计这个期望值，公式是： EX=x⯊其中，x⯦˜裂𗦜쥝‡值。如果是两个参数，我们可以用二阶矩来建立方程组。比如说，对于两个随机变量X和Y，我们有： EX=x⯊EY=y⯊最大似然估计 𐟌Ÿ 最大似然估计法是另一种重要的参数估计方法。简单来说，就是找到让样本数据出现的概率最大的参数值。具体步骤如下：写出似然函数L(x|，其中x是样本数据，˜都估计的参数。对似然函数取对数，得到对数似然函数lnL(x|。求对数似然函数的导数，令其为零，解出š„值。注意点 ⚠️ 在求最大似然估计时，有两个常见的问题需要注意：似然函数可能没有明确的解析解，需要通过数值方法求解。似然函数可能有多个极值点，需要仔细选择初始值。总结 𐟓 总的来说，参数估计是统计学中一个非常重要的部分。无论是矩估计还是最大似然估计，都需要我们掌握扎实的基础知识和一定的数学技巧。希望这些笔记能帮到大家！如果有任何问题或建议，欢迎随时留言哦！

损失函数揭秘：理论到实战 𐟤” 损失函数是什么？损失函数是优化目标的一种数学表达。通过最小化损失函数，我们可以指导模型学习并改进其性能。损失函数的定义因任务而异，但它们通常都是非负可微的。 𐟓ˆ 交叉熵损失函数（Cross Entropy Loss）交叉熵损失函数常用于分类问题。其表达式为：𐟔 -∑y_i*log(p_i)，其中y_i是真实标签，p_i是预测概率。这个函数的目标是最大化对数似然函数，取个负数就变成了交叉熵损失。 𐟓Š 平均平方误差损失函数（Mean Squared Error Loss）在回归问题中，平均平方误差损失函数非常常见。它的目标是使预测值尽可能接近实际值。虽然分类任务也可以使用MSE，但需要注意预测值的可控性。 𐟚ꠥˆ页损失函数（Hinge Loss）合页损失函数的表达式为：𐟔 max(0, 1 - y*p)。它对预测错误的样本进行惩罚，即使预测对了也会因为不够极致而受到惩罚。如果你更关注正样本，这个损失函数可能非常有用。 𐟔 Focal Loss for Imbalanced Problems Focal Loss用于处理类别不平衡问题。它的表达式为：𐟔 FL = - (1 - p_t)^* log(p_t)，其中p_t是真实类别的预测概率，𘀨ˆ쥏–2。这个损失函数通过调整预测概率的权重来关注那些预测不准确的样本。 𐟎CE Loss：大规模多分类问题的好帮手 NCE Loss常用于处理大规模多分类问题，如语言模型。通过随机抽样负样本来计算损失，可以有效降低计算量。 𐟛 ️ 实战经验总结： 1️⃣ 分类问题初期，无脑使用交叉熵损失函数是个不错的选择。 2️⃣ 如果标签是连续值分箱得到的多分类，可以尝试直接使用MSE或MAE损失。 3️⃣ Focal Loss在处理非常不平衡的样本时非常有效。 4️⃣ 多目标任务中，多个损失函数的组合需要根据任务重要性来调整权重。 5️⃣ 如果遇到loss为nan的情况，首先检查损失函数是否可导，然后排查输入数据和归一化操作是否正确，最后尝试调整初始化参数和学习率。

矩估计&最大似然，解题秘籍！矩估计和最大似然函数在解题时的步骤是相对固定的，只要掌握了这些步骤，就能轻松应对各种题型！𐟓– 1️⃣ 确定参数估计量：首先，需要确定参数的估计量，这通常是通过矩估计或最大似然函数来实现的。 2️⃣ 构建似然函数：根据给定的数据和参数，构建似然函数。这一步是最大似然估计的核心。 3️⃣ 取对数似然函数：为了方便求导，通常会对似然函数取对数，得到对数似然函数。 4️⃣ 求导找极值点：对对数似然函数求导，找到使其取得极值（最大值）的参数值。 5️⃣ 计算参数估计值：将找到的极值点代入原似然函数，得到参数的估计值。 6️⃣ 检验与优化：最后，需要对得到的参数估计值进行检验，确保其符合实际情况，并进行必要的优化。 𐟒ᠦ示：在解题过程中，要特别注意连续型随机变量的处理，以及参数估计量的选择。同时，也要注意对数似然函数的计算和求导技巧。掌握这些步骤，你就能轻松应对矩估计和最大似然函数的题目啦！𐟎‰

KTO：单维反馈，LLM新优化 𐟔 研究背景你是否想过，如果能直接利用用户的反馈来优化大型语言模型（LLM），那会怎样？大多数现有的对齐方法，比如 RLHF 或 DPO，都需要从同一个提示中生成多个输出，然后通过学习首选的输出来改进模型。然而，在现实世界的应用中，我们通常只能收集到单维反馈，例如，用户说“好”还是“坏”。这使得在现实世界数据上使用 DPO 和 RLHF 等技术变得非常困难。KTO 方法试图通过使用对单个输出的二元反馈来简化这一过程，使其更简单，可以直接应用于现实世界的数据。 𐟧 前景理论与人类决策由 Kahneman 和 Tversky 提出的前景理论，是一种描述人们在不确定性面前如何做出决策的理论。该理论的核心是人们对损失的感知通常比对同等大小收益的感知更为敏感，揭示了人们决策中的不对称性。论文指出，尽管只是隐式地，现有的大型语言模型（LLMs）对齐方法已经在某种程度上模拟了这种人类的决策扭曲，形成了所谓的以人为中心的损失函数（HALOs）。 𐟓ˆ 人类中心损失函数论文定义了人类中心损失函数（HALOs）的概念并探讨了其特性。HALOs是指那些在设计时考虑了人类感知和偏好的损失函数。它们通常具有以下特性：相对于参考点的效用：人们评估结果的效用通常是相对于某个参考点，例如人们已有的财富或是保证获得的金额。效用的非线性：人类的效用并不是线性的，而是随着离参考点的距离增加而逐渐变化速率减小。损失厌恶：人类在损失方面的敏感度通常大于收益。 𐟔砋TO方法基于以上洞察，论文提出了新的对齐方法KTO优化，旨在通过直接最大化LLM生成的效用来对齐模型，而不依赖于最大化成对偏好的对数似然。论文将 Kahneman-Tversky 人类价值函数改造成了适应于LLM的形式。KTO损失简化了原始函数中的指数部分，并将货币奖励替换为模型生成的隐含奖励。此外，KTO 考虑了生成文本的相对好坏，将参考点设为所有可能生成下的期望奖励。 𐟓Š 实验结果使用 DPO、KTO 和 PPO 进行了 56 次实验，结果发现： KTO 的性能与 DPO 和 PPO 相当 KTO 在较大的模型上表现出更好的性能与 DPO 和 RLHF 相比，KTO 简化了数据要求需要一个平衡的二元化数据集（50% 好/50% 坏）

大模型价值对齐：SPPO的偏好优化 𐟓–标题：Self-Play Preference Optimization for Language Model Alignment 𐟌来源：arXiv, 2405.00675 𐟑‰文章简介传统的RLHF方法，依赖于类似Bradley-Terry的参数模型，无法捕捉人类偏好中的不传递性和非理性。最近研究表明，直接使用偏好概率可以更准确地反映人类偏好，从而实现更灵活和准确的语言模型对齐。本文提出了一种基于自我博弈的语言模型对齐方法（SPPO），将问题视为一个旨在确定纳什均衡策略的常和零和博弈。实验表明，SPPO优于DPO和IPO，且不需要更强大的语言模型的额外外部监督。 𐟑‰重点思路 𐟔𖤼 统对齐方案 PPO：训练显示奖励函数 DPO：使用对数似然比来隐式表示奖励分数方案对比：从根本上都遵循奖励最大化目标，并且由参数模型（如BT模型）确定实证研究：直接预测成对偏好比通过基于BT的奖励模型预测偏好更好经验分析：人类决策受到不同因素的影响表现会不一致，并且不总遵循偏好传递，会出现价值不合理以及偏好循环 𐟔𖧐†论框架问题抽象：将响应的偏好比较转化为常和博弈的纳什均衡，即P(y′≻y|x)=1−P(y≻y′|x)，等价于P(‰𛏀′)+P(€𒢉𛏀)=1 求解方案：借鉴纳什均衡的解决思路，构建一个迭代框架，可以渐近收敛到最优策略 𐟔𖓐PO方案获取初始响应：输入提示x，模型生成k个响应计算响应概率：通过偏好预测模型计算K个响应中的获胜率，即P(yk≻yk′|x) 初始响应筛选：基于特定标准，确定保留的响应构建训练数据：汇总(提示,响应,概率)三元组，Dt={(xi,yi,P(yi≻|xi))} 模型训练：通过响应对之间的比较，通过求解方案进行迭代优化 𐟑‰实验设置实验数据：基础数据为Ultrafeedback，偏好数据为Auto-J Pairwise，评测基准为AlpacaEval、MT-Bench和Open LLM 实验模型：基础模型为Mistral-7B，偏好模型为PairRM 对照基线：DPO、IPO、Self-rewarding 𐟑‰主要结论 SPPO在多个基准测试中表现最优 𐟑‰个人观点本文的核心是应对偏好的不传递性，将偏好转变为常和博弈的纳什均衡。

如何从零开始学习机器学习？𐟤”𐟒𛊥悦žœ你打算从零开始学习机器学习，这可能是一个长期且充满挑战的过程。不过，别担心，我会给你一个10周的学习计划，帮助你逐步掌握这个领域的基础知识。𐟓š 第一周：基础概念与线性模型𐟓– 了解机器学习的基础概念学习线性模型，包括一元线性回归、多元线性回归和对数几率回归介绍sklearn库，并学习如何在kaggle notebook中使用它入门比赛：泰坦尼克号生存预测报名并指导入门构造更多更好的特征掌握逻辑回归的原理学习sklearn中的逻辑回归算法第二周：决策树与剪枝𐟌𓊥�𙠥†𓧭–树的分裂准则了解决策树的剪枝和连续值处理掌握决策树的原理，并学习sklearn中的决策树算法实战：以决策树为分类模型，调节参数优化模型效果第三周：支持向量机与核函数𐟔犥𛺧닥’Œ支持向量机的原始模型学习核函数和软间隔支持向量机掌握svm的原理，并了解sklearn中的svm算法实战：以支持向量机为模型，调节参数优化模型效果第四周：朴素贝叶斯与EM算法𐟧 学习EM算法了解极大似然估计与朴素贝叶斯掌握贝叶斯的原理，并学习sklearn中的朴素贝叶斯算法实战：使用knn算法实现鸢尾花分类第五周：神经网络与深度学习𐟌 了解神经网络的结构与BP算法初探深度学习掌握BP网络的原理，并学习sklearn中的BP网络算法实战：使用BP网络实现MNIST分类第六周：模型评估与性能度量𐟓Š 了解经验误差与过拟合学习评估方法，包括sklearn中的各种评估方法掌握性能度量的原理，并了解sklearn中的模型评估方法第七周：特征选择与降维𐟔 了解特征降维和特征选择学习sklearn中的特征选择和降维算法实战：应用特征选择和降维技术 𐟓㰟“㩜€要注意的是，这个计划更适合作为一学期课程的教材，不推荐完全自学。建议结合课程进行学习，效果会更好。𐟓š