2025_NIPS_CoCoA: A Minimum Bayes Risk Framework Bridging Confidence and Consistency for Uncertain...

张开发
• 2026/4/15 12:14:42 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

2025_NIPS_CoCoA: A Minimum Bayes Risk Framework Bridging Confidence and Consistency for Uncertain...
文章核心总结与创新点主要内容本文聚焦大语言模型（LLMs）的不确定性量化（UQ）问题，针对现有基于信息论（依赖token级概率）和一致性（依赖多轮采样语义一致性）的两类方法的局限性，提出了统一的CoCoA框架。该框架基于最小贝叶斯风险（MBR）解码理论，将模型置信度与输出一致性相结合，形成更全面的不确定性评估方法，并衍生出高效的CoCoA Light变体（通过学习函数替代重复采样，降低计算成本）。在问答、文本摘要、机器翻译三大任务上的实验表明，CoCoA及其变体显著优于现有SOTA方法，且在不同模型（LLaMA 3.1 8B、Mistral 7B等）上均展现出稳健性。创新点提出CoCoA框架：以MBR为理论基础，首次将信息论类置信度指标（如序列概率、困惑度）与一致性类指标（语义相似度）通过乘法形式融合，同时捕捉局部模型不确定性与全局语义一致性。设计CoCoA Light变体：通过在无标记数据集上训练轻量辅助模型，近似一致性指标，无需重复采样，在保持性能的同时降低计算开销。全面验证有效性：在7个数据集、3种基础模型及1个大模型（Gemma 3 12B）上验证，涵盖多种解码策略（贪心、最可能采样、MBR解码），均证明其优于现有信息类、一致性类及混合类UQ方法。翻译部分（Markdown格式）AbstractCoCoA：连接置信度与一致性的最小贝叶斯

更多文章