文章总结与翻译一、文章主要内容本文聚焦大型语言模型（LLMs）推理时不确定性的人类对齐与校准问题，旨在找到既符合人类不确定性感知、又具备良好模型校准能力的推理时不确定性量化（UQ）方法，以提升LLM与人类交互的有效性和用户信任度。1. 研究背景现有LLM不确定性研究多关注模型校准（即不确定性度量与模型准确性的匹配度），却忽视了模型不确定性与人类不确定性的对齐程度，导致模型输出的不确定性值对用户而言难以解读。推理时不确定性可实时为模型或外部控制模块提供信号，对改善LLM用户体验至关重要，但当前缺乏对其人类对齐性的评估。2. 研究方法数据集：使用两个数据集，一是含38个问题的Pew数据集（基准参考），二是从Roper公共舆论研究数据库筛选的2998个多选择题（2017-2023年人类调查数据），同时在MMLU基准数据集上评估模型校准。不确定性度量：重点评估推理时UQ方法，包括top-1概率、基于熵的度量（总熵、top-k熵、选项熵）、top-p相关度量（top-p集合大小、top-p熵）。评估指标：人类对齐性通过模型不确定性与人类群体分歧（基于人类调查响应比例的熵）的相关性衡量；模型校准性通过Spearman相关性（不确定性与任务正确性）和Jensen-Shannon距离偏移（JSD偏移，评估高/低确定性下模型答案分布