AI能猜出你知道什么？基于通信日志的人类领域知识估计性能比较

背景与问题

企业组织内部的成员专业领域知识难以被精准识别，导致了沟通不畅和资源浪费。大型语言模型（LLMs）被探索用于从长期内部交流记录中推断员工的专业知识水平，以提高协作效率。

核心内容

研究团队收集并分析了27,188条来自43名用户的Slack聊天记录，并使用七种不同的模型进行评估。对比结果显示Gemini 2.5 Flash的估算误差最低（平均绝对误差MAE为21.13%），而其他GPT系列模型表现不佳，显示出更大的差距。研究发现信息量并不是决定推断准确性的关键因素，这表明仅靠更多的文本数据并不足以提高推断能力。

意义与影响

这项研究证明了自动化的专家知识映射技术的可行性，并指出了当前的技术局限性。它强调了在实际应用中必须考虑隐私保护问题以及采用更复杂的数据表示形式来更好地捕捉人类知识。该发现为未来的自然语言处理模型优化提供了方向，同时也提示组织在实施此类技术时需注意相关伦理和隐私问题。