对豪萨语和 fonbe 语言的文本和语音资源概览：可用性、质量及自然语言处理发展中的缺口

背景与问题

近年来，随着自然语言处理（NLP）技术的发展及其在多语种中的应用需求日益增加。然而，许多非主流语言缺乏相应的公共资源和工具支持。为此，研究人员针对豪萨语和丰贝语这两个西非代表性语言进行了一项调研，旨在了解这两种语言目前公开可用的NLP资源状态，并识别现有差距。

核心内容

调研通过系统地搜索学术数据库、数据平台以及网络资源等途径来编制目录。调查涵盖平行语料库、单语文本集合、语音数据集、预训练模型和评估基准等多个方面，详细记录了每项资源的规模、领域覆盖范围、格式、许可协议及可访问性。

调研结果显示：

• 豪萨语：拥有较广泛且多样的文本资源，涵盖了新闻、百科和教育等各类领域。同时，该语言在NER（命名实体识别）和POS（词性标注）任务方面已经形成了基准测试数据集。
• 丰贝语：尽管在文本资源上较为有限，但近期已有学术界开始关注其语音数据的收集工作。

意义与影响

调研不仅为这两种语言的NLP开发提供了基础资料，还指出了未来研究的重点方向：

• 建议为丰贝语增加更多涵盖不同领域的单语文本资源；
• 强调构建专门针对豪萨语的语音数据集的重要性。
  这些发现将有助于促进这两个西非语言社区间的知识交流与技术合作，加速其在NLP领域的发展。