GitHub发布新开放数据集助力多语言AI研发

GitHub于2026年6月15日发布了GitHub Multilingual Repositories Dataset，这是一个仓库级元数据集，旨在帮助研究人员和开发者发现包含非英语自然语言内容的公共GitHub仓库。该数据集遵循CC0-1.0协议在GitHub上公开，是微软2025年欧洲数字承诺的一部分，致力于提高多语言数据的可访问性，包括对开源AI开发者。数据集涵盖超过4000万个仓库的8000多万条分类记录，提供每个公共仓库的README、最活跃issue和最活跃pull request的语言分类（使用fastText、gcld3和lingua-py三个分类器，置信度>0.5），以及仓库元数据（创建时间戳、磁盘使用量、星标数、分支数、主要编程语言、SPDX许可证、issue和pull request数量及快照日期）。分类时采用各文本前150字符作为样本，排除不足20字符的文本，且未将三个分类器结果合并为单一标签，以便用户根据需求选择不同的置信度阈值。该数据集可用于发现特定语言的开发者文档或协作仓库、研究非英语开发者社区对issue、pull request和README的使用情况、构建AI编码工具的评估集、推动开发者工具的语言覆盖扩展以及衡量欧洲及其他代表性不足语言在开源中的占比。但需注意，由于软件仓库文本通常较短、可能包含混合内容，且分类器对低资源语言的覆盖和校准存在差异，该数据集不应作为语言识别的基准，而应作为透明的发现工具，同时不可用于推断仓库所有者、贡献者或社区的敏感属性。GitHub表示，许多欧洲语言在AI系统训练和评估数据中代表性不足，此数据集通过提供开发者协作特有的语言内容（如安装说明、错误报告等），有助于构建更具包容性的AI工具，并将于6月16日在斯特拉斯堡的Open Innovation Dialogue Hub活动中讨论该数据集及开放数据对多语言AI的重要性。