站长之家(ChinaZ.com) 11月29日 消息:智源研究院联合拓尔思、中科闻歌共建了 “中文互联网语料库”（CCI），旨在为大数据和人工智能行业提供安全、可靠的语料资源。
该语料库经过严格的筛选和清洗，包括基于规则和模型的过滤，以及针对评测数据集的严格过滤。首期开放的数据规模为104GB，时间跨度为2001年至2023年。
图源备注：图片由AI生成，图片授权服务商Midjourney
智源研究院表示，将继续扩充数据来源、完善数据处理流程，提供更多高质量、可信的数据资源。
同时，智源研究院还开放了其他高质量中文数据集，如 WUDAO copora、COIG 和 MTP。
下载地址:
- 智源开放数据仓库: https://data.baai.ac.cn/details/BAAI-CCI
- HuggingFace:https://huggingface.co/datasets/BAAI/CCI-Data