·成果发表

近期,中国中医科学院中医药信息研究所朱彦副研究员团队与来自中国医学科学院基础医学研究所、中国中医科学院中医基础理论研究所等单位的专家共同研发了“中医辨证思维测评数据集(TCMEval-SDT)”,相关论文成果在Nature旗下数据期刊《Scientific Data》(IF 5.8;JCR Q1)发表。团队指导老师王哲和硕士生郝梦为论文共同第一作者,中国医学科学院基础医学研究所杨啸林副研究员与朱彦副研究员为共同通讯作者,中国中医科学院中医基础理论研究所黄玉燕副研究员、信息所彭苏元、姚克宇副研究员、研究生卢一玮等参与了本研究。

当前,大模型在现代医学各细分领域已经得到了广泛研究和应用,为了客观全面评估大模型的性能,业内已发布了针对现代医学理论和实践的多个测评基准。中医临床诊断是一个多维度、系统性的过程,需要中医医师对中医特有的关键信息进行识别、症状判断、病机推理,最终完成证候诊断。目前,尚无针对大语言模型的中医辨证思维能力评估的测评基准。

为了填补以上空白,本研究将中医临床的辨证思维过程归纳总结为信息抽取、病机推理、证候诊断和解释总结等四个关键步骤;构建了中医病历质量评估量表,并在此基础上筛选了300份高质量中医医案;基于团队已有的百部知识引擎,进行了细粒度标注;对公开可用的几个主流大语言模型(GLM-130B、Tongyi Qianwen、ChatGPT 和 Gemini 1.5 Pro)进行了验证。结果显示,TCMEval-SDT能较准确全面地评估当前主流大模型的中医辨证思维能力。

微信图片_20250403150450.png

未来,将进一步扩大数据集的规模,提高数据多样性;引入更多的客观评价指标和方法,提高评估结果的准确性和可靠性;拓展中医辨证思维测评数据集的应用场景,为中医药领域大模型发展做出更多贡献。

·课题资助

北京市自然科学基金(No.7252253,7254504)、国家自然科学基金(82174534)、中国中医科学院科技创新工程项目(CI2021A05306)、国家中医药管理局中医师资格认证中心/全国中医药教育发展中心课题(TB2023008)和中国医学科学院医学与健康科技创新工程项目(2021-I2M-1-057)等课题基金共同资助。

·论文信息

论文引用:

Wang, Z., Hao, M., Peng, S. et al. TCMEval-SDT: a benchmark dataset for syndrome differentiation thought of traditional Chinese medicine. Sci Data 12, 437 (2025)。

https://doi.org/10.1038/s41597-025-04772-9

论文网址:

https://www.nature.com/articles/s41597-025-04772-9

数据网址:

https://doi.org/10.6084/m9.figshare.27184596.v4

·《Scientific Data》简介

《Scientific Data》是Nature出版社旗下聚焦科学数据共享与开放研究的权威期刊,入选中国计算机学会推荐国际期刊目录。作为数据驱动研究的权威平台,《Scientific Data》在推动跨学科数据共享、提升研究透明度和可重复性方面发挥了重要作用。在多个学科领域的学术评价体系中,被广泛认可为高质量数据出版物的标杆,最新IF 5.8;JCR Q1;中科院2区。