ChiCTR2600126004 版本V1.0 版本创建时间2026/06/02 11:22:48 中国临床试验注册中心

审核状态：

Project audit state：

通过审核

Successful

注册号：

Registration number：

 ChiCTR2600126004 

最近更新日期：

Date of Last Refreshed on：

 2026-06-02 11:19:01 

注册时间：

Date of Registration：

 2026-06-02 00:00:00 

注册号状态：

补注册

Registration Status：

Retrospective registration

注册题目：

DeepSeek医学能力评估

Public title：

Medical Strengths of DeekSeek

注册题目简写：

English Acronym：

研究课题的正式科学名称：

利用OSCE题库及本院真实病例跨学科评估DeepSeek等LLM真实医学能力及其在临床服务中的价值的研究

Scientific title：

A study that uses OSCE question base and real patient cases to evaluate the medical strength of LLMs such as DeepSeek and their values in clinical services

研究课题代号(代码)：

Study subject ID：

在二级注册机构或其它机构的注册号：

The registration number of the Partner Registry or other register：

申请注册联系人：

陈培凯 

研究负责人：

张文智 

Applicant：

Chen Peikai 

Study leader：

Zhang Wenzhi 

申请注册联系人电话：

Applicant telephone：

 +86 755 86913333

研究负责人电话：

Study leader's
telephone：

+86 755 8691 3333

申请注册联系人传真 ：

Applicant Fax：

研究负责人传真：

Study leader's fax：

申请注册联系人电子邮件：

Applicant E-mail：

 pkchen@hku-szh.org

研究负责人电子邮件：

Study leader's E-mail：

 cheungmc@hku-szh.org

申请单位网址(自愿提供)：

Applicant website(voluntary supply)：

研究负责人网址(自愿提供)：

Study leader's website(voluntary supply)：

申请注册联系人通讯地址：

广东省深圳市福田区海源一路1号

研究负责人通讯地址：

广东省深圳市福田区海源一路1号

Applicant address：

No. 1, Haiyuan 1st Road, Futian District, Shenzhen City, Guangdong Province

Study leader's address：

No. 1, Haiyuan 1st Road, Futian District, Shenzhen City, Guangdong Province

申请注册联系人邮政编码：

Applicant postcode：

研究负责人邮政编码：

Study leader's postcode：

申请人所在单位：

香港大学深圳医院

Applicant's institution：

The University of Hong Kong - Shenzhen Hospital

研究负责人所在单位：

香港大学深圳医院

Affiliation of the Leader：

The University of Hongkong - Shenzhen Hospital

是否获伦理委员会批准：

是

Approved by ethic committee：

Yes

伦理委员会批件文号：

Approved No. of ethic committee：

 伦[2025]078

伦理委员会批件附件：

Approved file of Ethical Committee：

 查看附件View

批准本研究的伦理委员会名称：

香港大学深圳医院科研项目伦理审查委员会

Name of the ethic committee：

Research Ethics Committee/Institutional Review Board of The University of Hong Kong-Shenzhen Hospital

伦理委员会批准日期：

Date of approved by ethic committee：

 2025-03-28 00:00:00

伦理委员会联系人：

梁敏飞

Contact Name of the ethic committee：

Liang Minfei

伦理委员会联系地址：

广东省深圳市福田区海源一路1号

Contact Address of the ethic committee：

No. 1, Haiyuan 1st Road, Futian District, Shenzhen City, Guangdong Province

伦理委员会联系人电话：

Contact phone of the ethic committee：

 +86 755 86913175

伦理委员会联系人邮箱：

Contact email of the ethic committee：

 liangmf@hku-szh.org

研究实施负责（组长）单位：

香港大学深圳医院

Primary sponsor：

The University of Hongkong - Shenzhen Hospital

研究实施负责（组长）单位地址：

广东省深圳市福田区海源一路1号

Primary sponsor's address：

No. 1, Haiyuan 1st Road, Futian District, Shenzhen City, Guangdong Province

试验主办单位(项目批准或申办者)：

Secondary sponsor：

国家：

中国

省(直辖市)：

广东省

市(区县)：

Country：

China

Province：

Guangdong

City：

单位(医院)：

香港大学深圳医院

具体地址：

广东省深圳市福田区海源一路1号

Institution
hospital：

The University of Hongkong - Shenzhen Hospital

Address：

No. 1, Haiyuan 1st Road, Futian District, Shenzhen City, Guangdong Province

经费或物资来源：

自选课题（自筹）

Source(s) of funding：

Self funded

研究疾病：

无  

Target disease：

None

研究疾病代码：

Target disease code：

研究类型：

观察性研究

Study type：

Observational study

研究所处阶段：

 探索性研究/预试验 

Study phase：

0

研究设计：

连续入组 

Study design：

Sequential 

研究目的：

本研究旨在通过客观结构化临床考试（OSCE）题库及本院真实病例，跨学科评估DeepSeek等大型语言模型（LLMs）在医学推理、诊断、治疗方案推荐等方面的实际能力，评估其幻觉等风险，并分析其在临床服务中的潜在应用价值。  

Objectives of Study：

The purpose of this study was to evaluate the actual ability of large language models (LLMs) such as DeepSeek in medical reasoning, diagnosis, and treatment plan recommendation through the objective structured clinical examination (OSCE) question bank and real cases in our hospital, evaluate their risk of hallucinations, and analyze their potential application value in clinical services.

药物成份或治疗方案详述：

 

Description for medicine or protocol of treatment in detail：

 

纳入标准：

1. OSCE 题目入选标准 (1) 题目相关性：题目应与医学临床实践密切相关，能够有效评估 LLMs 的医学知识和临床技能。 (2) 题目多样性：题目应涵盖多个医学领域和临床场景，包括但不限于内科、外科、妇产科、儿科、急诊科等。 (3) 题目难度：题目难度应适中，能够区分不同水平的医学知识和临床技能。 (4) 题目质量：题目应经过专家审核，确保其科学性和合理性。 2. 实际病例入选标准 (1) 病例真实性：病例应为本院的真实病例，具有完整的病历记录和临床数据。 (2) 病例多样性：病例应涵盖多种疾病类型和临床场景，包括常见病、多发病和疑难病症。 (3) 病例完整性：病例应包括详细的病情描述、诊断结果、治疗方案和随访记录。 (4) 病例代表性：病例应具有代表性，能够反映临床实践中的常见问题和挑战。 (5) 病例时间范围：病例应涵盖过去 5 年内的数据，以确保其时效性和相关性。 具体说明 OSCE 题目：将从现有的 OSCE 题库中筛选出 600 例题目，确保其涵盖广泛的医学领域和临床场景。题目将经过专家审核，确保其科学性和合理性。 实际病例：将从本院的病例库中选取 600 例真实病例，涵盖多种疾病类型和临床场景。病例将经过严格筛选，确保其完整性和代表性。 通过上述样本量和入选标准，本研究将确保样本的代表性和多样性，为全面评估 DeepSeek 等 LLMs 的真实医学能力及其在临床服务中的价值提供科学依据。

Inclusion criteria

1. OSCE Question Selection Criteria (1) Relevance of Questions: Questions should be closely related to medical clinical practice and can effectively assess the medical knowledge and clinical skills of LLMs. (2) Diversity of Questions: Questions should cover multiple medical fields and clinical scenarios, including but not limited to internal medicine, surgery, obstetrics and gynecology, pediatrics, emergency medicine, etc. (3) Difficulty of Questions: The difficulty of the questions should be moderate, capable of distinguishing different levels of medical knowledge and clinical skills. (4) Quality of Questions: Questions should be reviewed by experts to ensure their scientific validity and rationality. 2. Real Case Selection Criteria (1) Authenticity of Cases: Cases should be real cases from our hospital, with complete medical records and clinical data. (2) Diversity of Cases: Cases should cover various types of diseases and clinical scenarios, including common diseases, frequently occurring diseases, and rare or difficult conditions. (3) Completeness of Cases: Cases should include detailed descriptions of the condition, diagnostic results, treatment plans, and follow-up records. (4) Representativeness of Cases: Cases should be representative, reflecting common issues and challenges encountered in clinical practice. (5) Time Range of Cases: Cases should cover data from the past 5 years to ensure their timeliness and relevance. Specific Description OSCE Questions: 600 questions will be selected from the existing OSCE question bank to ensure coverage of a wide range of medical fields and clinical scenarios. The questions will be reviewed by experts to ensure their scientific validity and rationality. Real Cases: 600 real cases will be selected from the hospital's case database, covering various types of diseases and clinical scenarios. The cases will undergo strict screening to ensure their completeness and representativeness. With the above sample size and selection criteria, this study will ensure the representativeness and diversity of the samples, providing a scientific basis for comprehensively evaluating the true medical capabilities of LLMs such as DeepSeek and their value in clinical services.

排除标准：

无

Exclusion criteria：

None

研究实施时间：

Study execute time：

从 From 2025-01-01 00:00:00至 To 2025-12-31 00:00:00  

征募观察对象时间：

Recruiting time：

从 From 2025-01-01 00:00:00 至 To 2025-12-31 00:00:00

干预措施：

Interventions：

组别：

病例组

样本量：

 600

Group：

Case Group

Sample size：

干预措施：

无

干预措施代码：

Intervention：

None

Intervention code：

组别：

OSCE组

样本量：

 600

Group：

OSCE group

Sample size：

干预措施：

无

干预措施代码：

Intervention：

None

Intervention code：

研究实施地点：

Countries of recruitment and research settings：

国家：

 中国

省(直辖市)：

 广东省 

市(区县)：

  

Country：

China

Province：

Guangdong

City：

单位(医院)：

 香港大学深圳医院 

单位级别：

 三级甲等 

Institution
hospital：

The University of Hongkong - Shenzhen Hospital

Level of the institution：

Tertiary A

测量指标：

Outcomes：

指标中文名：

特定大语言模型医学水平得分

指标类型：

主要指标

Outcome：

Medical strength of specific large language models

Type：

Primary indicator

测量时间点：

基线评估

测量方法：

由三甲医院高级职称医生独立、盲法评判。

Measure time point of outcome：

Baseline

Measure method：

Independent, blinded evaluation by senior physicians from tertiary hospitals.

指标中文名：

OSCE 题库评估准确率

指标类型：

主要指标

Outcome：

OSCE Question Bank Evaluation Accuracy

Type：

Primary indicator

测量时间点：

测量方法：

Measure time point of outcome：

Measure method：

采集人体标本：

Collecting sample(s)
from participants：

标本中文名：

无

组织：

Sample Name：

NA

Tissue：

人体标本去向

 其它  

说明

Fate of sample：

0thers  

Note：

征募研究对象情况：

Recruiting status：

结束

/Completed

年龄范围：

Participant age：
最小 Min age 岁 years
最大 Max age 岁 years

性别：

男女均可

Gender：

Both

随机方法（请说明由何人用什么方法产生随机序列）：

无

Randomization Procedure (please state who generates the random number sequence and by what method)：

None

是否公开试验完成后的统计结果:

Calculated Results after the Study Completed public access:

不公开/Private

盲法：

无

Blinding：

None

是否共享原始数据：

IPD sharing

是Yes

共享原始数据的方式（说明：请填入公开原始数据日期和方式，如采用网络平台，需填该网络平台名称和网址）：

论文发表后半年内，通过备案系统网址共享数据https://www.medicalresearch.org.cn/。

The way of sharing IPD”(include metadata and protocol, If use web-based public database, please provide the url)：

Within six months of publication, share data via the filing system website https://www.medicalresearch.org.cn/.

数据采集和管理（说明：数据采集和管理由两部分组成，一为病例记录表(Case Record Form, CRF)，二为电子采集和管理系统(Electronic Data Capture, EDC)，如ResMan即为一种基于互联网的EDC：

电子采集和管理

Data collection and Management (A standard data collection and management system include a CRF and an electronic data capture：

Electronic Data Capture

数据与安全监察委员会：

Data and Safety Monitoring Committee：

无/No

注册人：

Name of Registration：

  2026-06-02 11:19:01