编者按
本期 @攻城狮栏目邀请了惠每科技研发中心高级算法工程师凌鸿顺，介绍惠每科技算法团队在CHIP 2023上对大模型进行优化的3个方案。
（上期回顾：大模型在临床辅助诊疗场景下的问题与探讨｜@攻城狮）
为验证惠每医疗大模型的算法能力，2023年8月惠每科技算法团队参加了第九届中国健康信息处理大会（CHIP 2023）评测任务，并在CHIP-PromptCBLUE医疗大模型评测和中文糖尿病问题分类评测两项任务中，分别获得了综合评分的第一名。
本文以CHIP-PromptCBLUE医疗大模型评测过程中的优化方案为例，将此次参评的经验进行了总结和提炼。
评测任务
考察大模型两个能力
CHIP-PromptCBLUE医疗大模型评测任务是CHIP 2023发布的6项测评任务之一。该评测任务只有一个测试集，但包含多个任务的测试样本，包括CMeEE-V2、IMCS-V2-NER、CMeIE、CHIP-CDEE等18个任务。最终分数取决于各项任务分数的平均分数。
测评任务指令集和大模型识别流程
此次任务重点考察大模型两方面能力：
将输入的病历和输出的实体label转化成指令集输入到LLM模型进行识别与生成；
LLM模型生成的结果使用后处理代码得到对应任务的答案。
在基座模型的使用上面，对比了主办方提供的4个基座模型后，惠每科技算法团队选择了更适合本次任务的“baichuan_13b_chat”。同时，根据评测“可训练参数不超过1%”的要求，团队选择LORA算法对大模型进行高效微调，并将可训练参数占比控制在了0.2098%。
测评中LORA算法相关参数
数据增强方案
8个数据集采样达到16000条
测评主办方使用的训练集数据来自CBLUE，但仅使用了3000条。为了提升大模型能力，算法团队将所有任务的数据集进行了扩充，将CBLUE的16000条数据应用到8个重点测评任务中，包括CHIP-CDEE（临床发现事件抽取）、CMeEE-V2（中文医学命名实体识别）、CHIP-CDN（临床术语标准化）、CMeIE-V2（中文医学文本实体关系抽取）、IMCS-V2-NER（智能对话诊疗数据集NER抽取）、CHIP-MDCFNPC（医疗对话临床发现阴阳性判别）、CHIP-CTC（临床试验筛选标准短文本分类）、CHIP-STS（疾病问答迁移学习）、CMedCausal（医疗因果实体关系抽取）。
数据增强方案相关数据
对于其余8个数据集，为了保证任务类别的均衡，同样在其原始数据上进行了扩充，扩充数据数量为8000条。
16000条和8000条数据并非空穴来风，而是经过不断的测试和验证，研究人员发现无论是多于还是少于这个数字，都会降低最终任务完成的效果。
focus loss方案
让模型更关注关键实体信息
在进行任务的过程中，团队发现部分生成的语句会比较长，生成结果可能会不精准，后处理测评结果也会受到影响。例如，命名识别任务中模型输出的语句，其句型结构一般来说都是正确的，但对应的关键信息实体以及实体类型出现错误。对此，“如何让大模型区分重要的和不重要的信息”成为需要解决的问题。
focus loss方案训练流程
经过探讨，团队决定在loss层做出改变：将loss分成两部分进行学习。
首先，将病历原文（关系指令集）输入大模型；然后通过两种方式进行学习，一方面保持默认loss生成方式token_loss，另一方面利用focus_loss只选取重要的实体词；最后将两种方式相加，得到最终的total_loss。
在这个过程中，通过默认loss方式，能够保证语句的连贯性，而focus_loss则可以让大模型更加关注关键实体词。团队还发现，当两种方式以1：1的权重进行训练时，大模型输出结果会过于重视实体词，导致句式出现问题。因此，经过多次尝试，最终团队将focus_loss的权重降低到0.25，将该方案调整到最佳方案。
随机mask方案
将在期刊论文中公布
本次测评能够达成“双料”第一，关键的训练方案“随机mask”功不可没。惠每科技团队已对该训练方案过程和应用效果进行了记录和分析，并被Springer出版社收录，敬请期待。
【责任编辑：王惠】
本公众号所有图文，未经许可，严禁转载！如需转载，请提前与编辑联系取得转载许可。否则视为侵权！
