售前电话
135-3656-7657
售前电话 : 135-3656-7657
技术特征:
1.一种皮肤病在线问诊方法,其特征在于,所述方法包括:获取步骤:获取预测样本,所述预测样本包括患处图像和/或历史问诊问题;其中,所述患处图像为当前轮次之前从医生终端接收的,所述历史问诊问题为上一轮次从医生终端接收的;向量化步骤:对所述患处图像和/或所述历史问诊问题进行向量化,得到图像输入向量和/或文本输入向量;预测步骤:将所述图像输入向量和/或所述文本输入向量对应输入到训练好的皮肤病问诊问题推荐模型中进行预测,得到多个待选问题,并推荐至所述医生终端,以使医生可从所述多个待选问题中选择一个作为本轮次问诊问题;循环步骤:依次循环执行所述获取步骤、所述向量化步骤、所述融合步骤和所述预测步骤多次,直到问诊结束。2.根据权利要求1所述的方法,其特征在于,所述皮肤病问诊问题推荐模型是根据下述方法训练得到的:构建皮肤病问诊问题的推荐初始模型,其中,所述皮肤病问诊问题的推荐初始模型包括图像分类子模型、语言表达子模型和问诊问题分类子模型,所述图像分类子模型和所述语言表达子模型分别连接所述问诊问题分类子模型;构建训练数据集,所述训练数据集包含多组训练样本,每组训练样本是根据一次皮肤病问诊对话提取而成,每组训练样本包括多轮次训练数据,每轮次输入数据包括一张患处图片和一个问诊问题;且不同组训练样本的多个轮次训练数据作为一类训练数据,每类训练数据具有相同标签,且每类训练数据中的距离其他问题最近的问诊问题作为对应标签的标准问诊问题;将所述训练数据集输入所述皮肤病问诊问题的推荐初始模型进行训练,得到皮肤病问诊问题的推荐模型。
3.根据权利要求2所述的方法,其特征在于,所述构建训练数据集,包括:对于一次皮肤病问诊对话,对述皮肤病问诊对话进行图文分离,得到至少一张患处图片和多段医患问答文本;对各各段医患问答文本进行过滤,得到多个问诊问题;将所述患者图片与得到的每个问诊问题分别组合,得到多轮次训练数据;对得到的多个问诊问题进行聚类,得到多类问诊问题;基于距离最近原则,从各类问诊问题中选取一个问诊问题作为对应标签的标准问诊问题;对获取的多次皮肤病问诊对话进行处理,得到所述训练数据集。4.根据权利要求2所述的方法,其特征在于,所述将所述训练数据集输入所述皮肤病问诊问题的推荐初始模型进行训练,包括:对于一组训练样本,依次将每组训练样本的多轮次训练数据输入所述皮肤病问诊问题推荐初始模型中;各轮次训练数据中的患处图像进入所述图像分类子模型,以及问诊问题进入所述语言表达子模型,将所述图像分类子模型的输出作为图像输出向量,将所述语言表达子模型的输出作为文本输出向量;
将所述图像输出向量和所述文本输出向量进行融合,得到融合向量;使所述融合向量进入所述问诊问题分类子模型,以对推荐问诊问题的标签的概率值进行预测;根据得到的预测结果,更新所述皮肤病问诊问题推荐初始模型的参数。5.根据权利要求4所述的方法,其特征在于,所述将所述图像输出向量和所述文本输出向量进行融合,得到融合向量,包括:若所述图像输出向量和所述文本输出向量为一维向量;则将所述文本输出向量的各元素按照原始顺序放置到所述图像输出向量的最后一个元素之后,得到融合向量;若所述图像输出向量和所述文本输出向量为矩阵;则根据指定拼接形式,将所述文本输出向量的各元素按照原始顺序放置到所述图像输出向量之后的相应位置上,得到融合向量。6.根据权利要求1~5中任一项所述的方法在线问诊系统,其特征在于,所述图像分类子模型为模型,所述语言表达子模型为bert模型,所述问诊问题分类子模型为mlp模型。7.一种皮肤病在线问诊装置,其特征在于,所述装置包括:获取单元:用于获取预测样本,所述预测样本包括患处图像和/或历史问诊问题;其中,所述患处图像为当前轮次之前从从医生终端接收的,所述历史问诊问题为上一轮次从医生终端接收的;向量化单元:用于对所述患处图像和/或所述历史问诊问题进行向量化,得到图像输入向量和/或文本输入向量;预测单元:用于将所述图像输入向量和/或所述文本输入向量对应输入到训练好的皮肤病问诊问题推荐模型中进行预测,得到多个待选问题,并推荐至所述医生终端,以使医生可从所述多个待选问题中选择一个作为本轮次问诊问题;循环单元:用于依次循环执行所述获取步骤、所述向量化步骤、所述融合步骤和所述预测步骤多次,直到问诊结束。