
类型一:
应用现有模型
案例一
以transformer模型为例的编码模型作为自然语言处理中的一种注意力机制模型,已经被广泛应用在特征深度交叉方面,以期学习出特征的高阶表达。因此,对于此类机器学习模型可以直接应用,并描述对应的输入和输出结果。
专利代理师在面对该案例时,采用了如下描述方式:
将特征向量输入至编码模型中,以使编码模型对特征向量进行编码处理得到嵌入向量。
案例二
BERT预训练模型是一种经典的以无监督的方式训练而成的语言训练模型,也能够对其直接应用,例如利用迁移学习后的BERT预训练模型对病例文本等数据进行校正。
专利代理师在面对相关案例时,采用了如下描述方式:
利用拼写校正模型对所述有效文本进行拼写校正得到校正文本。
不仅如此,还可以进一步对BERT预训练模型的迁移学习方式进行描述,例如:
获取正确文本样本和错误文本样本,并利用所述正确文本样本和所述错误文本样本微调预训练的拼写校正模型得到迁移学习后的拼写校正模型。
因此,对于预训练模型,除了描述应用过程之外,还可以对迁移学习的方式进行描述,以在审查意见答复阶段结合预训练模型的优势进行创造性争辩。例如,训练代价较小,配合下游任务可以实现更快的收敛速度,并且能够有效地提高模型性能,尤其是对一些训练数据比较稀缺的任务适用。换句话说,预训练方法可以认为是让机器学习模型基于一个更好的初始状态进行学习,从而能够达到更好的性能。
类型二:
同时涉及模型的训练过程和应用过程
案例三
支持向量机是一类按照监督学习方式对数据进行二元分类的广义线性分类器。将已确定的年龄特征与年龄值样本输入至SVM,可以进行人脸年龄识别模型的训练。其中,SVM的核函数采用线性核函数。通过核函数来进行计算分类,主要用于线性分类,具有参数少和速度快的优点。
专利代理师在面对该案例时,采用了如下描述方式:
(训练模型阶段)一种年龄识别模型的训练方法,其特征在于,包括:
检测并提取待识别图像样本中的人脸的特征点,并预处理所述待识别图像样本,以提取所述人脸的全局特征;
基于所述特征点,提取所述人脸的局部特征,并根据所述全局特征与所述局部特征确定所述人脸的年龄特征;
基于所述年龄特征和年龄值样本,通过支持向量机对年龄识别模型进行训练。
对应的,在应用阶段,预先训练好的年龄识别模型可以是根据年龄特征与年龄值样本训练成的。因此,将已确定的年龄特征输入至该年龄识别模型中,可以输出该人脸的年龄值。
(应用模型阶段)一种年龄识别方法,其特征在于,所述方法包括:
检测并提取待识别图像中的人脸的特征点,并预处理所述待识别图像,以提取所述人脸的全局特征;
基于所述特征点,提取所述人脸的局部特征,并根据所述全局特征与所述局部特征确定所述人脸的年龄特征;
将所述年龄特征输入至预先训练好的年龄识别模型中,以得到与所述待识别图像中的人脸对应的年龄值。
对于类型二所涉及的机器学习模型的训练过程和应用过程,大部分的机器学习模型的区别之处在于训练过程中存在“损失函数”作用。
当损失值不满足预期的情况下,需要对机器学习模型继续进行训练,直至训练完成;当损失值满足预期的情况下,才会进一步到达应用阶段。
案例四
在训练阶段得到待验证分类向量,可以对该待验证分类向量进行重构,以根据重构损失值确定该待验证分类向量是否为语义分类向量。
在使用阶段得到该待验证分类向量,可以确定该待验证分类向量即为语义分类向量,也就是在重构损失值满足期望的情况下确定待验证分类向量为语义分类向量。
专利代理师在面对该案例时,采用了如下描述方式:
对所述语义文本向量和所述标准分类向量进行全连接处理得到待验证分类向量;
确定与所述待验证分类向量对应的重构损失值,以根据所述重构损失值确定所述待验证分类向量为语义分类向量。
类型三:
撰写模型的作用机理
案例五
映射处理可以是利用word2vec模型对关联文本进行处理实现的,但是,可以通过对映射处理这一处理过程的描述“省去”对word2vec模型,甚至上位的词向量生成模型的限定。
专利代理师在面对该案例时,采用了如下描述方式:
获取原始文本,并对所述原始文本进行分词处理得到关联文本;
对所述关联文本进行映射处理得到关联文本向量。
总结
作者:王妮 专利工程师
隆天知识产权代理有限公司

↑↑↑长按二维码识别关注

