用于生成工艺仿真模型的方法和设备与流程

用于生成工艺仿真模型的方法和设备
1.相关申请的交叉引用
2.本技术基于并要求2021年7月20日提交于韩国知识产权局的韩 国专利申请no.10-2021-0095160的优先权，其公开内容整体以引用 方式并入本文中。
技术领域
3.本公开涉及用于生成工艺仿真模型的方法和设备。更具体地，本 公开涉及一种用于生成工艺仿真模型的方法和设备，其通过具有基于 关联程度分类和学习的权重参数的迁移学习模型来校正工艺的测量数 据与仿真结果之间的差异。


背景技术：

4.神经网络是指通过对生物大脑建模而获得的计算架构。最近，随 着神经网络技术进步，已对在各种类型的电子系统中使用神经网络装 置分析输入数据以提取有效信息进行了研究。
5.为了改进半导体工艺的仿真性能，工程师传统上通过基于物理知 识直接调节参数来执行校准操作，并且已对应用神经网络技术以改进 半导体工艺的仿真性能进行了研究。然而，对应用深度学习以减小仿 真数据与真实测量数据之间的差异的研究不足。


技术实现要素：

6.根据本公开的教导的一方面，设备对权重数据进行分类和处理， 以在通过深度学习处理半导体工艺的仿真的过程中减小仿真数据与测 量数据之间的差异。
7.根据本公开的一方面，一种基于目标的仿真数据和测量数据来生 成仿真模型的方法包括：基于重要性程度将基于仿真数据学习的预学 习模型中包括的权重参数分类为第一权重组和第二权重组；基于仿真 数据来重新训练预学习模型的第一权重组；以及基于测量数据来训练 迁移学习模型的第二权重组。迁移学习模型包括基于仿真数据重新训 练的预学习模型的第一权重组。
8.根据本公开的另一方面，一种基于目标的仿真数据和测量数据来 生成仿真模型的方法包括：生成公共模型，基于仿真数据来学习第一 特性和第二特性的公共特征，并且基于公共模型来生成推断第一特性 的第一预学习模型和推断第二特性的第二预学习模型。该方法还包括： 基于第一特性和关联程度将包括在第一预学习模型中的权重参数分类 为第一权重组和第二权重组；将包括在第二权重组中的权重参数初始 化并且基于第一权重组和仿真数据来重新训练第一预学习模型和第二 预学习模型；基于第二权重组和仿真数据来重新训练第二预学习模型； 基于第一权重组和第一特性的测量数据来训练与第一预学习模型对应 的第一迁移学习模型；以及基于第一迁移学习模型来训练与第二预学 习模型对应的第二迁移学习模型。
9.根据本公开的另一方面，一种神经网络装置包括：存储器，其被 配置为存储神经网络程序；以及处理器，其被配置为执行存储在存储 器中的神经网络程序。根据本公开的
另一方面，处理器被配置为基于 重要性程度将基于仿真数据学习的预学习模型中包括的权重参数分类 为第一权重组和第二权重组，基于仿真数据来重新训练预学习模型的 第一权重组，并且基于测量数据来训练迁移学习模型的第二权重组。 迁移学习模型包括基于仿真数据重新训练的预学习模型的第一权重组。
附图说明
10.本文所描述的发明构思的实施方式将从以下结合附图进行的详细 描述更清楚地理解，在附图中：
11.图1示出根据实施方式的工艺仿真系统；
12.图2是用于描述根据实施方式的用于工艺仿真的迁移学习模型的 图；
13.图3示出根据实施方式的电子系统；
14.图4示出根据实施方式的电子系统；
15.图5示出作为神经网络结构的示例的卷积神经网络的结构；
16.图6a和图6b是用于描述神经网络的卷积运算的图；
17.图7是根据实施方式的工艺仿真模型的学习过程的图；
18.图8是根据实施方式的工艺仿真模型的学习过程的图；
19.图9是根据实施方式的生成工艺仿真模型的方法的流程图；
20.图10是根据实施方式的生成工艺仿真模型的方法的流程图；
21.图11是示出根据实施方式的集成电路和包括该集成电路的设备 的框图；
22.图12是示出根据实施方式的包括神经网络装置的系统的框图。
具体实施方式
23.以下，将参照附图详细描述实施方式。
24.图1示出根据实施方式的工艺仿真系统100。
25.工艺仿真系统100可包括神经网络装置110、仿真器120和检查 装置130。另外，工艺仿真系统100还可包括诸如存储器、通信模块、 视频模块、三维(3d)图形核心、音频系统、显示驱动器、图形处理 单元(gpu)和数字信号处理器(dsp)的通用元件。视频模块的示例 包括相机接口、联合照片专家组(jpeg)处理器、视频处理器或混合 器。
26.神经网络装置110可基于神经网络来分析输入数据以提取有效信 息并且可基于所提取的信息来确定周边情况或者可控制配备有神经网 络装置110的电子装置的元件。例如，神经网络装置110可对计算系 统中的目标进行建模或者可被应用于仿真器、无人机、高级驾驶员辅 助系统(adas)、智能电视(tv)、智能电话、医疗装置、移动装置、 图像显示装置、检查装置和物联网(iot)装置。此外，神经网络装置 110可被配备在这些或各种其它类型的电子装置之一中。
27.神经网络装置110可生成神经网络或者训练(或学习)神经网络， 或者可基于所接收的输入数据来执行神经网络的操作，并且可基于操 作结果来生成信息信号或者可重新训练神经网络。神经网络装置110 可包括用于执行神经网络的硬件加速器。例如，硬件加速器可对应于 神经处理单元(npu)、张量处理单元(tpu)和神经引擎，其是用于 执行神经网络的专用模块，但不限于此。
28.根据实施方式的神经网络装置110可执行多个神经网络模型112 和114。神经网络模型112可表示深度学习模型，其被训练并执行诸 如工艺仿真或图像分类的特定目标操作。神经网络模型112可包括用 于提取工艺仿真系统100所期望的信息信号的神经网络模型。例如， 神经网络模型112可包括各种类型的神经网络模型中的至少一种，例 如卷积神经网络(cnn)、带有卷积神经网络的区域(r-cnn)、区域 提议网络(rpn)、递归神经网络(rnn)、基于层叠的深度神经网络 (s-dnn)、状态空间动态神经网络(s-sdnn)、反卷积网络、深度 信念网络(dbn)、受限玻尔兹曼机(rbm)、全卷积网络、长短期存 储器(lstm)网络、分类网络、生成对抗网络(gan)、变换器 (transformer)和注意网络。
29.神经网络模型112可在学习装置中被训练和生成，并且训练出的 神经网络模型112可由神经网络装置110执行。学习装置的示例是基 于大量输入数据来学习神经网络的服务器。以下，在实施方式中，神 经网络模型112可表示通过学习确定配置参数(例如，网络拓扑、偏 置、权重等)的神经网络。神经网络模型112的配置参数可通过在学 习装置中重新学习来更新，并且更新后的神经网络模型112可应用于 神经网络装置110。
30.仿真器120可对半导体器件的物理现象(例如，电气、机械和物 理特性)进行解释和仿真。仿真器120的输入数据pp可包括仿真所需 的输入变量和环境信息。输入变量可用作工艺仿真器所使用的模型的 输入变量。环境信息还可包括除了为了使用每个仿真器执行仿真而必 须设定的输入变量之外的因素(例如，仿真流程、关于每个仿真器的 输入/输出信息等)。
31.仿真器120可对半导体器件的电路或工艺和器件的特性进行仿真 并且可提供作为仿真结果的输出数据sdt。例如，仿真器120可基于 材料、结构和工艺输入数据使用一个或多个工艺仿真模型来对每个工 艺步骤进行仿真。一个或多个工艺步骤可包括氧化工艺、光刻胶涂覆 工艺、曝光工艺、显影工艺、蚀刻工艺、离子注入工艺、扩散工艺、 化学气相沉积工艺和金属化工艺。仿真器120可基于每个工艺步骤的 仿真结果对至少一个器件进行仿真以使用预定的器件仿真装置来输出 器件特性数据。
32.检查装置130或测试装置可测量半导体器件sd的特性并且可生 成测量数据idt。由检查装置130生成的半导体器件sd的测量数据 idt可包括与仿真器120的输出数据sdt对应的数据。
33.图2是根据实施方式的用于工艺仿真的迁移学习模型的图。
34.参照图2，工艺仿真系统可基于工艺所需的输入变量和环境信息 610来执行工艺仿真620或实验630。输入变量可用作工艺仿真器所使 用的模型的输入变量。环境信息610可包括除了用于通过使用每个仿 真器执行仿真而必须设定的输入变量之外的因素(例如，仿真流程、 关于每个仿真器的输入/输出信息等)。
35.工艺仿真系统可在执行工艺仿真620的操作中对诸如半导体器件 的电气、机械和物理特性的物理现象进行解释和仿真以生成诸如半导 体器件的掺杂分布640或电压-电流特性数据650的仿真结果。
36.工艺仿真系统可对实验630或实际工艺中制造的半导体器件执行 测量并且可生成半导体器件的掺杂分布640或电压-电流特性数据650。
37.在工艺仿真系统基于用于生成相同半导体器件的相同的输入变量 和环境信息执行工艺仿真620或实验630的情况下，通过工艺仿真 620生成的掺杂分布640或电压-电流特
性数据650可能不同于作为实 验630的结果生成的掺杂分布660或电压-电流特性数据670。
38.当每个工艺的特性改变或者工艺生成变化时，在包括掺杂分布或 电压-电流特性数据的输出数据中可能出现差异。在用于工艺仿真的迁 移学习模型中，当输入数据相同并且输出数据不同时，可能需要学习 目标的测量数据，但是成本可能增加或者可能无法测量。
39.例如，在半导体器件的电压-电流特性数据670中，测量可能相 对容易，但是为了获得半导体器件的掺杂分布660可能消耗高成本， 并且测量可能困难或无法进行。因此，当存在少量测量数据或者不存 在测量数据时，可能需要一种生成迁移学习模型的方法。
40.图3示出根据实施方式的电子系统300。
41.电子系统300可基于神经网络实时分析输入数据以提取有效信息， 并且可基于所提取的信息来确定情况或者可控制配备有电子系统300 的电子装置的元件。例如，电子系统300可被应用于诸如无人机或 adas的机器人装置、智能tv、智能电话、医疗装置、移动装置、图像 显示装置、检查装置和iot装置。此外，电子系统300可被配备在这 些或各种其它类型的电子装置之一中。
42.电子系统300可包括至少一个知识产权(ip)块和神经网络处理 器310。ip块可以是可为可重用的逻辑单元、单元或集成电路，并且 可受制于作为独特逻辑单元、单元或集成电路的单一方的知识产权。 诸如ip块的分立电路可具有结构电路组件的分立组合，并且可预先专 用于执行特定功能。例如，电子系统300可包括第一ip块ip1、第二 ip块ip2和第三ip块ip3以及神经网络处理器310。
43.电子系统300可包括各种类型的ip块。例如，ip块可包括处理 单元、包括在处理单元中的多个核、多格式编解码器(mfc)、视频模 块(例如，相机接口、jpeg处理器、视频处理器或混合器)、3d图形 核心、音频系统、驱动器、显示驱动器、易失性存储器、非易失性存 储器、存储器控制器、输入/输出接口块或高速缓存存储器。第一ip 块ip1、第二ip块ip2和第三ip块ip3中的每一个可包括各种类型 的ip块中的至少一个。
44.用于连接ip块的技术可包括基于系统总线的连接。例如，高级 risc机器(arm)的高级微控制器总线架构(amba)协议可被应用作 为标准总线协议。amba协议的总线类型可包括高级高性能总线 (ahb)、高级外围总线(apb)、高级可扩展接口(axi)、axi4和 axi一致性扩展(ace)。在上述总线类型当中，axi可以是ip块之 间的接口协议并且可提供多个突出地址功能和数据交织功能。另外， 诸如索尼克斯公司的unetwork、ibm公司的coreconnect或ocp-ip 的开放核心协议的其它类型的协议可应用于系统总线。
45.神经网络处理器310可生成神经网络，训练或学习神经网络，或 者基于由此接收的输入数据执行算术运算，并且可基于性能结果来生 成信息信号或者可重新训练神经网络。神经网络的模型可包括诸如 googlenet、alexnet、诸如vgg网络的cnn、r-cnn、rpn、rnn、s
‑ꢀ
dnn、s-sdnn、反卷积网络、dbn、rbm、全卷积网络、lstm网络、分 类网络、深度q网络(dqn)和分布强化学习的各种类型的模型，但不 限于此。神经网络处理器310可包括用于基于神经网络的模型执行算 术运算的一个或多个处理器。另外，神经网络处理器310可包括用于 存储与神经网络的模型对应的程序的单独存储器。神经网络处理器 310可被称为神经网络处理装置、神经网络集成电路、神经网络处理 单元(npu)或深度学习装置。
46.神经网络处理器310可通过系统总线从至少一个ip块接收各种 类型的输入数据，
并且可基于输入数据来生成信息信号。例如，神经 网络处理器310可对输入数据执行神经网络运算以生成信息信号，并 且神经网络运算可包括卷积运算。参照图6a和图6b更详细地描述神 经网络处理器310的卷积运算。神经网络处理器310所生成的信息信 号可包括各种类型的识别信号中的至少一种，例如语音识别信号、对 象识别信号、图像识别信号和生物信息识别信号。例如，神经网络处 理器310可接收包括在视频流中的帧数据作为输入数据，并且可从帧 数据生成与包括在帧数据所表示的图像中的对象对应的识别信号。然 而，本公开的教导不限于此，神经网络处理器310可接收各种类型的 输入数据并且可基于输入数据来生成识别信号。
47.在根据实施方式的电子系统300中，神经网络处理器310可对用 于卷积运算的内核数据中所包括的权重值执行单独处理以校准内核数 据。例如，神经网络处理器310可在学习过程中对权重值进行分类和 初始化或重新学习。
48.如上所述，在根据实施方式的电子系统300中，通过对用于卷积 运算的内核数据的权重值执行单独处理，工艺仿真数据可被校准为更 接近测量数据。此外，神经网络处理器310的准确性可增加。本文所 描述的仿真数据可包括(但不限于)半导体工艺参数和基于半导体工 艺参数制造的半导体器件的特性数据中的一个或多个。
49.图4示出根据实施方式的电子系统400。
50.具体地，图4示出图3所示的电子系统300的更详细实施方式。 在图4的电子系统400中，省略与图3的描述相同或相似的描述。
51.电子系统400可包括npu 410、ram 420(随机存取存储器)、 处理器430、存储器440和传感器模块450。npu 410可以是与图2的 神经网络处理器310对应的元件。
52.ram 420可暂时存储程序、数据或指令。例如，存储在存储器 440中的程序和/或数据可基于引导代码或处理器430的控制而被暂时 加载到ram 420中。ram 420可利用诸如动态ram(dram)或静态 ram(sram)的存储器来实现。
53.处理器430可控制电子系统400的总体操作，并且例如，处理器 430可以是中央处理单元(cpu)。处理器430可包括一个处理器核 (单核)，或者可包括多个处理器核(多核)。处理器430可处理或 执行各自存储在ram 420和存储器440中的程序和/或数据。例如， 处理器430可执行存储在存储器440中的程序以控制电子系统400的 功能。
54.存储器440可以是用于存储数据的存储部，并且例如，可存储操 作系统(os)、各种类型的程序和各种数据。存储器440可包括dram， 但不限于此。存储器440可包括易失性存储器和非易失性存储器中的 至少一个。非易失性存储器可包括只读存储器(rom)、可编程rom (prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)、 闪存、相变ram(pram)、磁性ram(mram)、电阻ram(rram)、铁 电ram(fram)等。易失性存储器可包括dram、sram、同步dram (sdram)等。另外，在实施方式中，存储器440可包括硬盘驱动器 (hdd)、固态驱动器(ssd)、紧凑闪存(cf)存储器、安全数字 (sd)存储器、微型sd存储器、迷你sd存储器、极速数字(xd)存 储器和记忆棒中的至少一个。
55.传感器模块450可收集关于电子系统400的外围信息。传感器模 块450可从电子系统400的外部感测或接收半导体器件的测量数据。
56.在根据实施方式的电子系统400中，npu 410可对包括在用于卷 积运算的内核数据中的权重值执行单独处理以校准内核数据。例如， npu 410可在学习过程中对权重值进
行分类和初始化或重新学习。
57.如上所述，在根据实施方式的电子系统400中，通过对用于卷积 运算的内核数据的权重值执行单独处理，工艺仿真数据可被校准为更 接近测量数据。此外，npu 410的准确性可增加。
58.图5示出作为神经网络结构的示例的cnn的结构。
59.神经网络nn可包括多个层(例如，第一层l1至第n层ln)。多 个层l1至ln中的每一个可以是线性层或非线性层，并且在实施方式 中，至少一个线性层和至少一个非线性层的组合可被称为一个层。例 如，线性层可包括卷积层和全连接层，非线性层可包括池化层和激活 层。
60.例如，第一层l1可以是卷积层，第二层l2可以是池化层，第n 层ln可以是输出层并且可以是全连接层。神经网络nn还可包括激活 层，此外，还可包括用于执行不同类型的操作的层。
61.多个层l1至ln中的每一个可接收输入数据(例如，图像帧)或 前一层中生成的特征图作为输入特征图，并且可对输入特征图执行算 术运算以生成输出特征图或识别信号rec。在这种情况下，特征图可 表示表达输入数据的各种特征的数据。例如，多个特征图(例如，第 一特征图、第二特征图和第n特征图)fm1、fm2和fmn可具有二维 (2d)矩阵形式或3d矩阵(或张量)形式。特征图fm1、fm2和fmn 可具有宽度w(或列)、高度h(或行)和深度d，并且可分别对应于 坐标的x轴、y轴和z轴。在这种情况下，深度d可被称为通道的数 量。
62.第一层l1可在第一特征图fm1和权重内核wk之间执行卷积以生 成第二特征图fm2。权重内核wk可过滤第一特征图fm1并且可被称为 过滤器或图。权重内核wk的深度(即，通道的数量)可与第一特征图 fm1的深度(即，通道的数量)相同，并且可在权重内核wk和第一特 征图fm1的相同通道之间执行卷积。权重内核wk可通过使用第一特征 图fm1作为滑动窗口而以交叉方式移位。移位量可被称为“步长”或
ꢀ“
步幅”。在执行每个移位的同时，包括在权重内核wk中的权重值中 的每一个可在与第一特征图fm1交叠的区域中乘以所有像素数据并求 和。第一特征图fm1的在包括在权重内核wk中的每个权重值与第一特 征图fm1交叠的区域中的各条提取数据可被称为提取数据。在执行第 一特征图fm1和权重内核wk之间的卷积时，可生成第二特征图fm2的 一个通道。在图5中，示出一个权重内核wk，但基本上，可执行多个 权重图与第一特征图fm1之间的卷积，从而生成第二特征图fm2的多 个通道。换言之，第二特征图fm2的通道的数量可对应于权重图的数 量。
63.第二层l2可通过池化使第二特征图fm2的空间大小变化，以生 成第三特征图fm3。池化可被称为采样或下采样。2d池化窗口pw可在 第二特征图fm2中以池化窗口的大小为单位移位，并且可选择与池化 窗口pw交叠的区域中的各条像素数据当中的最大值(或各条像素数据 的平均值)。因此，可从第二特征图fm2生成空间大小变化的第三特 征图fm3。第三特征图fm3的通道的数量可与第二特征图fm2的通道 的数量相同。
64.第n层ln可将第n特征图fmn的特征组合以对输入数据的类别 cl进行分类。另外，第n层ln可生成与类别对应的识别信号rec。在 实施方式中，输入数据可对应于包括在视频流中的帧数据，并且第n 层ln可基于从前一层提供的第n特征图fmn提取与帧数据所表示的图 像中所包括的对象对应的类别以识别对象，并且可生成与所识别的对 象对应的识别信号rec。
65.图6a和图6b是用于描述神经网络的卷积运算的图。
66.参照图6a，输入特征图201可包括d个通道，并且每个通道的输 入特征图可具有h行w列大小(其中d、h和w是自然数)。每个内核 202可具有r行s列大小，并且内核202的通道的数量可对应于输入 特征图201的通道的数量(或深度)d(其中r和s是自然数)。输出 特征图203可通过在输入特征图201和内核202之间执行3d卷积运 算来生成，并且可基于卷积运算包括y(其中y是自然数)个通道。
67.参照图6b描述通过一个输入特征图与一个内核之间的卷积运算 来生成输出特征图的过程，并且可在所有通道的输入特征图201与所 有通道的内核之间执行上面参照图5描述的2d卷积运算，从而生成所 有通道的输出特征图203。
68.参照图6b，为了描述方便，可假设输入特征图210具有6x6大小， 原始内核220具有3x3大小，输出特征图230具有4x4大小。然而， 本实施方式不限于这些大小，神经网络可利用具有各种大小的特征图 和内核来实现。另外，输入特征图210、原始内核220和输出特征图 230中定义的值仅是举例说明的值，实施方式不限于此。
69.原始内核220可在输入特征图210中以具有3x3大小的窗口为单 位滑动的同时执行卷积运算。卷积运算可表示这样一种算术运算，其 通过对将输入特征图210的任意窗口的每个特征数据乘以原始内核 220中的对应位置的权重值而获得的值求和，来计算输出特征图230 的每个特征数据。包括在输入特征图210的窗口中并乘以权重值的各 条数据可被称为从输入特征图210提取的提取数据。详细地，原始内 核220可首先对输入特征图210的第一提取数据211执行卷积运算。 即，第一提取数据211的特征数据“1、2、3、4、5、6、7、8和9
”ꢀ
可分别乘以与之对应的原始内核220的权重值
“‑
1、-3、4、7、-2、
ꢀ‑
1、-5、3和1”，因此，可获得-1、-6、12、28、-10、-6、-35、 24和9。随后，可计算通过对所获得的值
“‑
1、-6、12、28、-10、
‑ꢀ
6、-35、24和9”求和而获得的结果15，并且输出特征图230的第一 行第一列的特征数据231可被确定为15。这里，输出特征图230的第 一行第一列的特征数据231可对应于第一提取数据211。以这种方式， 可通过在输入特征图210的第二提取数据212与原始内核220之间执 行卷积运算来确定输出特征图230的第一行第二列的特征数据232， 即，4。最后，可通过在原始内核220与第十六提取数据213(输入特 征图210的最后提取数据)之间执行卷积运算来确定输出特征图230 的第四行第四列的特征数据233，即，11。
70.换言之，可通过重复地执行输入特征图210的提取数据与原始内 核220的对应权重值的乘法以及乘法结果的加法来处理一个输入特征 图210与一个原始内核220之间的卷积运算，并且可作为卷积运算的 结果生成输出特征图230。
71.参照图6a和图6b结合图1，在根据实施方式的神经网络装置 110中，在卷积运算中，神经网络装置110可对包括在多个神经网络 模型112、114、
…
中的内核数据的权重值进行分类和初始化或重新训 练。神经网络装置110可对用于卷积运算的内核数据的权重值执行单 独处理。因此，工艺仿真数据可被校准为更接近测量数据，从而增加 神经网络装置110的准确性。
72.例如，神经网络装置110可按照大小的顺序对原始内核220的权 重值
“‑
1、-3、4、7、-2、-1、-5、3和1”进行排序，将最大数“7
”ꢀ
分类为重要权重值，并且生成用于过滤7的掩模过滤器。
73.参照附图更详细地描述根据实施方式的基于神经网络装置110的 测量数据和仿
真数据来生成工艺仿真模型的方法和用于该方法的神经 网络装置。
74.图7是根据实施方式的工艺仿真模型的学习过程的图。
75.参照图7，当存在大量仿真数据和少量真实测量数据时，工艺仿 真系统可执行归纳迁移学习。
76.工艺仿真模型的学习过程可包括预学习操作(s610)、权重分类 操作(s620)、重新训练操作(s630)和校准操作(s640)。
77.工艺仿真系统可在预学习操作(s610)中通过使用工艺参数作为 输入而学习大量工艺仿真数据以用于输出掺杂分布。工艺仿真系统可 学习工艺仿真数据以生成预学习权重值wo。工艺仿真系统可通过预学 习模型来推断第一掺杂分布ys。
78.工艺仿真系统可在权重分类操作(s620)中，基于工艺仿真学习 过程中对推断第一掺杂分布ys的影响来对权重参数进行分类。工艺仿 真系统可使用掩模对准来对权重参数进行分类。
79.工艺仿真系统可按值的降序或升序对权重参数的值进行排序，并 且可基于排序的数据的大小对第一权重组wu和第二权重组wp进行分 类。例如，权重参数可基于权重参数的大小按其升序排序。例如，工 艺仿真系统可将权重参数当中按大小被包括在上10％中的一些权重参 数分类为第一权重组wu，而将其它权重参数分类为第二权重组wp。
80.工艺仿真系统可按值的降序或升序对权重参数的值进行排序，在 排序的数据的值快速变化或变化程度较大的时段中选择参考权重值， 并且将大于或等于参考权重值的一些权重参数分类为第一权重组wu， 并将其它权重参数分类为第二权重组wp。例如，权重参数的分类可包 括基于权重参数的大小从权重参数提取例如第一权重组wu。对权重组 进行分类的标准不限于使用参考权重值，可通过各种方法提取重要性 高的权重值。
81.工艺仿真系统可在重新训练操作(s630)中将预学习模型的预学 习权重值wo中与第二权重组wp对应的权重参数初始化为0。
82.工艺仿真系统可重新训练预学习模型的预学习权重值wo中与第 一权重组wu对应的权重参数。基于在预学习操作(s610)中学习的仿 真数据，工艺仿真系统可在第二权重组wp被初始化为0的状态下仅对 第一权重组wu执行学习。工艺仿真系统可在校准操作(s640)中基于 真实测量数据来训练迁移学习模型。工艺仿真系统可将在重新训练操 作(s630)中重新训练的第一权重组wu的数据应用于迁移学习模型。 工艺仿真系统可基于真实测量数据对迁移学习模型的第二权重组wp执 行学习。结果，基于目标的仿真数据和测量数据生成仿真模型的方法 可包括在s640处基于测量数据来训练迁移学习模型的第二权重组，其 中，迁移学习模型包括在s630处重新训练的第一权重组。
83.工艺仿真系统可对第二权重组wp的权重参数的值执行归一化处 理。工艺仿真系统可使用归一化处理来解决欠适配性或过适配性问题。 例如，仿真的主要物理特性可被反映在迁移学习模型中重新学习的第 一权重组wu中。结果，在第二权重组wp中，可以预测的是，在学习 过程中变化不大。因此，当第二权重组wp的权重参数的值大于或等于 预定参考值时，工艺仿真系统可确定例外或者认为第二权重组wp的权 重参数的值属于噪声，并且可不反映对应的学习内容。
84.例如，归一化处理可包括机器学习领域中使用的l1归一化或l2 归一化。工艺仿真系统可使用迁移学习模型来推断第二掺杂分布yt。 工艺仿真系统可更新已学习真实测量
数据的迁移学习模型与已学习仿 真数据的迁移学习模型之间的差异，因此可实时校正仿真数据与测量 数据之间的差异。
85.如上所述，基于目标的仿真数据和测量数据来生成仿真模型的方 法可包括：如在s620，基于重要性程度将基于仿真数据学习的预学习 模型中所包括的权重参数分类为第一权重组和第二权重组。该方法还 可包括：如在s630，基于仿真数据重新训练预学习模型的第一权重组。 该方法还可包括：如在s640，基于测量数据训练迁移学习模型的第二 权重组，其中，迁移学习模型包括基于仿真数据重新训练的预学习模 型的第一权重组。
86.图8是根据实施方式的工艺仿真模型的学习过程的图。
87.参照图8，当存在大量仿真数据并且不存在真实测量数据时，工 艺仿真系统可执行双归纳迁移学习。
88.工艺仿真模型的学习过程可包括预学习操作(s710)、权重分类 操作(s720)、重新训练操作(s730)和校准操作(s740)。
89.工艺仿真系统可在预学习操作(s710)中使用工艺参数作为输入 来学习大量工艺仿真数据以用于输出掺杂分布或电压-电流特性。工艺 仿真系统可使用预学习模型来推断掺杂分布、电压-电流特性、或其它 特性的至少一条数据。例如，所推断的第一特性可以是电压-电流特性， 第二特性可以是掺杂分布。
90.工艺仿真系统可学习工艺仿真数据以生成预学习权重值wg。工艺 仿真系统可生成与第一特性对应的第一特性权重值wha以及与第二特 性对应的第二特性权重值whb。
91.工艺仿真系统可使用预学习模型来推断第一特性ys_1和第二特 性ys_2。
92.工艺仿真系统可在权重分类操作(s720)中，基于工艺仿真学习 过程中对推断第一特性ys_1的影响对权重参数进行分类。工艺仿真系 统可使用掩模对准来对权重参数进行分类。
93.工艺仿真系统可按值的降序或升序对权重参数的值进行排序并且 可基于排序的数据的大小对第一权重组wga和第二权重组wgb进行分 类。例如，工艺仿真系统可将权重参数当中按大小被包括在上10％中 的一些权重参数分类为第一权重组wga并且将其它权重参数分类为第 二权重组wgb。对权重组进行分类的标准不限于此，可通过各种方法 提取重要性高的权重值。
94.工艺仿真系统可在重新训练操作(s730)中将与预学习模型的预 学习权重值wg中的第二权重组wgb对应的权重参数初始化为0。
95.工艺仿真系统可重新训练预学习权重值wg中与第一权重组wga 对应的权重参数以用于推断预学习模型的第一特性ys_1。基于在预学 习操作(s710)中学习的仿真数据，工艺仿真系统可在第二权重组 wgb被初始化为0的状态下仅对第一权重组wga执行学习。
96.工艺仿真系统可重新训练预学习权重值wg中与第二权重组wgb 对应的权重参数以用于推断预学习模型的第二特性ys_2。
97.工艺仿真系统可在校准操作(s740)中基于真实测量数据来训练 迁移学习模型。工艺仿真系统可将在重新训练操作(s730)中重新学 习的第一权重组wu的数据应用于迁移学习模型。
98.工艺仿真系统可分析并组合预学习模型所推断的第一特性ys_1 与迁移学习模型所推断的第一校正特性yt_1之间的差异以及与预学习 模型所推断的第二特性ys_2对应的
权重值，以推断校准的第二校正特 性yt_2。
99.例如，迁移学习模型的第一迁移学习模型可推断第一校正特性 yt_1，第二迁移学习模型可推断第二校正特性yt_2。使用半导体工艺 参数作为输入，第一迁移学习模型可被配置为推断半导体器件的电压
‑ꢀ
电流特性，第二迁移学习模型可被配置为推断半导体器件的掺杂分布。
100.工艺仿真系统可更新已学习真实测量数据的迁移学习模型与已学 习仿真数据的迁移学习模型之间的差异。结果，工艺仿真系统可实时 校正仿真数据与测量数据之间的差异。
101.图9是根据实施方式的生成工艺仿真模型的方法的流程图。
102.在操作s110中，工艺仿真系统可基于工艺仿真数据来训练预学 习模型。例如，工艺仿真系统可使用工艺参数作为输入来学习仿真数 据以用于输出掺杂分布。工艺仿真系统可学习工艺仿真数据以生成预 学习权重值。工艺仿真系统可使用预学习模型来推断第一掺杂分布。
103.在操作s120中，工艺仿真系统可将基于仿真数据训练的预学习 模型中所包括的权重参数分类为第一权重组和第二权重组。例如，工 艺仿真系统可在工艺仿真学习过程中基于对推断第一掺杂分布的影响 来对权重参数进行分类，并且可确定随着权重值增大，对其影响程度 大。工艺仿真系统可按值的降序或升序对权重参数的值进行排序，并 且可基于排序的数据的大小对第一权重组和第二权重组进行分类。例 如，工艺仿真系统可将权重参数当中按大小被包括在上10％中的一些 权重参数分类为第一权重组并将其它权重参数分类为第二权重组。
104.在操作s130中，工艺仿真系统可基于仿真数据来重新训练预学 习模型的第一权重组。基于在预学习操作中学习的仿真数据，工艺仿 真系统可在第二权重组被初始化为0的状态下仅对第一权重组执行学 习。
105.在操作s140中，工艺仿真系统可基于测量数据来重新训练迁移 学习模型的第二权重组。工艺仿真系统可将在重新训练操作(s 130) 中重新训练的第一权重组的数据应用于迁移学习模型。工艺仿真系统 可基于真实测量数据对迁移学习模型的第二权重组执行学习。工艺仿 真系统可对第二权重组的权重参数的值执行归一化处理。例如，当第 二权重组的权重参数的值大于或等于预定参考值时，工艺仿真系统可 确定例外或认为第二权重组的权重参数的值属于噪声，并且可不反映 对应学习内容。例如，归一化处理可包括机器学习领域中使用的l1归 一化或l2归一化。
106.工艺仿真系统可使用迁移学习模型来推断第二掺杂分布。工艺仿 真系统可更新已学习真实测量数据的迁移学习模型与已学习仿真数据 的迁移学习模型之间的差异。结果，工艺仿真系统可实时校正仿真数 据与测量数据之间的差异。
107.图10是根据实施方式的生成工艺仿真模型的方法的流程图。
108.参照图10，当存在大量仿真数据并且不存在真实测量数据时，工 艺仿真系统可执行学习其它关联的仿真数据和测量数据的双归纳迁移 学习。
109.在操作s210中，工艺仿真系统可基于仿真数据来训练推断第一 特性的第一预学习模型和推断第二特性的第二预学习模型。工艺仿真 系统可生成学习第一特性和第二特性的公共特征的公共模型。工艺仿 真系统可生成从公共模型推导的推断第一特性的第一
预学习模型和推 断第二特性的第二预学习模型。例如，第一预学习模型和第二预学习 模型可以是从基于相同的数据学习的公共模型推导的模型，并且可以 是仅推断目标不同的相同模型。工艺仿真系统可使用工艺参数作为输 入来学习大量工艺仿真数据以用于输出掺杂分布或电压-电流特性。工 艺仿真系统可使用预学习模型来推断掺杂分布、电压-电流特性、或其 它特性的至少一条数据。例如，所推断的第一特性可以是电压-电流特 性，第二特性可以是掺杂分布。
110.工艺仿真系统可学习工艺仿真数据以生成预学习权重值。工艺仿 真系统可生成与第一特性对应的第一特性权重值以及与第二特性对应 的第二特性权重值。工艺仿真系统可使用预学习模型来推断第一特性 和第二特性。
111.在操作s220中，工艺仿真系统可基于与第一特性的关联程度将 包括在第一预学习模型中的权重参数分类为第一权重组和第二权重组。 工艺仿真系统可在工艺仿真学习过程中基于对推断第一特性的影响来 对权重参数进行分类。工艺仿真系统可使用掩模对准来对权重参数进 行分类。
112.工艺仿真系统可按值的降序或升序对权重参数的值进行排序，并 且可基于排序的数据的大小对第一权重组和第二权重组进行分类。例 如，工艺仿真系统可将权重参数当中按大小被包括在上10％中的一些 权重参数分类为第一权重组并将其它权重参数分类为第二权重组。用 于对权重组进行分类的标准不限于此，可通过各种方法来提取重要性 高的权重值。
113.在操作s230中，工艺仿真系统可将包括在第二权重组中的权重 参数初始化，并且可基于第一权重组和仿真数据重新训练第一预学习 模型。工艺仿真系统可将预学习模型的预学习权重值当中与第二权重 组对应的权重参数初始化为0。
114.工艺仿真系统可重新训练预学习权重值中与第一权重组对应的权 重参数以用于推断预学习模型的第一特性。基于在预学习操作(s210) 中学习的仿真数据，工艺仿真系统可在第二权重组被初始化为0的状 态下仅对第一权重组执行学习。
115.在操作s240中，工艺仿真系统可基于第二权重组和仿真数据来 重新训练第二预学习模型。工艺仿真系统可重新训练预学习权重值中 与第二权重组对应的权重参数以用于推断预学习模型的第二特性。
116.在操作s250中，工艺仿真系统可基于第一权重组和第一特性的 测量数据来训练与第一预学习模型对应的第一迁移学习模型。工艺仿 真系统可基于真实测量数据来训练迁移学习模型。工艺仿真系统可将 与重新训练操作(s240)中重新训练的第一特性对应的第一权重组的 数据应用于迁移学习模型。
117.在操作s260中，工艺仿真系统可基于第一迁移学习模型来训练 与第二预学习模型对应的第二迁移学习模型。工艺仿真系统可分析并 组合预学习模型所推断的第一特性与迁移学习模型所推断的第一校正 特性之间的差异以及与预学习模型所推断的第二特性对应的权重值， 以推断校准的第二校正特性。例如，第二迁移学习模型的训练可包括 基于第一预学习模式、第一迁移学习模型的权重参数的变化数据和第 二预学习模型的第二权重组来生成第二迁移学习模型。例如，变化数 据可反映排序的数据的值快速变化或者变化程度大。
118.例如，迁移学习模型的第一迁移学习模型可推断第一校正特性， 第二迁移学习模
型可推断第二校正特性。
119.工艺仿真系统可更新已学习真实测量数据的迁移学习模型与已学 习仿真数据的迁移学习模型之间的差异。结果，工艺仿真系统可实时 校正仿真数据与测量数据之间的差异。
120.图11是示出根据实施方式的集成电路1000和包括该集成电路的 设备2000的框图。
121.设备2000可包括集成电路1000以及连接至集成电路1000的元 件(例如，传感器1510、显示装置1610和存储器1710)。设备2000 可以是基于神经网络处理数据的设备。例如，设备2000可包括诸如工 艺仿真器、智能电话、游戏机或可穿戴装置的移动装置。
122.根据实施方式的集成电路1000可包括cpu 1100、ram 1200、 gpu 1300、神经处理单元1400、传感器接口1500、显示接口1600和 存储器接口1700。另外，集成电路1000还可包括诸如通信模块、数 字信号处理器(dsp)和视频模块的其它通用元件，并且集成电路 1000的元件(例如，cpu 1100、ram 1200、gpu 1300、神经处理单 元1400、传感器接口(i/f)1500、显示接口1600和存储器接口 1700)可通过总线1800在它们之间传送和接收数据。在实施方式中， 集成电路1000可包括应用处理器。在实施方式中，集成电路1000可 被实现为系统芯片(soc)。
123.cpu 1100可控制集成电路1000的总体操作。cpu 1100可包括一 个处理器核(单核)，或者可包括多个处理器核(多核)。cpu 1100 可处理或执行存储在存储器1710中的数据和/或程序。在实施方式中， cpu 1100可执行存储在存储器1710中的程序，因此可控制神经处理 单元1400的功能。
124.ram 1200可暂时存储程序、数据和/或指令。根据实施方式， ram 1200可被实现为dram或sram。ram 1200可暂时存储通过传感 器接口1500和显示接口1600输入/输出或由gpu 1300或cpu 1100 生成的数据(例如，图像数据)。
125.在实施方式中，集成电路1000还可包括rom。rom可存储连续使 用的数据和/或程序。rom可被实现为可擦除可编程rom(eprom)或 电可擦除可编程rom(eeprom)。
126.gpu 1300可对图像数据执行图像处理。例如，gpu 1300可对通 过传感器接口1500接收的图像数据执行图像处理。由gpu 1300处理 的图像数据可被存储在存储器1710中，或者可通过显示接口1600被 提供给显示装置1610。存储在存储器1710中的图像数据可被提供给 神经处理单元1400。
127.传感器接口1500可与从连接至集成电路1000的传感器1510输 入的数据(例如，图像数据、声音数据等)接口。
128.显示接口1600可与输出至显示装置1610的数据(例如，图像) 接口。显示装置1610可使用诸如液晶显示(lcd)显示器或有源矩阵 有机发光二极管(amoled)显示器的显示器来输出图像或图像数据。
129.存储器接口1700可与从集成电路1000外部的存储器1710输入 的数据或输出至存储器1710的数据以接口连接。根据实施方式，存储 器1710可被实现为诸如dram或sram的易失性存储器，或者诸如电 阻ram(reram)、pram或nand闪存的非易失性存储器。存储器1710 可被实现为存储卡(多媒体卡(mmc)、嵌入式多媒体卡(emmc)、sd 卡或微型sd卡)。
130.可应用上面参照图1描述的神经网络装置110作为神经处理单元 1400。神经处理
单元1400可通过传感器接口1500从传感器1510接 收和学习工艺仿真数据和测量数据以执行工艺仿真。
131.图12是示出根据实施方式的包括神经网络装置的系统3000的框 图。
132.参照图12，系统3000可包括主处理器3100、存储器3200、通 信模块(rx/tx模块)3300、神经处理装置3400和仿真模块3500。 系统3000的元件可通过总线3600彼此通信。
133.主处理器3100可控制系统3000的总体操作。例如，主处理器 3100可包括cpu。主处理器3100可包括一个核(单核)，或者可包 括多个核(多核)。主处理器3100可处理或执行存储在存储器1710 中的数据和/或程序。例如，主处理器3100可执行存储在存储器3200 中的程序。结果，主处理器3100可执行控制以使得神经处理装置 3400驱动神经网络，并且可执行控制以使得神经处理装置3400基于 归纳迁移学习来生成工艺仿真模型。
134.通信模块3300可包括用于与外部装置通信的各种有线或无线接 口。通信模块3300可从服务器接收学习的目标神经网络，此外，可接 收通过强化学习生成的传感器对应网络。通信模块3300可包括可访问 局域网(lan)、诸如无线保真(wi-fi)的无线局域网(wlan)、诸 如蓝牙的无线个域网(wpan)以及诸如无线通用串行总线(usb)、 zigbee、近场通信(nfc)、射频识别(rfid)、电力线通信(plc)、 第3代(3g)、第4代(4g)或长期演进(lte)的移动蜂窝网络的通 信接口。
135.仿真模块3500可处理用于对半导体工艺进行仿真的各种类型的 输入/输出数据。例如，仿真模块3500可包括用于测量制造的半导体 的设备，并且可将测量的真实数据提供给神经处理装置3400。
136.神经处理装置3400可基于通过仿真模块3500生成的工艺数据来 执行神经网络运算。工艺数据的示例包括工艺参数、电压-电流特性和 掺杂分布。可应用上面参照图1至图11的附图描述的工艺仿真系统 100作为神经处理装置3400。神经处理装置3400可基于已对从仿真 模块3500接收的数据的权重值(而不是处理的数据)进行分类和学习 的归纳迁移学习网络来生成特征图。神经处理装置3400可应用特征图 作为目标神经网络的隐藏层的输入，从而驱动目标神经网络。因此， 系统3000的工艺仿真数据处理速度和准确性可增加。
137.根据实施方式的基于仿真数据和测量数据来生成工艺仿真模型的 方法可有效且快速地校正仿真数据与测量数据之间的差异，并且可增 强工艺仿真模型的处理结果的准确性。
138.根据实施方式的工艺仿真模型可有效且快速地校正仿真数据与测 量数据之间的差异，并且可有效地校正前代工艺与当代工艺之间的数 据差异以及同一代工艺中的工艺间数据差异或基于设备的数据差异。
139.根据实施方式的设备可包括处理器、存储和执行程序数据的存储 器、诸如硬盘驱动器的永久存储部、用于与外部装置通信的通信端口、 诸如触摸面板、键或按钮的用户接口装置等。实现为软件模块或算法 的方法可作为可由处理器执行的计算机可读代码或程序指令存储在计 算机可读记录介质中。这里，计算机可读记录介质可包括磁性存储介 质(例如，rom、ram、软盘、硬盘等)和光学可读介质(例如，cd
‑ꢀ
rom、数字多功能盘(dvd)等)。计算机可读记录介质可分布到经由 网络彼此连接的计算机系统，并且可在其中基于分布式方案存储和执 行计算机可读代码。介质可由计算机读取，可被存储在存储器中，并 且可由处理器执行。
140.实施方式可利用功能块和各种处理步骤来实现。功能块可被实现 为用于执行某些功能的各种数量的硬件或/和软件元件。例如，实施方 式可使用诸如存储器、处理器、逻辑和查找表的集成电路，以基于一 个或多个微处理器或各种控制装置的控制而执行各种功能。就像元件 可作为软件编程或软件元件执行那样，实施方式可包括由数据结构、 进程、例程或其它编程元素的组合实现的各种算法，并且可以诸如c、 c++、java或汇编程序的编程或脚本语言来实现。功能元件可被实现 为由一个或多个处理器执行的算法。另外，实施方式可使用用于电子 环境设置、信号处理和/或数据处理的相关技术。
141.尽管参考其实施方式具体地示出和描述了本文中的教导，但是将 理解，在不脱离所附权利要求的精神和范围的情况下，可对其进行各 种形式和细节上的改变。