一种联动智能注采装置的差异化实时注采优化调控方法

本发明涉及油藏注采，具体涉及一种联动智能注采装置的差异化实时注采优化调控方法。

背景技术：

1、在油田实际生产过程中，由于工艺的临时修改或设备发生故障等多种原因，实际生产制度难以完全按照生产计划进行，需要及时根据当前实际生产方案进行优化方案的调整。但现有注采优化方法，对已有信息的利用率较低，优化一次需进行多次迭代，无法实现实时调整，亟待提升油藏注采联动中最优注采制度的制定效率与准确性。强化学习算法能够根据智能体观测到的当前状态进行决策，实现将油藏状态嵌入到注采优化决策过程中，满足现场方案调整后快速重新决策的需求。现有强化学习方法多以现场数据为输入，在应用环境也极大依赖油藏数值模拟模型，无法实现油藏与智能注采工具联动及方案制度的自主修正。

2、因此，现需要一种对已有信息利用率较高，无需重复进行优化迭代，能够根据当前生产方案进行实时调整的油藏注采优化方法。

技术实现思路

1、本发明的主要目的在于提供一种联动智能注采装置的差异化实时注采优化调控方法，以解决现有技术中的注采优化方法，对已有信息的利用率较低，优化一次需要进行多次迭代，无法实现实时调整，亟待提升油藏注采联动中最优注采制度的制度效率与准确性的问题。

2、为实现上述目的，本发明提供了一种联动智能注采装置的差异化实时注采优化调控方法，具体包括以下步骤： s1，初始化注采策略网络、动作评价网络及环境代理网络；s2，根据待优化的油藏数值模拟模型编写注采环境模型，注采环境模型包括：文件读取模块及制度写入模块，其中文件读取模块完成状态的读取功能，制度写入模块实现环境的状态转移；s3，智能体即注采策略网络和动作评价网络，读取注采环境初始状态，即读取时刻油水井注采量数据；s4，将当前状态输入注采策略模型中，输出注采制度，并将注采制度写入油藏数值模拟模型中；s5，注采环境模型根据注采制度，运行油藏数值模拟模型，对油藏下一时间步的状态进行模拟，以获得t+1时刻的状态数据；s6，智能体读取下一状态及该时间步内经济净现值，将{，，，}放入样本数据库；s7，将下一状态赋给当前状态，即，再进行循环，直至完成待优化生产周期；s8，在样本数据库中进行数据采样，根据样本预测误差对样本赋予权值，通过迭代更新对环境代理网络参数进行更新；s9，在样本数据库中进行数据采样，更新动作评价网络参数及注采策略网络参数；s10，重复s4～s9，直至满足迭代收敛条件，得到最优注采策略模型及环境代理模型；s11，根据保存的最优注采策略模型，将智能注采装置所获取的油藏状态信息输入最优注采策略模型中，输出完整的生产制度，实现实时注采优化。

3、进一步地，步骤s1具体包括如下步骤：

4、s1.1，使用参数化的神经网络表示注采策略网络，注采策略网络输入为智能体观测到状态，输出为油水井的注采制度。

5、根据油井数量和水井数量设置输入神经元个数和输出神经元个数。

6、输入具体信息包括油水井的日产液量、日产油量、累产液量、累注入量、含水率、日注入量、累注入量、井底压力，以向量形式进行输入，上述信息在油田生产过程中进行实时测量并记录。

7、s1.2，使用参数化的神经网络表示动作评价网络，动作评价网络的输入为状态及油水井的注采制度，输出为状态下根据注采制度生产计算得到的npv预测值。

8、s1.3，使用参数化的神经网络表示环境代理网络，输入为当前状态及注采制度，输出为下一状态。

9、进一步地，步骤s2的注采环境模型包括：状态转移部分、状态读取部分和奖励获取部分。

10、状态转移部分用于将注采环境模型根据注采制度从当前状态转移到下一状态，根据如公式（1）、公式（2）和公式（3）所示的油水两相流动方程，进行状态转移。

11、（1）。

12、（2）。

13、（3）。

14、其中，为毛细管压力，单位为kpa；、为水相、油相的渗流速度，单位为cm/s；、分别为油和水的黏度，单位为mpa·s；和分别为水相和油相的压力，单位为kpa；为岩石的绝对渗透率，单位为um2；和分别为水相和油相的相对渗透率,该步骤以油藏数值模拟模型为基础实现。

15、状态读取结果用于读取智能体观测到的状态，智能体观测到状态采用油田生产现场实时记录的生产日志数据如公式（4）：

16、（4）。

17、其中，为第i口油井的累产油量，为第i口油井的日产油量，为第i口油井的累产液量，为第i口油井的日产液量，为第i口水井的累注入量，为第i口水井的日注入量，为第i口油井的井底压力，为第i口水井的井底压力。

18、奖励获取部分通过读取油藏数值模型在优化阶段内的累产油量、累产水量以及累注水量，进行经济净现值的计算。

19、进一步地，步骤s3中，时刻油水井注采量数据包括：油水井的日产液量、日产油量、累产液量、累产油量、含水率、日注入量、累注入量和井底压力，上述数据以向量形式进行输入。

20、进一步地，步骤s4具体包括如下步骤：

21、s4.1，注采策略模型输出注采制度，如公式（5）所示：

22、<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>a</mi><mi>t</mi></msub><mi>=</mi><mrow><mo>[</mo><mrow><msub><mi>w</mi><mrow><mi>prd</mi><mi>,</mi><mn>1</mn></mrow></msub><mi>,</mi><mi>⋅⋅⋅</mi><mi>,</mi><msub><mi>w</mi><mrow><mi>prd</mi><mi>,</mi><mi>i</mi></mrow></msub><mi>,</mi><mi>⋅⋅⋅</mi><mi>,</mi><msub><msub><mi>w</mi><mi>prd</mi></msub><mrow><mi>,</mi><msub><mi>n</mi><mi>prd</mi></msub></mrow></msub><mi>;</mi><msub><mi>w</mi><mrow><mi>inj</mi><mi>,</mi><mn>1</mn></mrow></msub><mi>,</mi><mi>⋅⋅⋅</mi><mi>,</mi><msub><mi>w</mi><mrow><mi>inj</mi><mi>,</mi><mi>i</mi></mrow></msub><mi>,</mi><mi>⋅⋅⋅</mi><mi>,</mi><msub><mi>w</mi><mrow><mi>inj</mi><mi>,</mi><msub><mi>n</mi><mi>inj</mi></msub></mrow></msub></mrow><mo>]</mo></mrow></mstyle>（5）。

23、式中，表示第口生产井的产液量，表示第口注水井的注水速率；

24、s4.2，获取注采制度，并将注采制度输入油藏数值模拟模型。

25、进一步地，步骤s6中的为当前时间步的经济净现值，计算如公式（6）所示：

26、（6）。

27、其中，代表当前时间步内累产油量，单位为stb；代表区块累产水量，单位为stb；代表累注入量，单位为stb；为原油价格，单位为元/stb；为油田产出水处理成本，单位为元/stb；为注入水成本，单位为元/stb。

28、进一步地，步骤s8，具体包括如下步骤：

29、s8.1,在样本数据库中进行样本数据采样，训练环境代理模型,定义样本采样的概率为

30、（7）。

31、其中，为第i个的优先级，定义，为预测值和实际值之间的偏差，用于防止概率为0，是一个指数超参数，并且对应为均匀采样，为数据样本个数；

32、s8.2，环境代理网络更新采用梯度下降法进行更新，更新所采用的loss函数如公式（8）所示：

33、（8）。

34、其中，为样本模型预测值，为真实值；为采样样本数量。

35、进一步地，步骤s9中，具体包括如下步骤：

36、s9.1，在样本数据库中对实时采集的样本进行采样，根据所储存的油藏当前时刻的生产数据、智能体生成的注采制度、经济净现值以及下一时刻油藏状态数据，评估当前注采策略网络执行的策略，并更新动作评价网络的参数：

37、（9）；

38、（10）；

39、其中，为t+1时刻的经济净现值，为折扣因子，表示对状态下执行动作的值函数估计，代表神经网络参数，表示对求梯度，表示学习率，为时序差分误差。

40、s9.2，根据油藏当前时刻的生产数据、智能体生成的注采制度以及动作评价网络返回的，对注采策略网络的参数进行更新，具体公式如下：

41、（11）；

42、其中，表示注采策略网络参数，为动作评价网络输出值，表示对求梯度；表示学习率，表示在状态下执行动作的可能性。

43、进一步地，步骤s10中的迭代收敛条件为,迭代次数是否达到预设停止标准的最大上限；如果达到预设的最大上限，则终止计算，输出当前的注采策略模型及环境代理模型，如未满足，则进行重复s4~s9。

44、本发明具有如下有益效果：

45、本发明结合强化学习算法，利用实际生产过程中可采集到的开发指标数据，包括累产油量、日产油量、累产液量、日产液量、累注入量和日注入量等实际生产数据，利用注采策略模型，进行未来注采方案策略的优化。同时对强化学习采样过程中的数据加以利用，用于训练环境代理模型，应用时可实现后续的多步离线优化，提高已有信息利用效率。无需重复进行高昂的优化过程；本发明方法的主要用途为进行快速油藏注采优化，具有很好的推广应用价值。