一种服务器OCP网卡状态获取装置及方法与流程

文档序号:32494696发布日期:2022-12-10 04:14阅读:223来源:国知局
一种服务器OCP网卡状态获取装置及方法与流程
一种服务器ocp网卡状态获取装置及方法
技术领域
1.本发明涉及ocp网卡状态获取领域,具体涉及一种服务器ocp网卡状态获取装置及方法。


背景技术:

2.当前标准ocp网卡没有定义ocp网卡设备向主板输出网口工作状态信号,标准ocp网卡都是通过自身网口灯来显示网口工作状态。图1是当前标准ocp网卡设备结构示意图,pcie控制器通过pcie信号1连接到第一网卡连接器,第一网卡连接器通过pcie信号2连接到第二网卡连接器,第二网卡连接器通过pcie信号3连接网络控制器,网络控制器通过网络接口信号1连接网口。当pcie控制器通过上述连接方式,与外部网络设备发送数据或接收数据,网络控制器监控到pcie信号3和网络接口信号1上有数据传输,将输出led灯控制信号1来控制led1,以显示网口的活动状态或空闲状态。led1的状态包含但不仅限于:常亮、常灭、闪烁、亮度变化。
3.由于标准ocp网卡设备都是插在服务器机箱后端,在装入机柜之后,用户在现场无法便利和直观的观察到ocp网卡设备网口的工作状态,需要额外打开机柜后盖才能看到。
4.现有方案为在前置挂耳显示ocp网卡状态,通过自研ocp网卡设备和自研服务器主板的连接接口中新增一个自定义的网口状态信号来传递ocp网卡设备网口状态,把自研ocp网卡设备网口状态传输给自研主板,自研主板再输出到前置挂耳的网口状态led灯上。图2是当前ocp网卡状态前置挂耳显示装置结构示意图,自研主板一般采用可编程逻辑器件,由可编程逻辑器件获取ocp网卡状态。然而ocp网卡的型号有很多,各种网卡芯片的i2c访问命令不同,要以可编程逻辑器件单独通过i2c信号去实现所有种类的ocp网卡工作状态获取,对可编程逻辑器件的功能要求太高,可编程逻辑器件需要很多的逻辑资源,实现难度大。因此,一般一个自研可编程逻辑器件至适配一种类型的ocp网卡,更换其他类型ocp网卡需要对ocp网卡设备和可编程逻辑器件重新研发,只在适配的自研ocp网卡和可编程逻辑器件搭配使用的场景下,才能支持前置挂耳led灯显示,对于外购标准ocp网卡或其他类型ocp网卡,前置挂耳led灯无法显示。


技术实现要素:

5.为解决上述问题,本发明提供一种服务器ocp网卡状态获取装置及方法,服务器无论搭配自研ocp网卡还是外购标准ocp网卡,其前置挂耳指示灯都能显示ocp网卡的工作状态。
6.第一方面,本发明的技术方案提供一种服务器ocp网卡状态获取装置,包括pcie控制器和第一网卡连接器;ocp网卡上设置有第二网卡连接器和网络控制器;pcie控制器、第一网卡连接器、第二网卡连接器、网络控制器依次连接;该装置还包括:第一主板、第二主板和前置挂耳指示灯;第一主板与第二主板连接,第二主板分别与第一网卡连接器、前置挂耳指示灯连
接;第一主板获取ocp网卡的i2c命令方式并通知第二主板,第二主板以ocp网卡的i2c命令方式发送i2c命令至第一网卡连接器,与ocp网卡通信,获取ocp网卡工作状态信息,根据ocp网卡工作状态信息控制前置挂耳指示灯的状态。
7.进一步地,第一主板控制第二主板的工作模式,其中第二主板的工作模式包括直通模式和独立访问ocp网卡网口工作状态模式;在直通模式下,第一主板通过第二主板连接至第一网卡连接器,与ocp网卡通信,获取ocp网卡的i2c命令方式,并将ocp网卡的i2c命令方式通知第二主板;在独立访问ocp网卡网口工作状态模式下,第二主板以ocp网卡的i2c命令方式发送i2c命令至第一网卡连接器,与ocp网卡通信,获取ocp网卡工作状态信息。
8.进一步地,第二主板包括:i2c控制器、i2c模式控制寄存器和ocp网卡i2c命令寄存器;i2c控制器分别与i2c模式控制寄存器、ocp网卡i2c命令寄存器、第一主板、第一网卡连接器、前置挂耳指示灯连接;i2c模式控制寄存器用于存储i2c控制器的工作模式,ocp网卡i2c命令寄存器用于存储ocp网卡的i2c命令方式。
9.进一步地,i2c控制器通过i2c信号方式分别与第一主板、第一网卡连接器通信,第一网卡连接器通过i2c信号方式与第二网卡连接器通信,第二网卡连接器通过i2c信号方式与网络连接器通信;相应的,第一主板控制第二主板的工作模式,具体包括:第一主板发送第一i2c命令至i2c控制器,第一i2c命令中包含i2c控制器工作模式为直通模式的信息,i2c控制器根据直通模式的信息配置i2c模式控制寄存器,使i2c控制器为直通模式;第一主板获取到ocp网卡的i2c命令方式后,发送第二i2c命令至i2c控制器,第二i2c命令中包含i2c控制器工作模式为独立访问ocp网卡网口工作状态模式的信息和ocp网卡的i2c命令方式的信息,i2c控制器根据ocp网卡的i2c命令方式的信息配置ocp网卡i2c命令寄存器,根据独立访问ocp网卡网口工作状态模式的信息配置i2c模式控制寄存器,使i2c控制器为独立访问ocp网卡网口工作状态模式。
10.进一步地,第一主板为bmc主板,第二主板为可编程逻辑器件主板。
11.第二方面,本发明的技术方案提供一种服务器ocp网卡状态获取方法,包括以下步骤:第一主板获取ocp网卡的i2c命令方式并通知第二主板;第二主板以ocp网卡的i2c命令方式发送i2c命令至第一网卡连接器,与ocp网卡通信,获取ocp网卡工作状态信息;第二主板根据ocp网卡工作状态信息控制前置挂耳指示灯的状态。
12.进一步地,该方法还包括以下步骤:第一主板控制第二主板的工作模式,其中第二主板的工作模式包括直通模式和独立访问ocp网卡网口工作状态模式;在直通模式下,第一主板通过第二主板与ocp网卡通信,获取ocp网卡的i2c命令方式,并将ocp网卡的i2c命令方式通知第二主板;
在独立访问ocp网卡网口工作状态模式下,第二主板以ocp网卡的i2c命令方式发送i2c命令至第一网卡连接器,与ocp网卡通信,获取ocp网卡工作状态信息。
13.进一步地,第一主板获取ocp网卡的i2c命令方式,具体包括:获取ocp网卡型号信息,根据ocp网卡型号信息解析ocp网卡的i2c命令方式。
14.进一步地,第二主板包括:i2c控制器、i2c模式控制寄存器和ocp网卡i2c命令寄存器;i2c模式控制寄存器用于存储i2c控制器的工作模式,ocp网卡i2c命令寄存器用于存储ocp网卡的i2c命令方式;相应的,第一主板控制第二主板的工作模式,具体包括:第一主板发送第一i2c命令至i2c控制器,第一i2c命令中包含i2c控制器工作模式为直通模式的信息,i2c控制器根据直通模式的信息配置i2c模式控制寄存器,使i2c控制器为直通模式;第一主板获取到ocp网卡的i2c命令方式后,发送第二i2c命令至i2c控制器,第二i2c命令中包含i2c控制器工作模式为独立访问ocp网卡网口工作状态模式的信息和ocp网卡的i2c命令方式的信息,i2c控制器根据ocp网卡的i2c命令方式的信息配置ocp网卡i2c命令寄存器,根据独立访问ocp网卡网口工作状态模式的信息配置i2c模式控制寄存器,使i2c控制器为独立访问ocp网卡网口工作状态模式。
15.进一步地,第一主板为bmc主板,第二主板为可编程逻辑器件主板。
16.本发明提供的一种服务器ocp网卡状态获取装置及方法,相对于现有技术,具有以下有益效果:通过功能更强大的第一主板获取ocp网卡的i2c命令方式,第一主板可获知任何类型ocp网卡的i2c命令方式,不受ocp网卡限制,然后根据ocp网卡的i2c命令方式配置第二主板,由第二主板以对应的i2c命令方式与ocp网卡通信,获取ocp网卡状态来控制前置挂耳指示灯,更换ocp网卡只需对第一主板进行相应配置即可,使得服务器无论搭配自研ocp网卡还是外购标准ocp网卡,其前置挂耳指示灯都能显示ocp网卡的工作状态。
附图说明
17.为了更清楚的说明本技术实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
18.图1是当前标准ocp网卡设备结构示意图。
19.图2是当前ocp网卡状态前置挂耳显示装置结构示意图。
20.图3是本发明实施例提供的一种服务器ocp网卡状态获取装置结构示意图。
21.图4是本发明实施例提供的一种服务器ocp网卡状态获取装置的一具体实施例的结构示意图。
22.图5是本发明实施例提供的一种服务器ocp网卡状态获取装置中第二主板结构示意图。
23.图6是本发明实施例提供的一种服务器ocp网卡状态获取装置的一具体实施例中基板控制器bmc启动流程示意图。
24.图7是本发明实施例提供的一种服务器ocp网卡状态获取装置的一具体实施例中
基板控制器bmc控制可编程逻辑器件cpld为独立访问模式流程示意图。
25.图8是本发明实施例提供的一种服务器ocp网卡状态获取装置的一具体实施例中可编程逻辑器件cpld控制前置挂耳指示灯流程示意图。
26.图9是本发明提供的一种服务器ocp网卡状态获取方法流程示意图。
27.图10是本发明提供的一种服务器ocp网卡状态获取方法的一具体实施例的工作流程示意图。
具体实施方式
28.以下对本发明涉及的部分术语进行解释。
29.oc:open compute project, 开源计算项目。开源计算项目(open compute project,ocp)是一套开源硬件,它是由 facebook公司主导,众多 it 巨头公司参与的针对数据中心定制的硬件设计规范,包括机房、机柜、服务器、存储、网络设备的定制设计规范,以及云端硬件的管理规范。
30.bmc:baseboard management controller,基板管理控制器。
31.cpld:complex programmable logic device,复杂可编程逻辑器件。
32.i2c :inter-integrated circuit,是内部整合电路的称呼,是一种串行通讯总线,使用多主从架构,是一种简单、双向二线制同步串行总线pcie:peripheralcomponentinterconnectexpress,高速串行计算机扩展总线标准。
33.led:light emitting diode,发光二极管。
34.为了使本技术领域的人员更好地理解本技术方案,下面结合附图和具体实施方式对本技术作进一步的详细说明。显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
35.图3是本发明实施例提供的一种服务器ocp网卡状态获取装置结构示意图,包括pcie控制器和第一网卡连接器;ocp网卡上设置有第二网卡连接器和网络控制器;pcie控制器、第一网卡连接器、第二网卡连接器、网络控制器依次连接。另外,ocp网卡上设置有网口和led1,分别与网络控制器连接。
36.该装置还包括第一主板、第二主板和前置挂耳指示灯。第一主板与第二主板连接,第二主板分别与第一网卡连接器、前置挂耳指示灯连接。第一主板获取ocp网卡的i2c命令方式并通知第二主板,第二主板以ocp网卡的i2c命令方式发送i2c命令至第一网卡连接器,与ocp网卡通信,获取ocp网卡工作状态信息,根据ocp网卡工作状态信息控制前置挂耳指示灯的状态。
37.需要说明的是,第一主板可实现任意ocp网卡的i2c命令方式的获取,例如在一些具体实施例中,第一主板采用bmc,bmc功能强大且软件容量大,同时i2c应用也已经非常成熟,其可用性和可编辑性很高,可作为第一主板使用。bmc先通过i2c总线访问ocp网卡信息,具体地,采集ocp网卡的型号信息,根据型号信息解析出ocp网卡的i2c命令方式,之后bmc将解析出的ocp网卡的i2c命令方式传递给第二主板,第二主板通过该i2c访问命令访问ocp网卡,并控制前置挂耳指示灯的亮、灭、闪烁来表示ocp网卡工作状态。
38.在一些具体实施例中,第二主板采用可编辑逻辑控制器,例如cpld。第二主板从第一主板处获知ocp网卡的i2c命令方式,其只需存储ocp网卡的i2c命令即可,自身无需判断是哪种ocp网卡以及每种ocp网卡所需的i2c命令,简化第二主板的设计,当增加一种新的网卡时,只需修改第一主板端,第二主板端不需要做任何修改。
39.另外,第一主板需要与ocp网卡通信,获知ocp网卡的i2c命令方式,本实施例中,第一主板通过第二主板与ocp网卡通信,而第二主板除了需要传递第一主板与ocp网卡的通信外,还需要自身与ocp网卡的通信以获知ocp网卡工作状态,因此本实施例由第一主板控制第二主板的工作模式,其中,第二主板的工作模式包括直通模式和独立访问ocp网卡网口工作状态模式。
40.在直通模式下,第一主板通过第二主板连接至第一网卡连接器,与ocp网卡通信,获取ocp网卡的i2c命令方式,并将ocp网卡的i2c命令方式通知第二主板。在独立访问ocp网卡网口工作状态模式下,第二主板以ocp网卡的i2c命令方式发送i2c命令至第一网卡连接器,与ocp网卡通信,获取ocp网卡工作状态信息。
41.图4是一具体实施例的结构示意图,第一主板采用bmc,第二主板采用cpld,该具体实施例的原理是:pcie控制器通过pcie信号1连接到第一网卡连接器,第一网卡连接器通过pcie信号2连接到第二网卡连接器,第二网卡连接器通过pcie信号3连接网络控制器,网络控制器通过网络接口信号1连接网口。当pcie控制器通过上述连接方式,与外部网络设备发送数据或接收数据,网络控制器监控到pcie信号3和网络接口信号1上有数据传输,将输出led灯控制信号1来控制led1,以显示网口的活动状态或空闲状态。led1的状态包含但不仅限于:常亮、常灭、闪烁、亮度变化。基板管理控制器bmc通过i2c信号1连接可编程逻辑器件cpld,可编程逻辑器件cpld通过i2c信号2连接第一网卡连接器,第一网卡连接器通过i2c信号3连接第二网卡连接器,第二网卡连接器通过i2c信号4连接网络控制器,实现基板管理控制器bmc和可编程逻辑器件cpld通过i2c信号访问ocp网卡的网络控制器。基板管理控制器bmc先控制可编程逻辑器件cpld为直通模式,在直通模式下,基板管理控制器bmc通过i2c总线,经可编辑逻辑器件cpld与ocp网卡通信,访问ocp网卡信息,并将这种ocp网卡的i2c访问命令传递给cpld,之后基板管理控制器bmc控制可编程逻辑器件cpld为独立访问ocp网卡网口工作状态模式,cpld通过存储的i2c访问命令单独访问ocp网卡,并控制挂耳led灯的亮、灭、闪烁来表示ocp网卡工作状态。
42.可以理解的是,第二主板需要存储器工作模式,以在合适的工作模式下工作。本实施例使第二主板采用寄存器存储工作模式以及ocp网卡的i2c命令方式。图5是第二主板结构示意图,第二主板包括:i2c控制器、i2c模式控制寄存器和ocp网卡i2c命令寄存器。其中i2c控制器分别与i2c模式控制寄存器、ocp网卡i2c命令寄存器、第一主板、第一网卡连接器、前置挂耳指示灯连接。i2c模式控制寄存器用于存储i2c控制器的工作模式,ocp网卡i2c命令寄存器用于存储ocp网卡的i2c命令方式。
43.具体地,i2c控制器通过i2c信号方式分别与第一主板、第一网卡连接器通信,第一网卡连接器通过i2c信号方式与第二网卡连接器通信,第二网卡连接器通过i2c信号方式与网络连接器通信。
44.在上述第二主板结构基础上,第一主板控制第二主板的工作模式,具体包括:第一主板发送第一i2c命令至i2c控制器,第一i2c命令中包含i2c控制器工作模式为直通模式的
信息,i2c控制器根据直通模式的信息配置i2c模式控制寄存器,使i2c控制器为直通模式;第一主板获取到ocp网卡的i2c命令方式后,发送第二i2c命令至i2c控制器,第二i2c命令中包含i2c控制器工作模式为独立访问ocp网卡网口工作状态模式的信息和ocp网卡的i2c命令方式的信息,i2c控制器根据ocp网卡的i2c命令方式的信息配置ocp网卡i2c命令寄存器,根据独立访问ocp网卡网口工作状态模式的信息配置i2c模式控制寄存器,使i2c控制器为独立访问ocp网卡网口工作状态模式。
45.以下以第一主板为bmc和第二主板为cpld为例,对第一主板和第二主板的工作流程进行说明。
46.1)图6是基板控制器bmc启动流程示意图,基板控制器bmc启动工作流程,基板控制器bmc访问ocp网卡并获取ocp网卡型号信息:(1)基板控制器bmc通过i2c信号1发送i2c命令到可编程逻辑器件cpld。
47.(2)i2c控制器将“i2c控制器工作模式信息”存储到“i2c模式控制寄存器”中。
48.(3)“i2c模式控制寄存器”将i2c控制器设置为直通模式。
49.(1)(4)该模式下i2c控制器只负责连通基板管理控制器bmc的i2c信号1和ocp网卡的i2c信号2,基板管理控制器bmc经过i2c信号1、i2c信号2、i2c信号3、i2c信号4后与ocp网卡直接通讯。
50.2)图7是基板控制器bmc控制可编程逻辑器件cpld为独立访问模式流程示意图,基板控制器bmc访问ocp网卡并获取ocp网卡型号信息后,将i2c控制器1配置为“cpld独立访问ocp网卡网口工作状态模式”:(1)基板控制器bmc通过i2c信号1发送i2c命令到可编程逻辑器件cpld,该命令包含“i2c控制器工作模式信息”和
“ꢀ
ocp网卡工作状态寄存器的i2c访问命令信息”。
51.(2)(3)i2c控制器将“i2c控制器工作模式信息”和
“ꢀ
ocp网卡工作状态寄存器的i2c访问命令信息”分别存储到“i2c模式控制寄存器”和“ocp网卡i2c命令寄存器”中。bmc将i2c控制器配置为“cpld独立访问ocp网卡网口工作状态模式”后, bmc结束工作流程。
52.3)图8是可编程逻辑器件cpld控制前置挂耳指示灯流程示意图,可编程逻辑器件启动独立获取ocp网卡网口工作状态流程,cpld向ocp网卡发送ocp网卡工作状态寄存器的i2c访问命令,获取到ocp网卡工作状态寄存器信息后,控制挂耳led灯相应的亮、灭、闪烁状态:(1)(2)“i2c控制器”从“i2c模式控制寄存器”中读取工作模式信息并进入“cpld独立访问ocp网卡网口工作状态模式”。
53.(3)(4)“i2c控制器”从“ocp网卡 i2c命令寄存器”中读取
“ꢀ
ocp网卡工作状态寄存器的i2c访问命令信息”,配置成“i2c控制器”访问“ocp网卡”的i2c命令。
54.(5)“i2c控制器”访问“ocp网卡”获取“ocp网卡网口工作状态信息”。
55.(6)“i2c控制器”根据“ocp网卡网口工作状态信息”控制前挂耳led灯相应的亮、灭、闪烁状态。
56.上述具体实施例实现由bmc控制cpld,由cpld直接从ocp网卡获取ocp网卡设备网口工作状态,并通过前挂耳led灯显示ocp网卡设备网口工作状态。bmc只需执行一次访问ocp网卡设备网口工作状态的操作,然后将访问ocp网卡设备网口工作状态的命令下发给cpld,后续交由cpld独立去获取ocp网卡设备网口工作状态信息,并由cpld控制前挂耳网口
led灯显示ocp网卡设备工作状态。上述具体实施例释放bmc资源,bmc只需执行一次访问ocp网卡设备操作;简化cpld设计,cpld只需存储其所需的工作模式和ocp i2c命令。cpld不需要判断是哪种ocp网卡以及每种ocp网卡所需的i2c命令,当增加一种新的网卡,只需要修改bmc端,cpld端不需要做任何修改。
57.上文中对于一种服务器ocp网卡状态获取装置的实施例进行了详细描述,基于上述实施例描述的服务器ocp网卡状态获取装置,本发明实施例还提供了一种与该装置对应的服务器ocp网卡状态获取方法。
58.图9是本发明提供的一种服务器ocp网卡状态获取方法流程示意图,如图9所示,该方法包括以下步骤。
59.s1,第一主板获取ocp网卡的i2c命令方式并通知第二主板。
60.s2,第二主板以ocp网卡的i2c命令方式发送i2c命令至第一网卡连接器,与ocp网卡通信,获取ocp网卡工作状态信息。
61.s3,第二主板根据ocp网卡工作状态信息控制前置挂耳指示灯的状态。
62.本实施例中,通过第一主板控制第二主板的工作模式来实现第一主板、第二主板与ocp网卡的通信,其中,第二主板的工作模式包括直通模式和独立访问ocp网卡网口工作状态模式。
63.在直通模式下,第一主板通过第二主板与ocp网卡通信,获取ocp网卡的i2c命令方式,并将ocp网卡的i2c命令方式通知第二主板;在独立访问ocp网卡网口工作状态模式下,第二主板以ocp网卡的i2c命令方式发送i2c命令至第一网卡连接器,与ocp网卡通信,获取ocp网卡工作状态信息。
64.其中,第一主板与ocp网卡通信时,获取ocp网卡型号信息,根据ocp网卡型号信息解析ocp网卡的i2c命令方式。
65.本实施例中,第二主板包括:i2c控制器、i2c模式控制寄存器和ocp网卡i2c命令寄存器;i2c模式控制寄存器用于存储i2c控制器的工作模式,ocp网卡i2c命令寄存器用于存储ocp网卡的i2c命令方式。
66.相应的,第一主板控制第二主板的工作模式,具体包括:第一主板发送第一i2c命令至i2c控制器,第一i2c命令中包含i2c控制器工作模式为直通模式的信息,i2c控制器根据直通模式的信息配置i2c模式控制寄存器,使i2c控制器为直通模式;第一主板获取到ocp网卡的i2c命令方式后,发送第二i2c命令至i2c控制器,第二i2c命令中包含i2c控制器工作模式为独立访问ocp网卡网口工作状态模式的信息和ocp网卡的i2c命令方式的信息,i2c控制器根据ocp网卡的i2c命令方式的信息配置ocp网卡i2c命令寄存器,根据独立访问ocp网卡网口工作状态模式的信息配置i2c模式控制寄存器,使i2c控制器为独立访问ocp网卡网口工作状态模式。
67.在某些具体实施例中,第一主板采用bmc主板,第二主板采用可编程逻辑器件主板,例如cpld。
68.以下以bmc和cpld为例对一具体实施例的工作流程进行说明,图10为该具体实施例的工作流程示意图,包括以下过程。
69.bmc启动工作流程,bmc配置cpld的i2c控制器工作模式为直通模式,bmc访问ocp网
卡,获取ocp网卡型号信息,bmc根据ocp网卡型号信息,配置cpld的i2c命令模式,bmc配置cpld的i2c控制器工作模式为访问ocp网卡模式,bmc结束工作流程,cpld启动工作流程,cpld根据bmc配置的i2c命令模式,发送特定的i2c命令访问ocp网卡,获取ocp网卡工作状态信息,cpld解码ocp网卡工作状态信息,控制挂耳led灯相应的亮、灭、闪烁状态,cpld以固定频率访问ocp网卡和获取ocp网卡工作状态信息并刷新挂耳led灯的状态。
70.本实施例的服务器ocp网卡状态获取方法基于前述的服务器ocp网卡状态获取装置实现,因此该方法中的具体实施方式可见前文中的服务器ocp网卡状态获取装置的实施例部分,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再展开介绍。
71.另外,由于本实施例的服务器ocp网卡状态获取方法基于前述的服务器ocp网卡状态获取装置实现,因此其作用与上述装置的作用相对应,这里不再赘述。
72.以上公开的仅为本发明的优选实施方式,但本发明并非局限于此,任何本领域的技术人员能思之的没有创造性的变化,以及在不脱离本发明原理前提下所作的若干改进和润饰,都应落在本发明的保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1