部署sdn,目前的网络设备要更换吗

部署sdn,目前的网络设备要更换吗,第1张

 节省资本和运营成本、显著提高网络效率、增强网络的灵活性…看起来SDN是一个“完美”的企业级解决方案,事实确实如此吗?如果你头脑一热,兴冲冲的奔向SDN,带来的后果可能会令你焦头烂额。在部署SDN之前,企业还面临许多的问题需要慎重考虑。
SDN对传统网络的影响
传统网络设备
如何规划SDN,将会对企业的整体网络产生长期影响。SDN目前还处于非常早期的阶段——市场、标准和技术仍有待成熟。因此IT购买者必须在选择某个特定的SDN架构之前进行试用和仔细地评估对遗留网络的支持。SDN解决方案能否很好地支持企业已安装的遗留以太网交换机和路由器?向SDN的迁移计划是什么样的?
SDN对已有网络管理人才的影响
评估SDN对IT部门的影响。SDN是否提供了创建跨职能部门团队(例如服务器、存储和网络部门)以便解决数据中心或云网络需求的机会?思考SDN实施的挑战。今天的很多SDN解决方案都不够完善,或者需要大量的定制化。谁可以帮助你实施SDN(是渠道还是专业服务团队)?企业的IT部门是否有现成的SDN技能人才可用,还是说需要额外进行培养?
SDN行业标准不够成熟
目前,SDN还处于初期阶段,还没有形成一个统一广泛的行业标准。用户部署前一定要关注SDN是否可支持广泛的行业标准,这里既指网络标准(如OpenFlow),也包括IT标准(如服务器虚拟化产品)。
SDN的软肋
也有业界专家认为,SDN并没有真正解决网络问题。它只是给网络技术人员提供工具来解决他们自己的问题。当涉及配置、编排以及故障排除时,提供一套新的API就像是给他一把螺丝刀,并要他打造自己的汽车一样。当你试图解决传统网络中出现的所有问题时,你需要一个真正的解决方案。然而,在这一点上,没有人能够确定SDN环境应该如何定义和架构,这是我们在进入多租户网络之前就存在的问题。
慎重!SDN并非适用于任何公司
SDN适合于云计算供应商以及面对大幅扩展工作负载的企业。金融服务公司和零售业就属于这类企业,其业务的动态性质需要IT的灵活性。不符合这种模式的是出版业和医疗行业,这两个行业相对比较稳定,并不会每天启动或者移动应用程序工作负载。因为他们的环境并没有那么动态。
如果你只有50个IP地址,那么你并不需要SDN。只有对于数百个、成千上万个地址,用户才需要这种SDN。建议在考虑SDN之前进行容量规划。如果你需要大量网络分区用于安全和隔离目的,你可以考虑部署SDN。如果你有大量虚拟LAN需要配置和管理,或者有VLAN需要更多自动化,你也应该考虑SDN。
如果你没有几百个虚拟机,你可能不需要部署SDN。如果企业在运行数百个工作负载,这家企业应该考虑SDN。基于SDN的不成熟性,低于这一水平的企业部署SDN都为时过早。如果你的业务或者IT环境迅速扩展且动态地变化,你会想要SDN。
SDN的好处是,即使环境的动态且不断变化的,事情总会以相同的方式进行。动态环境中的安全和网络控制可能是一场噩梦。你必须正确执行政策,不仅为了确保 *** 作方便,而且可以确保信息位于合适的位置。
如果IT企业不具备网络工程专业技能,那应该推迟部署SDN。部署SDN会遇到很多问题,这非常费时,且需要大量工作。SDN部署与生产环境并行,在SDN切换到生产网络之前,你需要反复测试、评估、验证,这需要很多时间、资金和人力。SDN能够带来很多好处,它也能够帮助解决很多问题,但如果环境不适合部署SDN的话,它可能制造很多问题。

链路层,SDN称为软件定义网络,是一种网络设计理念。
通过网络硬件的集中式管理,可编程化,控制转发层面分开,则可以认为这个网络是一个SDN网络。
SDN的本质是让网络更加开放、灵活和简单,它的实现方式是为网络构建一个集中的大脑——SDN服务器,通过全局视图集中控制网络,实现业务快速部署、流量调整优化、网络业务开发等目标。
SDN架构有三层,分别是,协同应用层、SDN控制器层、网络设备层。
协同应用层:包括专注于网络服务拓展的解决方案。包括一个逻辑上集中的SDN控制器。
该控制器保持一个全局的网络视图,通过明确定义的应用层接口和标准协议对网络进行综合管理,对网络设备进行监控。

私有云FusionCloud 65改名叫华为云stack
1、展现层
2、云服务层:IAAS(ECS、BMS、IMS、EIP、ELB、SG、VBS等)、PAAS、SAAS、DAAS四种类型的云服务。
3、资源池层:IAAS、PAAS、SAAS、DAAS。FusionSphere openstack(nova\cinder\neutron\swift\keystone等)通过驱动对接硬件、软件,构造出以上四种类型的资源池。资源层(计算资源、网络资源、灾备资源、数据库资源等)
4、硬件基础设施层:多数据中心(服务器、存储、交换机、路由器、防火墙、制冷、供电等),数据中心之间通过DCI。
5运营、运维:ManageOne(SC运营 SO 运维)
虚拟化与私有云的区别
虚拟化只是简单资源虚拟化,一虚多,大虚小。私有云除了能够实现虚拟化外,更重要的是服务自助化,自动化。
虚拟化通常是小规模,私有云较大规模。
私有云可以实现高级云服务
FC:发放一个虚拟机的话
​ 1创建空的虚拟机,挂载ISO
​ 2安装 *** 作系统
​ 3配置IP 4安装软件
根据使用场景划分为三个类型
type1:软SDN,由两个服务器部署网络组件,还可以实现SDN功能。还具备级联能力
type2:硬SDN,由三个服务器部署华为AC控制器对接网络设备,对接配套硬件网络设备实现SDN能力。不具备级联能力
type3:又叫无SDN,不需要额外的服务器(最少三个控制节点+一个以上的计算节点)没有SDN能力。只能实现简单二层网络虚拟化,不具备级联能力
级联:通过级联,可以 扩大openstack的规模。级联层,对接多个被级联层
级联作为统一管理(部署一些组件的proxy),被级联接入资源(服务器、VM等等)
FusionAcess桌面云
HDP:华为桌面协议
RDP:微软远程桌面协议
接入和访问控制层
WI:提供用户一个登录虚拟机的页面 负载负担
ITA:提供给管理员一个管理界面 主备
HDC:华为桌面控制器,主要与ITA交互,完成ITA下发的配置 负载分担
License:授权服务器。两种类型license:最大用户数和并发用户数 单点
GaussDB:高斯数据库。主要存储ITA,HDC的数据 主备
(WI、ITA、HDC、License、GaussDB部署在同一台虚拟机上)
vAG:虚拟接入网关(HDP),自助维护网关(VNC) 负载分担
vLB:虚拟负载均衡器,负载后端的多个WI 主备
(vAG/vLB部署在同一台虚拟机上)
TCM:瘦终端管理 单点
Backup Server:备份服务器,备份各个组件的关键数据和文件 单点
以上组件当时部署在Linux虚拟机上
AD:服务目录,计算机与用户的绑定,用户密码验证DNS
DNS:地址解析,域名与IP的转换
DHCP:动态地址分配,给计算机分配IP地址
这三个部署在windows server虚拟机上 全部是主备
HDA 部署在VM中的一系列组件的统称
SVN 硬件设备,具备AG、LB两者的功能,当大规模桌面时,需要用到SVN
FusionAcess架构图
1终端(通过HDP协议连接到VM中的HDA)
2FusionAcess(Linux组件、Windows组件)
3FusionCompute(CNA和VRM)
4基础设施

最近因为写论文的关系,泡知网、泡万方,发现了很多学术界对数据中心网络一些构想,发现里面不乏天才的想法,但日常我们沉迷在各个设备厂商调制好的羹汤中无法自拔,管中窥豹不见全局,还一直呼喊着“真香”,对于网工来说沉溺于自己的一方小小天地不如跳出来看看外界有哪些新的技术和思想,莫听穿林打叶声,何妨吟啸且徐行

当前新的数据中心网络拓扑主要分为两类

1、以交换机为核心,网络连接和路由功能由交换机完成,各个设备厂商的“羹汤”全属于这个领域

2、以服务器为核心,主要互联和路由功能放在服务器上,交换机只提供简单纵横制交换功能

第一类方案中包含了能引发我回忆阴影的Fat-Tree,和VL2、Helios、c-Through、OSA等等,这些方案要么采用更多数量交换机,要么融合光交换机进行网络互联,对交换机软件和硬件要求比较高,第二类主要有DCell、Bcube、FiConn、CamCube、MDCube等等,主要推动者是微软,这类方案中服务器一版会通过多网卡接入网络,为了支持各种流量模型,会对服务器进行硬件和软件的升级。

除了这些网络拓扑的变化外,其实对数据中心网络传输协议TCP/IP、网络虚拟化、网络节能机制、DCI网络互联都有很多创新的技术和概念涌现出来。
FatTree  胖树,2008年由UCSD大学发表的论文,同时也是5年前工作中接触的第一种交换机为中心的网络拓扑,当时没有太理解,跟客户为这事掐的火星四溅,再来一次可能结论会有所改变,同时也是这篇论文引发了学术界对数据中心内部网络拓扑设计的广泛而深刻的讨论,他提出了一套组网设计原则来达成几个目的

1、全网采用低端商用交换机来组网、其实就是采用1U的接入交换机,取消框式设备

2、全网无阻塞

3、成本节省,纸面测算的话FatTree 可以降为常规模式组网成本的1/4或1/5

物理拓扑(按照4个pod设计)

FatTree 的设计原则如下

整个网络包含K个POD,每个POD有K/2个Edge和K/2个Agg 交换机,他们各有K的接口,Edge使用K/2个端口下联服务器,Agg适用K/2个端口上联CORE交换机

Edge使用K/2个端口连接服务器,每个服务器占用一个交换端口

CORE层由K/2K/2共计KK/4个K个端口交换机组成,分为K/2组,每组由K/2ge,第一组K/2台CORE交换机连接各个POD中Agg交换层一号交换机,第二组K/2的CORE交换机连接各POD中Agg的二号交换机,依次类推

K个POD,每个POD有K/2个Edge交换机,每个Edge有K/2端口,服务器总数为KK/2K/2=KKK/4

K取值4的话,服务器总数为16台

常规K取值48的话,服务器为27648台

FatTree的路由设计更加有意思,论文中叫两阶段路由算法,首先要说明的是如果使用论文中的算法是需要对交换机硬软件进行修改的,这种两阶段路由算法和交换设备及服务器的IP地址强相关,首先就是IP地址的编制,这里依然按照K=4来设计,规则如下

1、POD中交换机IP为10podswitch1,pod对应POD编号,switch为交换机所在POD编号(Edge从0开始由左至右到k/2-1,Agg从k/2至k-1)

2、CORE交换机IP为10kji ,k为POD数量,j为交换机在Core层所属组编号,i为交换机在该组中序号

3、服务器IP为10podswitchID,ID为服务器所在Edge交换机序号,交换机已经占用1,所以从2开始由左至右到k/2+1

设计完成后交换机和服务器的IP地址会如下分配
对于Edge交换机(以10201为例)第一阶段匹配10202和10203的32位地址,匹配则转发,没有匹配(既匹配0000/0)则根据目的地址后8位,也就是ID号,选择对应到Agg的链路,如目标地址为xxx2则选择到10221的链路,目标地址为xxx3则选择到10231的链路

对于Agg交换机(以10221为例)第一阶段匹配本POD中网段10200/24和10210/24,匹配成功直接转发对应Edge,没有匹配(既匹配0000/0)则根据目的地址后8位,也就是ID号确定对应到Core的链路,如目标地址为xxx2则选择到10411的链路,目标地址为xxx3则选择到10412的链路

对于Core交换机,只有一个阶段匹配,只要根据可能的POD网段进行即可,这里是10000/16~10300/16对应0、1、2、3四个口进行转发

容错方面论文提到了BFD来防止链路和节点故障,同时还有流量分类和调度的策略,这里就不展开了,因为这种两阶段路由算法要对交换机硬件进行修改,适应对IP后8位ID进行匹配,现实中没有看到实际案例,但是我们可以设想一下这种简单的转发规则再加上固定端口的低端交换机,对于转发效率以及成本的压缩将是极为可观的。尤其这种IP地址规则的设计配合路由转发,思路简直清奇。但是仔细想想,这种按照特定规则的IP编制,把每个二层限制在同一个Edge交换机下,注定了虚拟机是没有办法跨Edge来迁移的,只从这点上来看注定它只能存在于论文之中,但是顺着这个思路开个脑洞,还有什么能够编制呢?就是MAC地址,如果再配上集中式控制那就更好了,于是就有了一种新的一种路由方式PortLand,后续我们单独说。

如此看来FatTree 是典型的Scale-out模式,但是由于一般交换机端口通常为48口,如果继续增加端口数量,会导致成本的非线性增加,底层Edge交换机故障时,难以保障服务质量,还有这种拓扑在大数据的mapreduce模型中无法支持one-to-all和all-to-all模式。

把脑洞开的稍微小一些,我们能否用通用商业交换机+通用路由来做出来一种FatTree变种拓扑,来达到成本节省的目的呢,答案一定是确切的,目前能看到阿里已经使用固定48口交换机搭建自己的变种FatTree拓扑了。

以交换机为中心的网络拓扑如VL2、Helios不再多说,目前看到最好的就是我们熟知的spine-leaf结构,它没有设计成1:1收敛比,而且如果使用super层的clos架构,也可以支撑几万台或者百万台的服务器规模,但是FaTtree依靠网络拓扑取消掉了框式核心交换机,在一定规模的数据中心对于压低成本是非常有效的

聊完交换机为核心的拓扑设计后,再来看看服务器为核心的拓扑,同样这些DCell、Bcube、FiConn、CamCube、MDCube等,不会全讲,会拿DCell来举例子,因为它也是2008年由微软亚洲研究院主导,几乎和FatTree同时提出,开创了一个全新的思路,随后的年份里直到今天一直有各种改进版本的拓扑出现

这种服务器为核心的拓扑,主导思想是在服务器上增加网卡,服务器上要有路由转发逻辑来中转流量数据包,并且采用递推方式进行组网。

DCell的基本单元是DCell0,DCell0中服务器互联由一台T个端口的mini交换机完成,跨DCell的流量要通过服务器网卡互联进行绕转。通过一定数量的Dcell0组成一个DCell1,按照一定约束条件进行递推,组成DCell2以及DCellk
上图例中是一个DCell1的拓扑,包含5个Dcell0,每台服务器2个端口,除连接自己区域的mini交换机外,另一个端口会依次连接其他DCell0中的服务器,来组成全互联的结构,最终有20台服务器组成DCell1,所有服务器按照(m,n)坐标进行唯一标识,m相同的时候直接通过moni交换机交互,当m不同时经由mini交换机中继到互联服务器,例子中红色线为40服务器访问13服务器的访问路径。

DCell组网规则及递归约束条件如下:

DCellk中包含DCellk-1的数量为GK

DCellk中包含服务器为Tk个,每台服务器k+1块网卡,则有

GK=Tk-1+1

TK=Gk-1 ✕ Tk-1

设DCell0中有4台服务器

DCell1 中有5个DCell0 (G1=5)

Tk1=20台服务器(T1=20)

DCell2 中有21个DCell1 (G2=21)

Tk2=420台服务器(T2=420)

DCell3 中有421个DCell2 (G3=421)

Tk3=176820台服务器(T3=176820)



Tk6=3260000台服务器
经过测算DCell3中每台服务器的网卡数量为4,就能组建出包含17万台服务器的数据中心,同样DCell的缺点和优点一样耀眼,这种递归后指数增长的网卡需求量,在每台服务器上可能并不多,但是全量计算的话就太过于惊人了,虽然对比FatTree又再一次降低交换机的采购成本,但是天量的网卡可以想象对于运维的压力,还有关键的问题时高层次DCell间通信占用低层次DCell网卡带宽必然导致低层次DCell经常拥塞。最后还有一个实施的问题,天量的不同位置网卡布线对于施工的准确度以及未知的长度都是一个巨大的挑战。

DCell提出后,随后针对网卡数量、带宽抢占等一系列问题演化出来一批新的网络拓扑,思路无外乎两个方向,一个是增加交换机数量减少单服务网卡数量,趋同于spine-leaf体系,但是它一直保持了服务器多网卡的思路。另一种是极端一些,干脆消灭所有交换机,但是固定单服务器网卡数量,按照矩阵形式组建纯服务器互联结构,感兴趣的同学可以继续探索。

数据中心的路由框架涵盖范围和领域非常多,很多论文都选择其中的一个点进行讨论,比如源地址路由、流量调度、收敛、组播等等,不计划每个展开,也没有太大意义。但是针对之前FatTree的两阶段路由有一个更新的路由框架设计PortLand,它解决了两段路由中虚拟机无法迁移的问题,它的关键技术有以下几点

1、对于FatTree这种高度规范化的拓扑,PortLand设计为采用层次化MAC编址来支持大二层,这种路由框架中,除了虚拟机/物理机实际的MAC外(AMAC),还都拥有一个PortLand规范的伪MAC(PMAC),网络中的转发机制和PMAC强相关,PMAC的编址规则为

podpositionportvmid

pod (2字节) 代表虚拟机/服务器所在POD号,position(1字节)虚拟机/服务器所在Edge交换机在POD中编号,port(1字节)虚拟机/服务器连接Edge交换机端口的本地编号,vmid(2字节)服务器在Edge下挂以太网交换机编号,如果只有一台物理机vmid只能为1

2、虚拟机/服务器的编址搞定后,Edge、Aggregate、Core的编址呢,于是PortLand设计了一套拓扑发现机制LDP(location discovery protocol),要求交换机在各个端口上发送LDP报文LDM(location

discovery message)识别自己所处位置,LDM消息包含switch_id(交换机自身mac,与PMAC无关)pod(交换机所属pod号)pos(交换机在pod中的编号)level(Edge为0、Agg为1、Core为2)dir(上联为1,下联为-1),最开始的时候Edge角色会发现连接服务器的端口是没有LDM的,它就知道自己是Edge,Agg和Core角色依次收到LDM后会计算并确定出自己的leve和dir等信息。

3、设计一个fabric manager的集中PortLand控制器,它负责回答Edge交换机pod号和ARP解析,当Edge交换机学习到一个AMAC时,会计算一个PMAC,并把IP/AMAC/PMAC对应关系发送给fabric manager,后续有虚拟机/服务器请求此IP的ARP时,会回复PMAC地址给它,并使用这个PMAC进行通信。

4、由于PMAC的编址和pod、pos、level等信息关联,而所有交换机在LDM的交互过程中知晓了全网的交换机pod、pos、level、dir等信息,当数据包在网络中传播的时候,途径交换机根据PMAC进行解析可得到pod、pos这些信息,根据这些信息即可进行数据包的转发,数据包到达Edge后,Edge交换机会把PMAC改写为AMAC,因为它是知道其对应关系的。当虚拟机迁移后,由fabric manager来进行AMAC和PMAC对应更新和通知Edge交换机即可,论文中依靠虚拟机的免费ARP来触发,这点在实际情况中执行的效率要打一个问号。

不可否认,PortLand的一些设计思路非常巧妙,这种MAC地址重写非常有特色。规则设计中把更多的含义赋给PMAC,并且通过LDP机制设计为全网根据PMAC即可进行转发,再加上集中的控制平面fabric manager,已经及其类似我们熟悉的SDN。但是它对于转发芯片的要求可以看出要求比较低,但是所有的转发规则会改变,这需要业内对于芯片和软件的全部修改,是否能够成功也看市场驱动力吧,毕竟市场不全是技术驱动的。

除了我们熟悉的拓扑和路由框架方面,数据中心还有很多比较有意思的趋势在发生,挑几个有意思的

目前数据中心都是以太网有线网络,大量的高突发和高负载各个路由设架构都会涉及,但是如果使用无线是不是也能解决呢,于是极高频技术在数据中心也有了一定的研究(这里特指60GHZ无线),其吞吐可达4Gbps,通过特殊物理环境、波束成形、有向天线等技术使60GHZ部署在数据中心中,目前研究法相集中在无线调度和覆盖中,技术方案为Flyways,它通过合理的机柜摆放及无线节点空间排布来形成有效的整体系统,使用定向天线和波束成形技术提高连接速率等等新的技术,甚至还有一些论文提出了全无线数据中心,这样对数据中心的建设费用降低是非常有助力的。

数据中心目前应用的还是TCP,而TCP在特定场景下一定会遇到性能急剧下降的TCP incast现象,TCP的拥塞避免和慢启动会造成当一条链路拥塞时其承载的多个TCP流可能会同时触发TCP慢启动,但随着所有的TCP流流量增加后又会迅速达到拥塞而再次触发,造成网络中有时间流量很大,有时间流量又很小。如何来解决

数据中心还有很多应用有典型的组通信模式,比如分布式存储、软件升级等等,这种情况下组播是不是可以应用进来,但是组播在数据中心会不会水土不服,如何解决

还有就是数据中心的多路径,可否从TCP层面进行解决,让一条TCP流负载在不同的链路上,而不是在设备上依靠哈希五元组来对每一条流进行特定链路分配

对于TCPincast,一般通过减少RTO值使之匹配RTT,用随机的超时时间来重启动TCP传输。还有一种时设计新的控制算法来避免,甚至有方案抛弃TCP使用UDP来进行数据传输。

对于组播,数据中心的组播主要有将应用映射为网络层组播和单播的MCMD和Bloom Filter这种解决组播可扩展性的方案

对于多路径,提出多径TCP(MPTCP),在源端将数据拆分成诺干部分,并在同一对源和目的之间建立多个TCP连接进行传输,MPTCP对比传统TCP区别主要有

1、MPTCP建立阶段,要求服务器端向客户端返回服务器所有的地址信息

2、不同自流的源/目的可以相同,也可以不同,各个子流维护各自的序列号和滑动窗口,多个子流到达目的后,由接收端进行组装

3、MPTCP采用AIMD机制维护拥塞窗口,但各个子流的拥塞窗口增加与所有子流拥塞窗口的总和相关

还有部分针对TCP的优化,如D3协议,D3是针对数据中心的实时应用,通过分析数据流的大小和完成时间来分配传输速率,并且在网络资源紧张的时候可以主动断开某些预计无法完成传输的数据流,从而保证更多的数据流能按时完成。

这的数据中心节能不会谈风火水电以及液冷等等技术,从网络拓扑的角度谈起,我们所有数据中心拓扑搭建的过程中,主要针对传统树形拓扑提出了很多“富连接”的拓扑,来保证峰值的时候网络流量的保持性,但是同时也带来了不在峰值条件下能耗的增加,同时我们也知道数据中心流量多数情况下远低于其峰值设计,学术界针对这块设计了不少有脑洞的技术,主要分为两类,一类时降低硬件设备能耗,第二类时设计新型路由机制来降低能耗。

硬件能耗的降低主要从设备休眠和速率调整两个方面来实现,其难点主要时定时机制及唤醒速度的问题,当遇到突发流量交换机能否快速唤醒,人们通过缓存和定时器组合的方式进行。

节能路由机制,也是一个非常有特点的技术,核心思想是通过合理的选择路由,只使用一部分网络设备来承载流量,没有承载流量的设备进行休眠或者关闭。Elastic Tree提出了一种全网范围的能耗优化机制,它通过不断的检测数据中心流量状况,在保障可用性的前提下实时调整链路和网络设备状态,Elastic Tree探讨了bin-packer的贪心算法、最优化算法和拓扑感知的启发算法来实现节能的效果。

通过以上可以看到数据中心发展非常多样化,驱动这些技术发展的根本性力量就是成本,人们希望用最低的成本达成最优的数据中心效能,同时内部拓扑方案的研究已经慢慢成熟,目前设备厂商的羹汤可以说就是市场化选择的产物,但是数据中心网络传输协议、虚拟化、节能机制、SDN、服务链等方向的研究方兴未艾,尤其是应用定制的传输协议、虚拟网络带宽保障机制等等,这些学术方面的研究并不仅仅是纸上谈兵,对于我知道的一些信息来说,国内的阿里在它的数据中心网络拓扑中早已经应用了FatTree的变种拓扑,思科也把数据中心内部TCP重传的技术应用在自己的芯片中,称其为CONGA。

坦白来说,网络从来都不是数据中心和云计算的核心,可能未来也不会是,计算资源的形态之争才是主战场,但是网络恰恰是数据中心的一个难点,传统厂商、学术界、大厂都集中在此领域展开竞争,创新也层出不穷,希望能拓展我们的技术视野,能对我们有一些启发,莫听穿林打叶声、何妨吟啸且徐行~


欢迎分享,转载请注明来源:内存溢出

原文地址: http://www.outofmemory.cn/zz/13492760.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-08-18
下一篇 2023-08-18

发表评论

登录后才能评论

评论列表(0条)

保存