记录学习云计算的笔记,主要是学习阿里云上的几个主要云产品
基础
云分类
- 共有云:所有人都可以访问的
- 私有云:私人使用的(通过内网实现)
- 混合云:公有云和私有云混合使用(不重要的数据放公有云,重要数据放私有云,中间通过隧道技术连接)
云计算的服务模式
- IAAS:只提供单个基础设备,比如买一个云服务器(裸机)
- PAAS:提供基础设备并带一些服务,比如买一台云服务器(带有LANM环境)
- SAAS:直接提供现成的软件,比如office在线编辑
云计算的发展
CDN
用于内容缓存,节点越多,用户在线访问视频,图片时加载/播放的就越快。
阿里云
(1)灰色部分,提供基础服务的软件,整体叫做“飞天云平台”,每个模块软件是独立的。
(1)统一的运维平台,统一的大数据威胁分析平台等
ECS(云服务器)
(1)ECS是一种IAAS服务,即只提供云服务器。
(2)主要特点:即开即用、弹性伸缩
(3)一台云服务器实例等同于一台虚拟机,包含CPU、内存、OS、网络、磁盘等基础组件。
ECS和“飞天”云平台的关系:
ECS构建在飞天之上,其单机虚拟化通过XEN/KVM实现,存储依赖于盘古分布式文件系统。
云盘
(1)本地盘:ECS是一台虚拟机,位于某一个物理主机上,若该ECS所配备的磁盘来自所在物理主机的磁盘,那就是本地盘。
(2)云盘:磁盘空间来自盘古分布式文件系统。
盘古分布式文件系统:三副本策略
优:容量大,可靠性高;可任意挂载到不同实例上
劣:速度不如本地盘,性能略差
如何在ECS上增加新的云盘?
(1)购买
(2)设置中挂载
(3)手动挂载
#查询ECS中的磁盘信息
fdisk -l
#进入挂载
fdisk /磁盘位置
输入:n
创建扩展分区:e
分区大小:1-end
输入:n
创建逻辑分区:l
分区大小:1-end
保存即可
#格式化分区
mkfs.ext3 /逻辑分区位置
#查看当前磁盘的挂载情况
df -h
#将分区挂载到对应文件夹
mount /逻辑分区位置 /挂载文件夹位置
云盘如何卸载?
(1)设置中卸载云盘
卸载后云盘的数据和分区都还在,可以挂载到同一个可用区的任意ECS上。
如果要重新使用,需要重新挂载(mount)
安全组
- 就是一个虚拟的防火墙,可以配置出入规则
- 是可以跨区域的
网络
(1)经典网络
- 统一部署和管理
(2)专有网络(VPC)
- VPC之间逻辑上独立【隔离】
- 可以自定义VPC的拓扑和IP地址
- 在混合云中使用
每个VPC至少由一个路由器、一个私网网段、一个交换机组成
VPC如何连接公网?
(1)ECS固定公网IP
(2)弹性公网IP(EIP)
只能用于一台VPC ECS实例与公网通信。
(3)NAT网关
可以用于多台VPC ECS实例和公网通信。
(4)负载均衡
VPC与VPC之间如何通信?
利用VPN网关
VPN网关?
- 是外接连接VPN的接口。
- 基于Internet的网络连接服务,通过加密通道的方式实现企业数据中心、企业办公网络或者Internet终端与VPC安全可靠的连接,提供IPsec-VPN连接和SSL-VPN连接。
- 具有公网IP地址
API
支持HTTP或HTTPS网络请求协议,允许GET和POST方法。
调用方法:
(1)CLI:专有命令行,需要配置
(2)OpenAPI Explorer:图形化界面操作
安全组
安全组不开放访问端口,并不表示ECS没有开启该服务,安全组只是起了隔离的作用。
SLB(负载均衡)
在服务器前端面对用户,用户所有的访问请求都先到到达SLB,然后由SLB将用户流量转发给后端的服务器,达到横向扩展系统的作用。
特点:
作用:
(1)用于高访问量的业务
(2)扩展应用程序
(3)消除单点故障
跨地域冗灾:需要使用DNS
原理:
一个负载均衡实例是运行以恶搞负载均衡服务,要使用负载均衡服务,必须创建一个负载均衡实例,并至少添加一个监听和两台ECS实例。
监听用来检查客户端请求并将请求转发给后段ECS,监听也会对后端ECS进行健康检查。
这里SLB后端的ECS数量是不限制的。
概念总结:
实现:
SLB架构是采用集群部署,提供四层(TCP协议和UDP协议)和七层(HTTP和HTTPS协议)的负载均衡。
入网流量走向:
TCP/UDP协议和HTTP/HTTPS协议的流量都需要经过LVS集群进行转发。
LVS集群内的每台ECS均匀分配海量访问请求,并且每台ECS之间都有会话同步策略,以保证高可用。
高可用:
数据同步备份,实现避免出现单点故障。
流量:
总结
(1)LSB支持的协议
四层(TCP协议和UDP协议)和七层(HTTP和HTTPS协议)
(2)可以自定义端口
(3)避免LSB本身故障导致的单点问题
创建多个LSB实例,痛殴DNS轮询的方式对外提供服务,从而提高LSB的可用性。
(4)不限制支持ECS数量
(5)后端ECS不需要公网贷款么?
(6)一个LSB,配合一组ECS,可以搭建多个网站同时运行
(7)不同OS的ECS可以作LSB
(8)LSB后端多个ECS同步:需第三方工具,如RSYNC
(9)不同地域的ECS不能使用一个LSB
(10)LSB的策略:轮训、加权轮训,加权最小连接数和一次性hash调度算法
(11)ECS权重一样,但实际负载不同:考虑是否开启了会话保持(会话保持会将一个客户端的请求转发到后端一台ECS上)
操作
RDS(云数据库-结构化数据)
基于飞天云平台和SSD盘高性能存储的。
使用场景:
(1)开放搜索
对结构化的数据进行快速搜索。
OpenSearch可将RDS中的数据自动同步到OpenSearch实现各类复杂的搜索。
(2)数据多样化存储
(3)数据异地容灾
将本地数据库同步到RDS上,实现异地容灾
(4)读写分离
增加只读实例
(5)大数据分析
RDS支持大数据分析,但并不在RDS上进行大数据分析。
RDS架构:
RDS支持的数据库类型:
基本概念
1、RDS实例
(1)实例是关系型数据库的运行环境
(2)各实例间相互独立,资源隔离,相互之间不存在CPU,内存等资源抢占问题
(3)同一个实例中的不同数据库之间时资源共享的
(4)RDS实例目前支持最大内存时48G,最大磁盘容量是6T
(5)一个账号可以创建多个实例
2、RDS数据库
(1)是用户在一个实例下创建的逻辑单元
(2)一个实例可以创建多个数据库,且命名唯一
(3)最多可以创建500个Mysql数据库实例
3、RDS数据库账户
(1)每个数据库账号可以用于多个数据库
(2)每个数据库的读写权限可以被分配给很多数据库账号
4、只读实例
(1)只接受读请求的实例,如电商系统
(2)数据与主实例一致
(3)从备实例复制数据
(4)主实例的数据更新会在主实例做完后,立即自动同步到所有只读实例中
(5)可以在只读实例上设置只读实例延迟
(6)只读实例创建并设置读取权重后就会持续提供服务
(7)备实例和灾备实例在主实例正常运行时都不会提供服务
RDS版本:
RDS安全性:
RDS提供了多样化的安全加固功能保障数据,体现在网络、存储和容灾上:
抗网络攻击:
(1)SQL注入
开通云安全中心日志分析、RDS SQL审计日志
(2)DDOS攻击
进行流量清洗
访问控制:
(1)创建普通数据库账号
对数据库只读、读写等操作
(2)创建高权限数据库账号
细力度控制,对表、视图,字段等操作
性能优化
影响因素:
SQL查询速度
- 网络
- 磁盘IO
- 硬件
- 数据库版本等
性能检测工具:
- 慢SQL统计及优化建议
- SQL运行报告
RDS性能优化工具:
- Fast Query Cache:查询缓存,提高查询性能
- Binlog in Redo:减少磁盘操作
- Statement Queue:减少冲突的开销
数据备份和恢复
- 数据平时必须备份
- 每个RDS实例可以创建一个临时实例,继承备份点的账号和密码,创建成功后,48h内有效。
OSS(云存储-非结构化数据)
对象存储(Object Storage Service),适合存储大量不同大小、格式的非结构化数据,比如:视频、音频、图像、文本、日志等。对文件数量不限制,单个文件大小为48.8T以内。
因为OSS中的文件上传方式有Put和Multipart方式:
- Put上传单个文件大小最大5G
- Multipart,最大支持10000块,每个块上传按put方式上传,故\(10000*5G=48.8T\)
基本概念
存储类型:
1、标准存储
频繁访问、实时访问
2、低频存储
不经常访问,实时访问
3、归档存储
长期保存,需要先解冻后再读区。
对象/文件:
OSS存储的基本单元,包括:
1、Data
数据本身
2、Object Mata
键值对,表示对象的一些属性(大小、上传时间、修改时间等)
3、Key
对象在存储空间中的唯一标识
存储空间(Bucket):
用于存储对象的容器
容器名字唯一
数量有限(最多10个)
如何访问?
应用场景:
如何上传?
1、流式写入
上传字符串、字节数组、网络流、文件流
2、文件写入
上传本地文件
基于的平台和技术:
如何保证安全?
功能特性
1、数据处理功能
比如:图片处理、视频截帧,文档预览,人脸识别等
2、交互性
自然对接Hadoop生态
3、接口访问
API、控制台、SDK、命令化、图形界面
4、可扩展
自动弹性伸缩,实现“无限”存储
下面给出一个综合案例:
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:云计算基础-0 - Python技术站