批量计算:
批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模,系统自动完成资源管理、作业调度和数据加载,并按实际使用量计费。
通俗的讲,就是您可以提交一个任意的计算机程序,让它在阿里云的多个 VM 实例上同时运行,然后把结果写入到指定的持久化存储位置(如阿里云对象存储 OSS 或者文件存储 NAS),然后您可以去指定的位置查看结果。
在影视动漫行业,批量计算适用于渲染或者解算等计算集群的管理。
批量计算名词解释:
作业
用户的每个特定的计算需求在 BatchCompute 中被描述为一个作业(Job)。在BatchCompute 系统中,用户可以通过命令行工具、管理控制台或 SDK 提交、管理和查询作业。
任务
一个作业由一组任务(Task)及其依赖关系组成。批量计算支持能以有向无环图 DAG(directed acyclic graph)形式描述的作业。任务间的依赖关系只能在作业提交时指定,提交完成后不能修改。
实例
每个任务可以有一个或多个执行实例(Instance)。同一任务的各个实例并行处理各自的输入数据。实例是 BatchCompute 调度与执行的最小单元,这些实例会动态的运行在系统分配的虚拟服务器节点上。
集群
一系列的VM实例组在 BatchCompute 中被定义为一个集群(Cluster)。一个集群可以由多个实例组(Group)组成,一个组中的实例共享同样的实例类型定义(如指定的 CPU 核数和内存大小组合),多个组之间共享镜像(Image)。
镜像
镜像(Image)是集群资源创建或者作业运行环境的模板。它是一个标准的或者自定义的 ECS 镜像,需要安装 BatchCompute Agent,然后授权给 BatchCompute 服务使用。
Docker镜像
使用官方提供的 ubuntu 镜像(内置 Docker 容器支持),可以支持自定义 Docker 镜像。自定义 Docker 镜像像普通镜像一样,可以自己安装运行作业的各种程序。
批量计算的使用:
1. 创建阿里云账号
如果您还没有阿里云账号,请登陆阿里云官网,点击右上角“免费注册”创建阿里云账号。
2. 开通BatchCompute
使用注册成功的阿里云账号登陆,点菜单中“产品”,在“弹性计算”中找到批量计算(BatchCompute)进入 产品主页,开通 BatchCompute 服务。
3.在批量计算控制台-->集群列表 右侧点击创建集群
4.在集群创建页面,填写集群名称,镜像ID,期望虚拟机数量等信息,点击提交即可。
其中,
镜像ID:集群机器所使用的镜像ID,自定义镜像需要共享给批量计算服务账号(1190847048572539)。
4.提交成功后在集群列表页面可以看到当前状态
5.创建成功后点击集群名称进入可看到集群详细信息
至此,集群创建成功。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:批量计算简介与使用-影视动漫阿里云BCS实践系列一 - Python技术站