GPFS 文件系统部署步骤

GPFS 文件系统部署步骤

  参考文档:
  简书网友提供: 
  编程圈网友提供:
  官方网站提供:
  添加GPFS Client操作

一、GPFS介绍

  IBM Spectrum Scale是一个集群文件系统,它提供从多个节点对单个文件系统或一组文件系统的并发访问。节点可以是 SAN 连接的、网络连接的、SAN 连接和网络连接的混合,或者在无共享集群配置中。这可以实现对这组通用数据的高性能访问,以支持横向扩展解决方案或提供高可用性平台。
  IBM Spectrum Scale具有许多常见数据访问之外的功能,包括数据复制、基于策略的存储管理和多站点操作。您可以创建由 AIX® 节点、Linux 节点、Windows 服务器节点或三者混合组成的集群。IBM Spectrum Scale可以在虚拟化实例上运行,提供环境中的通用数据访问、利用逻辑分区或其他管理程序。多个IBM Spectrum Scale集群可以在一个位置内或跨广域网 (WAN) 连接共享数据。
  IBM Spectrum Scale提供了一个全局命名空间、 IBM Spectrum Scale 集群之间的共享文件系统访问、多个节点的同步文件访问、通过复制实现的高可恢复性和数据可用性、在安装文件系统时进行更改的能力,即使在大型环境中也能简化管理。
  IBM Spectrum Scale是一个定义在一个或多个节点上的集群文件系统。在集群中的每个节点上, IBM Spectrum Scale由三个基本组件组成:管理命令、内核扩展和多线程守护进程。
  IBM频谱的比例簇可以以各种方式来配置。集群可以是硬件平台和操作系统的异构组合。
 

二、环境介绍

节点名 节点IP 节点作用
 gpfsnode1  192.168.27.61  gpfs主节点
 gpfsnode2  192.168.27.62  gpfs从节点
 gpfsclient  192.168.27.63  gpfs客户端
 timeserver  192.168.0.7  时间同步服务器

三、安装前准备

  • 配置yum源
  • 配置/etc/hosts
  • 配置ssh免密登录
  • 关闭防火墙,selinux
  • 配置时间同步
  • 安装依赖包

3.1 配置yum源。

  使用安装系统时的镜像作为yum的本地源来配置yum源。

3.2 配置/etc/hosts

  将两台节点的信息分别写入各自机器的/etc/hosts文件下
[root@gpfsnode1 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.27.61 gpfsnode1
192.168.27.62 gpfsnode2
192.168.27.63 gpfsclient

3.3 配置ssh免密登录

  分别配置三台机器之间root用户的免密登录
[root@gpfsnode1 ~ ]# ssh-keygen -t rsa
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
[root@gpfsnode1 ~ ]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@gpfsnode2
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
Are you sure you want to continue connecting (yes/no)? yes
root@gpfsnode2's password:  这里输入gpfsnode2的密码

3.4 关闭防火墙、selinux

  防火墙
关闭防火墙
[root@gpfsnode1 ~] systemctl stop firewalld
设置防火墙不开机自动启动
[root@gpfsnode1 ~] systemctl disable firewalld
  SELinux
[root@gpfsnode1 ~] vim /etc/selinux/config SELINUX=disabled
  注意:SELinux修改后需要重新启动机器

3.5 配置时间同步

[root@gpfsnode1 ~] crontab -e
*/5 * * * * /usr/sbin/ntpdate 192.168.0.7;/usr/sbin/hwclock -w

3.6 安装依赖包

  对照如下表格安装所需依赖包

 包名  功能 安装命令
 Gcc 代码编译包 yum install gcc
 Cpp 计算机编程语言 yum install cpp
 Automake Makefile文件编辑器 yum install automake
 Kernel-devel 内核文件开发包 yum install kernel-devel
Kernel-headers 系统内核头文件包 yum install kernel-headers
binutils 一组开发工具包 yum install binutils
Python Python主安装文件 yum install python
Make Linux系统的编译工具 yum install make
Ksh 交互式的命令解释器和命令变成语言 yum install ksh
Gcc-c++ 针对C++的代码编译包 yum install gcc-c++
rpm-build rpm安装包编译工具 yum install rpm-build

四、安装GPFS文件系统

  依赖包安装完成后,将 Spectrum Scale 软件包 Spectrum_Scale_Advanced-5.0.3.0-x86_64-Linux-install 上传到所有的节点服务器,通过 chmod+x 赋予执行权限。

4.1 解压安装包

  解压安装文件 ./ Spectrum_Scale_Advanced-5.0.3.0-x86_64-Linux-install --text-only,根据提示按"1",并接受 license 协议继续,默认安装文件会被解压到 /usr/lpp/mmfs/5.0.3.0目录下。
[root@gpfsnode1 ~]# ./Spectrum_Scale_Advanced-5.0.3.0-x86_64-Linux-install --text-only
  默认情况下,RPM 软件包将被解压到以下位置:/usr/lpp/mmfs/5.0.3.0,一般redhat的rpm包在gpfsf_rpm目录里
[root@gpfsnode1 ~]# cd /usr/lpp/mmfs/5.0.3.0/gpfs_rpms
  在Redhat Linux安装gpfs文件系统所需要的软件包如下:
gpfs.base-5.0.3-1.*.rpm
gpfs.gpl-5.0.3-1.noarch.rpm
gpfs.compression-5.0.3-1.*.rpm
gpfs.gskit-8.0.50-86.*.rpm
gpfs.msg.en_US-5.0.3-1.noarch.rpm
gpfs.license.xxx-5.0.3-1.*.rpm(其中 xxx 是许可证类型)
gpfs.adv-5.0.3-1.*.rpm(仅限 IBM Spectrum Scale Advanced 或 Data Management Edition)
gpfs.crypto-5.0.3-1.*.rpm(仅限 IBM Spectrum Scale Advanced 或 Data Management Edition)
  按照如下顺序安装rpm包:
rpm -ivh gpfs.base-5.0.3-0.x86_64.rpm
rpm -ivh gpfs.gpl-5.0.3-0.noarch.rpm
rpm -ivh gpfs.adv-5.0.3-0.x86_64.rpm
rpm -ivh gpfs.license.adv-5.0.3-0.x86_64.rpm
rpm -ivh gpfs.gskit-8.0.50-86.x86_64.rpm
rpm -ivh gpfs.msg.en_US-5.0.3-0.noarch.rpm
rpm -ivh gpfs.crypto-5.0.3-0.x86_64.rpm
rpm -ivh gpfs.docs-5.0.3-0.noarch.rpm
  安装完成后,在启动 GPFS 之前,必须构建并安装 GPFS 可移植层。
  GPFS 可移植层是一个可加载的内核模块,它允许 GPFS 守护进程与操作系统交互。

4.2 配置环境变量

  打开root用户的.bash_profile文件,添加如下内容。
  vim /root/.bash_profile
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin:/usr/lpp/mmfs/bin
export PATH

4.3 构建 GPFS 可移植层

[root@gpfsnode1 ~]# /usr/lpp/mmfs/bin/mmbuildgpl --build-package
注意:
  • GPFS 可移植性层特定于当前内核和 GPFS 版本。如果内核或 GPFS 版本发生变化,则需要构建新的 GPFS 可移植层。
  • 尽管操作系统内核可能会升级到新版本,但它们在重新启动后才处于活动状态。因此,必须在重新启动操作系统后为这个新内核构建一个 GPFS 可移植层。
  • 在安装新的 GPFS 可移植层之前,请确保先卸载先前版本的 GPFS 可移植层。
 
  命令完成后,它会显示生成的包的位置,如下例所示:
Wrote: /root/rpmbuild/RPMS/x86_64/gpfs.gplbin-3.10.0-229.el7.x86_64-5.0.3-x.x86_64.rpm
  然后,将生成的包复制到其他机器进行部署。默认情况下,生成的包只能部署到架构、分发级别、Linux 内核和IBM Spectrum Scale维护级别与构建gpfs.gplbin包的机器相同的机器上。但是,可以通过设置将生成的包安装在具有不同 Linux 内核的机器上MM_INSTALL_ONLY安装生成的包之前的环境变量。如果安装 gpfs.gplbin包,则不需要安装 gpfs.gpl包

4.4 创建集群

[root@gpfsnode1 ~]# mmcrcluster -N /tmp/mmfs/nodefile -p gpfsnode1 -s gpfsnode2 -C gpfscluster -A -r /usr/bin/ssh -R /usr/bin/scp
  参数说明:
    -N表示节点的配置文件
    -p表示主节点
    -s表示第二节点
    -C集群名称
    -A表示当一个节点重启的时候GPFS守护进程不会关闭。
    -r和-R都是通信协议。
    nodefile是一个文件,其中包含要添加到集群中的节点和节点名称的列表,其内容如下:
gpfsnode1:quorum-manager:
gpfsnode2:quorum-manager:
  注意:GPFS的仲裁机制和ZooKeeper的仲裁机制类似,当有一半以上的节点是quorum时,集群才可以启动,即:quorum >= 1+sizeof(all nodes)/2
  
  配置完成后,就可以通过 Spectrum Scale 内置指令创建集群,所有角色将自动按照事先定义的服务器自动推送与设置。
  接受适用节点许可证。
[root@gpfsnode1 ~]# mmchlicense server --accept -N all

  从节点使用以下命令启动 GPFS 守护进程和集群。

[root@gpfsnode1 ~]# /usr/lpp/mmfs/bin/mmstartup -N Nodename

4.5 创建NSD

  创建要与mmcrnsd命令一起使用的 NSD 配置文件。
  配置文件内容如下,放在任意位置即可。
%nsd:device=/dev/sdb nsd=data01 servers=gpfsnode1 usage=dataAndMetadata failureGroup=-1 pool=system
%nsd:device=/dev/sdb nsd=data02 servers=gpfsnode2 usage=dataAndMetadata failureGroup=-1 pool=system
  参数说明:
    nsd (网络共享磁盘)表示网络共享磁盘的名称
    device 表示真正的设备
    servers 表示节点
    usage 表示用途,metadataOnly(用于存放元数据)
    failureGroup 失败组
    pool 存储池
  注意: NSD 配置文件中使用的服务器名称必须可由系统解析。
  

  使用以下命令创建 NSD:
[root@gpfsnode1 ~]# mmcrnsd -F /gpfsfile/NSDfile

  查看nsd:

[root@gpfsnode1 ~]# mmlsnsd -m
  启动集群:

[root@gpfsnode1 ~]# mmstartup -a
  查看集群状态:

[root@gpfsnode1 ~]# mmgetstate -Las

4.6 创建gpfs文件系统

  使用以下命令创建 GPFS 文件系统。
[root@gpfsnode1 ~]# mmcrfs gpfs -F /tmp/mmfs/nsdfile -A yes -B 1M -j hcluster -m 2 -r 2 -M 3 -R 3 -T /gpfs --metadata-block-size 256K
  官方给出的命令如下(一般用这个创建):

[root@gpfsnode1 ~]# mmcrfs gpfs -F /tmp/mmfs/nsdfile -k nfs4
  参数说明:
    gpfs:表示文件系统的名称
    -F:指定NSD配置文件
    -A:当系统守护进程启动时该项设置为yes
    -B:指定数据块的大小,其值必须是16k,64k,128k,256k,512k,1M,2M,4M,8M,16M.
    -j:指定映射类型
    -m:元数据副本数的默认值
    -M:元数据副本数的最大值
    -r:数据副本数的默认值
    -R:数据副本数的最大值
    -T:挂载点
    --metadata-block-size:元数据节点块的大小

4.7 挂载文件系统

  使用如下命令挂载gpfs文件系统,挂载成功后使用df命令可以查询到。

[root@gpfsnode1 ~]# mmmount gpfs /gpfs -N all

  查询挂载是否成功,看见文件系统为gpfs的表示挂载成功。

[root@gpfsnode1 ~]# df -hT
文件系统              类型      容量  已用  可用 已用% 挂载点
/dev/mapper/rhel-root xfs        92G   14G   78G   15% /
devtmpfs              devtmpfs  1.9G     0  1.9G    0% /dev
tmpfs                 tmpfs     1.9G     0  1.9G    0% /dev/shm
tmpfs                 tmpfs     1.9G  9.0M  1.9G    1% /run
tmpfs                 tmpfs     1.9G     0  1.9G    0% /sys/fs/cgroup
/dev/sda1             xfs      1014M  143M  872M   15% /boot
tmpfs                 tmpfs     378M     0  378M    0% /run/user/0
gpfs                  gpfs      600G  6.7G  594G    2% /gpfs
  查询文件系统

[root@gpfsnode1 ~]# mmgetstate -Las

 Node number  Node name       Quorum  Nodes up  Total nodes  GPFS state   Remarks    
-------------------------------------------------------------------------------------
       1      gpfsnode1          2        2          3       active       quorum node
       2      gpfsnode2          2        2          3       active       quorum node
       3      gpfsclient         2        2          3       active       

 Summary information 
---------------------
Number of nodes defined in the cluster:            3
Number of local nodes active in the cluster:       3
Number of remote nodes joined in this cluster:     0
Number of quorum nodes defined in the cluster:     2
Number of quorum nodes active in the cluster:      2
Quorum = 2, Quorum achieved

4.8 创建文件集

[root@gpfsnode1 ~]# mmcrfileset gpfs sqdb
[root@gpfsnode1 ~]# mmlinkfileset gpfs sqdb -J /gpfs/sqdbfolder
[root@gpfsnode1 ~]# mmlsfileset gpfs

4.9 其他操作

查看节点
# mmlsnode

查看集群
# mmlscluster -Lsa

增加节点(如下为增加服务端,也可以修改server的参数后增加客户端)
# mmaddnode -N gpfs04:quorum
# mmchlicense server --accept -N gpfs04

关闭所有节点
# mmshutdown -a
# mmshutdown -N nodename

查看配置
# mmlsconfig all

修改配置
# mmchconfig

使用以下命令卸载 GPFS 文件系统并停止所有节点上的 GPFS。
# mmshutdown -a

卸载gpfs分区
# mmumount gpfs

使用以下命令在可用文件系统之一上配置 CES 共享根文件系统。
# mmchconfig cesSharedRoot=/gpfs/fs0

使用以下命令在集群中的所有节点上启动 GPFS。
# mmstartup -a
# mmstartup -N nodename

使用以下命令在所需节点上启用 CES。
# mmchnode --ces-enable -N prnode1,prnode2,prnode3

使用以下命令将协议节点的 IP 地址添加到 CES。
# mmces address add --ces-ip 198.51.100.2
# mmces address add --node prnode1 --ces-ip 198.51.100.2

使用以下命令验证 CES 配置。
# mmlscluster --ces
# mmces address list
更改自动挂载点
  官方解释:
    每个 GPFS 文件系统都有一个与之关联的默认挂载点。可以使用mmcrfsmmchfs命令的-T选项指定和更改此挂载点。
  如果您在创建文件系统时没有指定挂载点,GPFS 会将默认挂载点设置为/gpfs/ DeviceName

mmcrfs -T 
mmchfs -T
  具体使用方式和其他命令使用方式可以参考官方网址:https://www.ibm.com/docs/en/spectrum-scale/5.0.3?topic=reference-mmchfs-command
 

五、添加GPFS 客户端操作

   通过上述操作,已经将GPFS群集搭建完成,并且已经生成文件系统和共享磁盘供客户端调用。之前已经介绍过GPFS是C/S结构的,为了让OpenStack中的nova、glance和cinder可以使用共享磁盘,本章将通过在OpenStack中安装GPFS客户端的方式,将共享磁盘挂载到云环境中的计算节点、镜像节点以及块存储节点。

 5.1 安装GPFS软件

  安装软件可以参考文章开头的操作过程,GPFS服务器端的安装和客户端的安装没有任何区别,软件的依赖关系也是一样的。

 5.2 修改Host文件

  在客户端修改/etc/hosts,加入GPFS的三台服务器,同时确保所有服务器和客户端可以免密码登陆,具体设置方法可以参考本章GPFS安装与配置。

 5.3 创建客户端Nodefile

  前面已经介绍,GPFS的客户端和服务器的区别主要是靠配置文件中的角色定义所决定。为了批量安装和配置好客户端,本项目将采用Nodefile方式对客户端进行单独安装。编辑addnodefile文件:
gpfsclient:client

5.4 添加客户端节点

  在GPFS集群的任意节点上执行mmaddnode命令,将客户端节点加入到现有集群中,-N指定前面创建addnodefile文件。

[root@gpfsclient ~]# mmaddnonde -N addnodefile
  同样,安装完成后,需要通过mmchlicense命令同意客户端的许可,并通过mmstartup启动客户端服务,通过mmgetstate命令查看群集状态:

[root@gpfsclient ~]# mmchlicense client --accept -N gpfsclient
[root@gpfsclient ~]# mmstartup -N gpfsclient
[root@gpfsclient ~]# mmmount gpfs /gpfs -N gpfsclient

  节点服务启动后,GPFS文件系统会自动挂载,可以通过df -h命令查看。

5.5  其他操作

重新挂载
  如果需要对gpfs文件重新挂载,那么先使用mmumount gpfs卸载后,重新执行mmmount 进行挂载。

[root@gpfsclient ~]# mmumount gpfs
[root@gpfsclient ~]# mmmount gpfs /gpfs -N ${CLIENT_NODE_NAME}
关于环境重启后恢复环境的操作:
  如果需要重新启动环境,需要执行如下步骤才能恢复环境到正常情况
  1.重启Server端的服务。

[root@gpfnode1 ~]# mmstartup -a 

  2.挂载Server端的gpfs目录。

[root@gpfnode1 ~]# mmmount gpfs /gpfs -N all
  3.重启Client端的服务,如果gpfs自动挂载的路径不对,需要手动卸载gpfs的目录重新挂载。

[root@gpfsclient ~]# mmstartup -N gpfsclient
卸载:mmumount gpfs
[root@gpfsclient ~]# mmmount gpfs /gpfs -N gpfsclient

结束语

  通过在 Redhat 上实现GPFS群集的部署与在云计算方面的应用,可以更多的了解其优秀的特性,提高存储性能及云计算的灵活性、扩展性。同时通过本文,可以让读者对GPFS有一个直观的了解和认识,不仅在Linux平台,在AIX和Windows平台上,GPFS也有不俗的表现。
 
  gpfs 高级配置、升级等其他操作请查看官网手册
  gpfs相关命令使用方式查询链接
  https://www.ibm.com/docs/en/spectrum-scale/5.0.3?topic=command-reference

 

搭建步骤到此结束

如果有什么建议或者不明白的地方,欢迎留言或者私信我,看见第一时间回复。

本篇文档中存在的已知问题欢迎各路大牛指出。

 

原文链接:https://www.cnblogs.com/despotic/p/17304002.html

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:GPFS 文件系统部署步骤 - Python技术站

(0)
上一篇 2023年4月17日
下一篇 2023年4月17日

相关文章

  • Centos 6.4 安装Python 2.7 python-pip的详细步骤

    下面是”Centos6.4安装Python2.7python-pip的详细步骤”: 确认CentOS版本 首先,确认系统版本, CentOS系统的版本可以使用命令cat /etc/redhat-release查看。 命令执行后,如果显示CentOS的版本信息,则说明确认版本成功。 [root@localhost ~]# cat /etc/redhat-rel…

    Linux 2023年5月14日
    00
  • linux 源码安装完php后在目录下找不到php.ini的问题

    首先,我们需要确定php版本的php.ini文件需要放在个目录下 我们先执行以下命令查看php的php.ini目录应该放在那个地方 php -i |grep php.ini 效果如下,现在我们确定好了要放的目录 [root@localhost php-7.3.5]# php -i |grep php.ini Configuration File (php.i…

    Linux 2023年4月12日
    00
  • linux gtest从零开始

    0)gtest是什么gtest是一个跨平台的C++测试框架,google作品。它支持自动发现测试,断言集,用户定义的断言,death测试,致命与非致命的失败,类型参数化测试,各类运行测试的选项和XML的测试报告。 (1)下载gtest地址:http://code.google.com/p/googletest/downloads/list笔者下载的版本是1.…

    Linux 2023年4月11日
    00
  • 在Linux设置完共享文件夹后无法显示Windows里的文件

    设置共享的方法:https://www.cnblogs.com/WLCYSYS/p/11965488.html     环境 宿主机:MacBook Pro 虚拟机:vmware 15 虚拟机操作系统:rehl8 解决方法 1、内核4.0以前的共享方法: mount -t vmhgfs .host:/ /mnt/hgfs 2、内核4.0之后的共享方法 vmh…

    Linux 2023年4月12日
    00
  • Linux badblocks命令

    Linux badblocks命令 Linux badblocks命令用于检测磁盘坏道,可以扫描磁盘并标记出坏道。使用badblocks命令可以帮助您检测磁盘的健康状况,以便及时备份数据或更换盘。 命令语法 badblocks命令的基本语法如下: “badblocks [选项] [设备] 其中,选项表示命令选项,设备表示要检测的磁盘设备。 ## 命令项 b…

    Linux 2023年5月10日
    00
  • [linux] shell脚本编程-ubuntu创建vsftpd服务

     1.  useradd -s /bin/bash -m 用户名 ,  创建用户,自动创建家目录 , 设置登录shell  2.  echo 用户名:密码 | chpasswd ,非交互式设置密码  3. echo -e “userlist_deny=NO\nuserlist_enable=YES\nuserlist_file=/etc/allowed_us…

    Linux 2023年4月13日
    00
  • Linux xlsfonts命令

    Linux xlsfonts 命令的作用与使用方法 Linux xlsfonts 命令用于列出 X 服务器上可用的字体。它可以帮助用户查找和选择适合自己需求的字体。xls 命令通常用于在 X 窗口系统中设置字体。 Linux xlsfonts 命令使用方法 xlsfonts 命令的基本语法如下: xlsfonts [选项] [模式] 其中,选项是可选的。模式…

    Linux 2023年5月10日
    00
  • linux-centos7 安装 jenkins 并 简答配置

    1,安装 点击进入下载页面 2,选择自己的版本,点击进入安装界面 3,依次执行安装界面提供的命令进行安装,可能会有点慢,耐心等待 yum -y install wget wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat/jenkins.repo rpm –import h…

    Linux 2023年4月12日
    00
合作推广
合作推广
分享本页
返回顶部