Adic磁盘共享软件安装配置

Stor next是adic公司的一个提供磁盘共享的软件，其功能可以简单描述为：将多个lun捆绑成一个逻辑卷、同一个磁盘可供多个主机同时读写。

BGP长庆分院的系统架构：

系统说明：

1、ds4800共做18个raid5和一个raid 0+1，其中Raid5各分成两个大小等同的片（每个片750G）,Raid0+1一个分成6个片每个45G作为stor next的matedata分区。

2、两台sun v250服务器组成的双机，作为stor next安装平台，控制stor next并写matedata表头记录。注：sun v250双机是通过串口控制命令实现对串口连接电源的开关控制，即一方出现问题则会被另一台服务器通过串口切断问题主机的电源实现双机切换。在处理好问题机后修改工作机的串口控制文件使其不工作。然后启动问题机）

3、在12个io服务器中每个服务器都可以看到42个lun其中36个每个750G，6个45G。通过stor next 将42个lun做成6个大的逻辑盘，4个2.7T，2个7.5T。

4、再通过NFS mount 到计算集群，某几个326共享一个大的逻辑卷，每一台对其mount的逻辑盘都有独立控制权，能读能写。

以下假设每个io节点都已经能够认到42个lun，并且stor next控制平台能够ping通每一个io节点，单独说stor next 安装配置：

1、 在linux下安装就是标准的rpm包，在solaris下则是sun的标准安装包，通过pkgadd –d就可实现安装，安装完成后安装目录：/usr/cvfs，软件的自动启动目录：/etc/init.d/cvfs.stor next 配置文件在/usr/cvfs/config/.（注我们给每个磁盘label名称叫做test.cfg）

2、 Stor next 就是通过/usr/cvfs/config/下的配置文件实现共享文件系统的，一个文件系统需要一个以.cfg命名的文件。

3、 每个io节点都能看到42个lun，应用/usr/cvfs/bin/cvlabel –l察看，并给每个lun一个label名称，具体命令实现：

#/usr/cvfs/bin/cvlabel –l>> /usr/cvfs/config/labelconfig $将察看到的lun磁盘输出到一个文件。

#cd /usr/cvfs/config

#/usr/cvfs/bin/cvlabel –c label?????????? $按照labelconfig文件给lun卷标。一定要小心区分本地盘和存储盘。

#/usr/cvfs/bin/cvlabel –l?????????????????? $已经个每一个lun命名，察看卷标此时就可以看到被命名后的磁盘了。

4、 修改vi /usr/cvfs/config/test1.cfg。在/usr/cvfs/example/example.cfg,可以根据这个文件更改，并拷贝到/usr/cvfs/config/下。

5、 就可以做文件系统了/usr/cvfs/bin/cvmkfs /usr/cvfs/config/test1.cfg，这个过程很快，其实就是在每个磁盘的头部做标识。到这一步逻辑卷文件系统已经建立。

6、 启动文件系统：

# cvadmin???????????????????? 此命令是一个交互式的命令，

〉start test1??????????????? 启动test1文件系统，

〉select ??????????????????????????? 察看已经加载的文件系统，这时在io节点中已经可以mount该文件系统了。

7、 要在io节点中看到逻辑卷就需要安装客户端，解压安装光盘中cvfsdist.Linux30AS_24x86_64.tar文件。进入解压后目录。执行rpm –ivh snfs-client_RH_AS_3_2421-2.6.1-22.x86_64.rpm。程序默认安装在/usr/cvfs/目录下。然后就可以mount逻辑卷了。具体步骤如下：

1〉生成一个/usr/cvfs/config/fsnameservers文件，启动服务。

/etc/init.d/cvfs start

修改/usr/cvfs/config/fsnameservers文件，内容格式为

文件系统主服务器地址

文件系统辅服务器地址

2〉创建挂载点目录。

mkdir /stg1

chmod 755 /stg1

手工加载文件系统。

Linux平台：

mount? –t? cvfs? 文件系统名称? 挂载点

Solaris平台：

mount? –F? cvfs? 文件系统名称? 挂载点

自动加载文件系统。

Linux平台：

修改/etc/fstab文件，格式为

stg1 ????? /stg1????? cvfs ?defaults ??? 0 0

Solaris平台：

修改/etc/vfstab文件，格式为

stg1 ????? -???? /stg1????? cvfs ?-??????? yes ?????? rw

配置fail over服务器，双机部分的实现：a）编辑服务器B上的/usr/cvfs/config/cvfail脚本，使之可以控制服务器A的电源控制器。

b）编辑服务器A上的/usr/cvfs/config/cvfail脚本，使之可以控制服务器B的电源控制器

c）修改两台服务器的fsmlist文件，在主服务器上stg1 后面的值是0，备份服务器的值为1，这样在服务启动时区分主从。

?

8、 生成d）修改两台服务器的/usr/cvfs/config/fsnameservers文件。修改/usr/cvfs/config/fsnameservers文件，内容格式为：

文件系统主服务器地址

文件系统辅服务器地址

这个文件主要是sun fail over应用，既一个主服务器一个从服务器。

?

注：——〉1、此次在文件系统速度测试中应用iozone软件实现，再运行后软件就会自动生成测试结果文件并存储在制定目录下，具体文件如下：#!/bin/sh

?

echo "Start Iozone testing"

echo "Filesize is 1g"??????????????????? # 文件大小为1G

#################################

# Test 1g?? ????????????????????#

#################################

cd $1

HN=`hostname`

OUT_FILE=/stg1/perf.test.stg1.1g.out_$HN????? #把测试结果输出到/stg1/目录下

?

echo "Remove outout file"

rm -f $OUT_FILE

?

for NUM in 1

do

?? for REC in 64 128 256 512 1024 2048 4096

?? do

?????? echo "Start $NUM processes with $REC KB Record"

?????? /usr/cvfs/bin/iozone -f /stg1/1gtest_$HN -ce -i0 -i1 -r $REC -s 1g -+n -C -t $NUM >> $OUT_FILE

?? done

done

也可以把以上shell修改多个文件大小放在一个文件中，执行！！。执行完成后就会在/stg1目录下生成相关测试文件。

注——〉2、***.cfg文件中的块大小和速度有很大关系，通常设置为Raid组硬盘数*Raid条带值。或者酌情调整（长庆的ds4800硬件条带64K，按照上面的方法软件条带值应该为：11*64=704K；但应用于软件条带4M时速度{zj0}。）

注——〉3、以上操作都在sun v250 stor next 控制平台上。

注——〉4、关于/usr/cvfs/config/***.cfg配置文件没有详细说明，但./example/example.cfg有相当详细的说明

?