概述
今天主要记录一下最近对ASM扩容的整体过程。
整体思路如下：
确定磁盘/dev/sdx--->获得wwid-->配置multipath.conf，指定别名-->编辑udev,关联前面的别名-->重启多路径和udev-->ASM扩容-->rebalance
环境：
1、操作系统版本 redhat 6.6
# more /etc/redhat-release
2、数据库版本 oracle 11g rac
SQL> select * from v$version;
3、在节点1，2上查看所有系统磁盘
# fdisk -l | grep sd # lsblk
4、查看asm磁盘
# oracleasm listdisks
没有相关信息，因为是采用多路径配置的，所以这里就看不到了
5、节点1上用grid用户登录，查看当前ASM磁盘组
#su - grid $sqlplus / as sysasm SQL> select group_number,name,TOTAL_MB, FREE_MB from v$asm_diskgroup;
6、查看多路径磁盘信息
1）多路径的磁盘名称和对应的ID
2）配置文件
为什么在/etc/multipath.conf只有两个但实际上是5个呢?这里实际上前面有介绍了，如果在/etc/multipath.conf设置了别名，就以这个为主，如果没有就要看/etc/multipath/bindings这个文件了。至于为什么只搞了2个那就要问前辈们之前怎么想了...
7、磁盘多路径配置（很重要，五个星）
7.1、获取磁盘wwid
/lib/udev/scsi_id -g -u -d /dev/sdf /lib/udev/scsi_id -g -u -d /dev/sdg
7.2、确认配置信息
multipath -ll
这里一定要两边的wwid一致，识别的也只是这个！
7.3、保留现有的多路径配置
#/sbin/multipath -ll >/tmp/out
7.4、添加配置信息
# cp multipath.conf multipath.conf_bak0908
#vi multipath.conf
---添加如下信息：
multipath {
wwid 36005076802808584a00000000000001c
alias mpathi
}
不过为了统一，我最后只选择在/etc/multipath/bindings修改
7.5、生效命名配置信息
关键点：
1.使用multipathd工具在线生效
2.udev中的权限配置需要正确，否则会在刷新是产生权限问题，导致掉盘
---进入命令行界面 # multipathd -k --->注意是multipathd，有d的 ----刷新配置 multipathd> reconfigure ---验证配置信息 multipathd> show config multipathd> exit
注意这里的权限是不正确的。
7.6、使用udev修改multipath下的文件属性(两个节点)
vi /etc/udev/rules.d/12-dm-permissions.rules
---添加如下信息：
ENV{DM_NAME}=="mpathi", OWNER:="grid", GROUP:="asmadmin", MODE:="0660", SYMLINK+="iscsi/oraasm-$env{DM_NAME}"
为什么改的是12-dm-permissions.rules这个文件，还是一句话，跟前辈们保持一致吧...
7.7、使配置生效（两节点依次执行，注意不要同时执行）
---多路径生效 # service multipathd restart ---权限生效 # start_udev
7.8、验证结果
--验证权限（两节点依次验证，注意是grid权限） $ ls -l /dev/dm-* --验证命名结果（两节点依次验证） $ ls -l /dev/mapper/*
8、用grid在节点1执行，查看ASM磁盘，确定PATH
正常重启udev后就可以在ASM看到记录了，所以不需要跟网上一样搞一个oracleasm create dis...之类的东西。
$ sqlplus / as sysasm col name for a20 col path for a30 col MODE_ST for a20 col STATE for a20 set line 1000 pagesize 1000 select GROUP_NUMBER, NAME, STATE, TOTAL_MB, FREE_MB, USABLE_FILE_MB from v$asm_diskgroup; select name, path, mode_status, state, disk_number,failgroup from v$asm_disk;
可以看到两个节点看到的信息是不一样的，不过这个不影响，只要wwid一致就行了。
9、调整asm_power_limit（grid用户）
如果在生产环境，磁盘组添加磁盘需要很长的平衡时间，所以，我们先查询asm_power_limit的值，并调整为10；
$sqlplus / as sysasm show parameter asm_power_limit; alter system set asm_power_limit=10 scope=both; show parameter asm_power_limit;
10、ASM扩容
10.1.asmca图形界面扩容
这里当然可以命令扩容，但是可以图形化的话优先图形化吧，毕竟曾有人用命令搞出问题出来，所以图形界面还是最安全的，毕竟我们不搞事情。
右键加盘
因为在第一个节点上加的，所以可以看到是/dev/dm-10
很快就添加好了，但是事情还没完..
可以发现750G变成1050G了。
注意查看是否添加完成
$ sqlplus / as sysasm SQL> select name,path from v$asm_disk;
10.2.将数据进行冗余（耗时30分钟）
--将当前的diskgroup组的rebalance速度修改为10： $ sqlplus / as sysasm SQL> alter diskgroup RFDATA rebalance power 10;
注意观察告警日志和观察查看当前reblance 时间，正常500G 需要1小时左右
$ sqlplus / as sysasm SQL> select * from v$asm_operation;
当查询v$asm_operation时无数据输出时，意味着ASM的reblance动作结束
10.3.修改reblance 参数为默认
$ sqlplus / as sysasm SQL> ALTER DISKGROUP RFDATA REBALANCE POWER 1; SQL> alter system set asm_power_limit=1 scope=both;
11、在节点1,2上分别查询RFDATA磁盘组容量，以下结果
SQL> SELECT NAME,FREE_MB,TOTAL_MB FROM V$ASM_DISKGROUP;
RFDATA磁盘组已经成功完成扩容.
最后一定要注意检查数据库监听、实例状态、ASM监听、ASM实例状态。（我就是败在这最后一步的）
以上就是在centos6做ASM扩容的过程，下周应该会对AIX系统的也做一个扩容，到时再整理一下吧。后面会分享更多devops和DBA方面的内容，感兴趣的朋友可以关注一下~