вторник, 27 августа 2013 г.

Oracle RAC на Solaris 11.1 sparc в два LDOM на одном сервере

Ставить будем RAC 11g на Solaris 11.1 sparc. Машина для тестов T5220. Одна. Будем поднимать два домена на одном сервере. Дисковые ресурсы будут на базе ASM сделаны для СУБД, а значит будем передавать с СХД на Primary LDOM, на нем же настроим MPxIO, и уже эти ресурсы отдадим как общие в гостевые LDOMs.

Ставим Solaris 11.1 на сервер. Далее настраиваем домены как в статье .
Ресурсы делим как можно + как нужно. У меня на стенде было 32 ГБ памяти. Я отдал 10ГБ Primary (zfs будет кэшировать LDOM-тома корень/swap/u), и по 12 ГБ доменам. Но это не важно - как нужно так и делите. Мой случай это просто тестовый стенд.
Сделаем два Network vSwitch. Один публичный а второй для интерконнекта. Мне потребовалось два интерфейса в публичную сеть и по одному интерфейсу в интерконнект.
Сеть настраиваем как в статье.

Диски с СХД отдаем primary, включаем MPxIO. Слайсы нарезаем по одному (нулевой) начиная с 1-го цилиндра обязательно. Отдаем именно слайс s0 в домены.
Тут есть хитрость (или дурость) но другого пути найти не смог. Нельзя отдать один и тот же диск в два LDOM (только если в режиме RO а нам надо в RW). Потому я сделал каталог /etc/asm, и в него сделал символьные линки с устройств s0:raw каждое устройство дважды. Например OCR1 у меня был слинкован дважды как ocr1-1 и ocr1-2. После чего уже добавлял ресурсы в primary-vsw0 и оттуда в домены. Иначе нельзя, ldm не даст этого сделать. Вот что вышло в итоге:
#ldm ls-bindings primary

VSW
    NAME             MAC               NET-DEV   ID   DEVICE     LINKPROP   DEFAULT-VLAN-ID PVID VID                  MTU   MODE   INTER-VNET-LINK
    primary-vsw0     00:14:4f:fa:a4:df net0      0    switch@0              1               1                         1500         on
        PEER                        MAC               PVID VID                  MTU   LINKPROP   INTERVNETLINK
        vnet1@node1                 00:14:4f:fb:25:76 1                         1500
        vnet1@node2                 00:14:4f:f8:5e:53 1                         1500
        vnet3@node1                 00:14:4f:fb:fd:91 1                         1500
        vnet3@node2                 00:14:4f:f9:24:31 1                         1500
    NAME             MAC               NET-DEV   ID   DEVICE     LINKPROP   DEFAULT-VLAN-ID PVID VID                  MTU   MODE   INTER-VNET-LINK
    primary-vsw1     00:14:4f:f9:72:5d           1    switch@1              1               1                         1500         on
        PEER                        MAC               PVID VID                  MTU   LINKPROP   INTERVNETLINK
        vnet2@node1                 00:14:4f:fb:7a:8a 1                         1500
        vnet2@node2                 00:14:4f:fb:d7:01 1                         1500


VDS
    NAME             VOLUME         OPTIONS          MPGROUP        DEVICE
    primary-vds0     node1-boot                                     /dev/zvol/dsk/pub/node1boot
                     node1-swap                                     /dev/zvol/dsk/pub/node1swap
                     node1-u                                        /dev/zvol/dsk/pub/node1u
                     node2-boot                                     /dev/zvol/dsk/pub/node2boot
                     node2-swap                                     /dev/zvol/dsk/pub/node2swap
                     node2-u                                        /dev/zvol/dsk/pub/node2u
                     dvd-iso                                        /pub/distr/sol-11_1-text-sparc.iso
                     ocr1-1                                         /etc/asm/ocr1-1
                     ocr1-2                                         /etc/asm/ocr1-2
                     ocr2-1                                         /etc/asm/ocr2-1
                     ocr2-2                                         /etc/asm/ocr2-2
                     ocr3-1                                         /etc/asm/ocr3-1
                     ocr3-2                                         /etc/asm/ocr3-2
                     data1-1                                        /etc/asm/data1-1
                     data1-2                                        /etc/asm/data1-2
                     backup1-1                                      /etc/asm/backup1-1
                     backup1-2                                      /etc/asm/backup1-2
                     arc1-1                                         /etc/asm/arc1-1
                     arc1-2                                         /etc/asm/arc1-2
CLIENT                      VOLUME
        bootdsk@node1               node1-boot
        swapdsk@node1               node1-swap
        udsk@node1                  node1-u
        bootdsk@node2               node2-boot
        swapdsk@node2               node2-swap
        udsk@node2                  node2-u
        ocr1@node1                  ocr1-1
        ocr1@node2                  ocr1-2
        ocr2@node1                  ocr2-1
        ocr2@node2                  ocr2-2
        ocr3@node1                  ocr3-1
        ocr3@node2                  ocr3-2
        data1@node1                 data1-1
        data1@node2                 data1-2
        backup1-1@node1             backup1-1
        backup1-2@node2             backup1-2
        arc1-1@node1                arc1-1
        arc1-2@node2                arc1-2

Но как бы не старался, пречеки выдали ошибки на диски Я проверил, что диски точно те что я отдал обоим доменам:
#echo "test test" >/tmp/qq
node1# dd if=/tmp/qq of=/etc/asm/ocr1 count=1
node2# dd if=/etc/asm/ocr1 of=/tmp/qq count=1
в файле на node2 должен быть файлик qq с содержимым test test.
Ошибку игнорим.

NTP:
svccfg -s svc:/network/ntp:default setprop config/slew_always = true
svcadm refresh ntpsvcadm restart ntp

У меня пречек попрежнему ругался на slewingalways true & disable pll. Поставил я эти опции в /etc/inet/ntp.conf и перезапустил ntpd, он сругался на эти строки потому что их нет в этой версии ntp. Зато пречек на ура прошел :(

А вот победить DNS я так и не смог. 
Checking DNS response time for an unreachable node
  Node Name                             Status
  ------------------------------------  ------------------------
  node2                                failed
  node1                                failed
PRVF-5636 : The DNS response time for an unreachable node exceeded "15000" ms on

 following nodes: node2





Комментариев нет: