Показаны сообщения с ярлыком ldom. Показать все сообщения
Показаны сообщения с ярлыком ldom. Показать все сообщения

среда, 6 ноября 2013 г.

RAC 11.2.03 в два LDOM под Solaris 11.1.

Есть сервер T5220. Ставим Solaris 11.1 + SRU12. Это важно, что бы был SRU12 или SRU8. При других вариантах не сможете сделать ASM группы. Кстати, можно сразу скачать ISO с Solaris 11.1+SRU12 на сайте оракла.
Пошагово нечего расписывать - ставим солярис, конфигурим сеть, делаем два домена. Ставим в них солярис 11.1+SRU12. В основном домене делаем сервер пакетов, с которого потом можно ставить пакеты на доменах и обновлять ОС в дальнейшем. Обо всем этом есть отдельные статьи в этом же блоге.
На что обратить внимание - это опишу ниже.

  • Swap нужно сделать сообразно требований инсталятора оракла. 
  • Настроить работы DNS. Resolv.conf править руками НЕ надо. Как надо - в статье в этом блоге есть.
  • NTP обязательно настроить и запустить. Для того что бы оракловый инсталятор не ругался, после запуска ntp, в конфиг /etc/inet/ntp.conf дописать две опции disable pll и slewalways yes
  • Доставить пакеты: xauth, xclock, motif, compatibility/packages/SUNWxwplr, developer/assembler, gcc-3
Общие диски передавать в два ldom можно используя опцию -f:
#ldm add-vdsdev /dev/rdsk/c5t0d0s2 ocr1-1@primary-vds0
#ldm add-vdsdev -f /dev/rdsk/c5t0d0s2 ocr1-2@primary-vds0

ОБЯЗАТЕЛЬНО форматировать общие диски начиная с цилиндра хотя бы 1 (главное не с нуля)


вторник, 22 октября 2013 г.

LDOM. Заметки по работе.

1. Создать бэкап зон для последующего восстановления можно разными способами. Самый известный такой (сделать бэкап всех зон сразу в один файл):
#ldm ls-constraints -x >config.xml
восстановить потом так:
#ldm init-system -i config.xml

2. Вынести LDOM с сервера и сделать единой машиной:
#ldm set-config factory-default
#poweroff
sc>stop /SYS
sc>start /SYS
ну и удалить пакеты если надо совсем вынести.

3. Смотреть ресурсы как занятые так и свободные:
#ldm ls-devices -a


вторник, 27 августа 2013 г.

Oracle RAC на Solaris 11.1 sparc в два LDOM на одном сервере

Ставить будем RAC 11g на Solaris 11.1 sparc. Машина для тестов T5220. Одна. Будем поднимать два домена на одном сервере. Дисковые ресурсы будут на базе ASM сделаны для СУБД, а значит будем передавать с СХД на Primary LDOM, на нем же настроим MPxIO, и уже эти ресурсы отдадим как общие в гостевые LDOMs.

Ставим Solaris 11.1 на сервер. Далее настраиваем домены как в статье .
Ресурсы делим как можно + как нужно. У меня на стенде было 32 ГБ памяти. Я отдал 10ГБ Primary (zfs будет кэшировать LDOM-тома корень/swap/u), и по 12 ГБ доменам. Но это не важно - как нужно так и делите. Мой случай это просто тестовый стенд.
Сделаем два Network vSwitch. Один публичный а второй для интерконнекта. Мне потребовалось два интерфейса в публичную сеть и по одному интерфейсу в интерконнект.
Сеть настраиваем как в статье.

Диски с СХД отдаем primary, включаем MPxIO. Слайсы нарезаем по одному (нулевой) начиная с 1-го цилиндра обязательно. Отдаем именно слайс s0 в домены.
Тут есть хитрость (или дурость) но другого пути найти не смог. Нельзя отдать один и тот же диск в два LDOM (только если в режиме RO а нам надо в RW). Потому я сделал каталог /etc/asm, и в него сделал символьные линки с устройств s0:raw каждое устройство дважды. Например OCR1 у меня был слинкован дважды как ocr1-1 и ocr1-2. После чего уже добавлял ресурсы в primary-vsw0 и оттуда в домены. Иначе нельзя, ldm не даст этого сделать. Вот что вышло в итоге:
#ldm ls-bindings primary

VSW
    NAME             MAC               NET-DEV   ID   DEVICE     LINKPROP   DEFAULT-VLAN-ID PVID VID                  MTU   MODE   INTER-VNET-LINK
    primary-vsw0     00:14:4f:fa:a4:df net0      0    switch@0              1               1                         1500         on
        PEER                        MAC               PVID VID                  MTU   LINKPROP   INTERVNETLINK
        vnet1@node1                 00:14:4f:fb:25:76 1                         1500
        vnet1@node2                 00:14:4f:f8:5e:53 1                         1500
        vnet3@node1                 00:14:4f:fb:fd:91 1                         1500
        vnet3@node2                 00:14:4f:f9:24:31 1                         1500
    NAME             MAC               NET-DEV   ID   DEVICE     LINKPROP   DEFAULT-VLAN-ID PVID VID                  MTU   MODE   INTER-VNET-LINK
    primary-vsw1     00:14:4f:f9:72:5d           1    switch@1              1               1                         1500         on
        PEER                        MAC               PVID VID                  MTU   LINKPROP   INTERVNETLINK
        vnet2@node1                 00:14:4f:fb:7a:8a 1                         1500
        vnet2@node2                 00:14:4f:fb:d7:01 1                         1500


VDS
    NAME             VOLUME         OPTIONS          MPGROUP        DEVICE
    primary-vds0     node1-boot                                     /dev/zvol/dsk/pub/node1boot
                     node1-swap                                     /dev/zvol/dsk/pub/node1swap
                     node1-u                                        /dev/zvol/dsk/pub/node1u
                     node2-boot                                     /dev/zvol/dsk/pub/node2boot
                     node2-swap                                     /dev/zvol/dsk/pub/node2swap
                     node2-u                                        /dev/zvol/dsk/pub/node2u
                     dvd-iso                                        /pub/distr/sol-11_1-text-sparc.iso
                     ocr1-1                                         /etc/asm/ocr1-1
                     ocr1-2                                         /etc/asm/ocr1-2
                     ocr2-1                                         /etc/asm/ocr2-1
                     ocr2-2                                         /etc/asm/ocr2-2
                     ocr3-1                                         /etc/asm/ocr3-1
                     ocr3-2                                         /etc/asm/ocr3-2
                     data1-1                                        /etc/asm/data1-1
                     data1-2                                        /etc/asm/data1-2
                     backup1-1                                      /etc/asm/backup1-1
                     backup1-2                                      /etc/asm/backup1-2
                     arc1-1                                         /etc/asm/arc1-1
                     arc1-2                                         /etc/asm/arc1-2
CLIENT                      VOLUME
        bootdsk@node1               node1-boot
        swapdsk@node1               node1-swap
        udsk@node1                  node1-u
        bootdsk@node2               node2-boot
        swapdsk@node2               node2-swap
        udsk@node2                  node2-u
        ocr1@node1                  ocr1-1
        ocr1@node2                  ocr1-2
        ocr2@node1                  ocr2-1
        ocr2@node2                  ocr2-2
        ocr3@node1                  ocr3-1
        ocr3@node2                  ocr3-2
        data1@node1                 data1-1
        data1@node2                 data1-2
        backup1-1@node1             backup1-1
        backup1-2@node2             backup1-2
        arc1-1@node1                arc1-1
        arc1-2@node2                arc1-2

Но как бы не старался, пречеки выдали ошибки на диски Я проверил, что диски точно те что я отдал обоим доменам:
#echo "test test" >/tmp/qq
node1# dd if=/tmp/qq of=/etc/asm/ocr1 count=1
node2# dd if=/etc/asm/ocr1 of=/tmp/qq count=1
в файле на node2 должен быть файлик qq с содержимым test test.
Ошибку игнорим.

NTP:
svccfg -s svc:/network/ntp:default setprop config/slew_always = true
svcadm refresh ntpsvcadm restart ntp

У меня пречек попрежнему ругался на slewingalways true & disable pll. Поставил я эти опции в /etc/inet/ntp.conf и перезапустил ntpd, он сругался на эти строки потому что их нет в этой версии ntp. Зато пречек на ура прошел :(

А вот победить DNS я так и не смог. 
Checking DNS response time for an unreachable node
  Node Name                             Status
  ------------------------------------  ------------------------
  node2                                failed
  node1                                failed
PRVF-5636 : The DNS response time for an unreachable node exceeded "15000" ms on

 following nodes: node2





вторник, 4 декабря 2012 г.

LDOM whole-core

Заметки про whole-core.
Имеется правило проверки (constraint), для регуляции добавления ядер.
Так же в этом варианте мы можем использовать настройки ЦПУ Т4 в режим max-ipc (вместо max-throughput). max-thrroughput -  режим для максимального количества потоков, но для СУБД он не годится. Будем использовать MAX-IPC. А для этого потребуется передавать именно ядра процессора.
#ldm ls -o resmgmt dom1
CONSTRAINT
 cpu=whole-core
 max-cores=unlimited
 threading=max-throughput

Установить max-cores вот так:
#ldm set-domain max-cores=X dom1
X - количество, или unlimited
#ldm set-core X dom1

LDOMs по-быстрому

#svcadm enable ldmd

Скажем, у нас машинка T4-2, 2P16C128G
primary - это наш домен, в котором совместим роли Control и IO
Создаем умолчательные сервисы консоли (vcc0), дисков (vds0), сети (vsw0)

#ldm add-vcc port-range=5000-5100 primary-vcc0 primary
#ldm add-vds primary-vds0 primary
#ldm add-vsw net-dev=nxge0 primary-vsw0 primary
если сетевой свитч vsw0 был создан с заменой адаптера nxge0, то надо включить его MAC в этот свитч:
#ldm add-vsw mac-addr=MAC net-dev=nxge0 primary-vsw0 primary
Смотрим что вышло:
#ldm list-services primary

Теперь обустроим Control domain:
Проверим наличие устройства шифрования (для T4 не актуально, в них нет выделенного устройства, но для Т3 и ранее - нужно).
#ldm list -o crypro primary
и если есть - передаем в контрольный домен
#ldm set-mau 1 primary

добавим ядер и памяти
#ldm set-vcpu 8 primary
#ldm set-memory 8G primary
#ldm start-reconf primary

Запишем конфиг в SP:
#ldm add-config initial
#ldm list

и надо теперь перезагрузиться для отработки начала работы гипервизора.

Теперь чуть про сетку. Если мы конфигурим основной интерфейс как виртуальный свитч, то с консоли удаляем интерфейс, добавляем устройство свича и на него ставим адрес сервера:
#ifconfig -a
#ifconfig vsw0 plumb
#ifconfig nxge0 down  unplumb
#ifconfig vsw0 IP netamask MASK up (если у нас dhcp: ifconfig vsw0 dhcp start)
#mv /etc/hostname.nxge0 /etc/hostname.vsw0 (если dhcp: mv /etc/dhcp.nxge0 /etc/dhcp.vsw0)
#svcadm enable vntsd

Теперь наш гостевой домен:
#ldm add-domain dom1
#ldm add-vcpu 8 dom1
#ldm add-memory 8g dom1
#ldm add-vnet vnet1 primary-vsw0 dom1
а теперь тема посложнее - диски.
Диски как и другие ресурсы, мы сначала добавляем в Control Domain, и только потом передаем в гостевые домены. Вот например так для физического диска:
#ldm add-vdsdev /dev/dsk/c0t0d0s2 vol1@primary-vds0
или вот так отдаем файл как блочное устройство:
#ldm add-vdsdev /distr/file vol1@primary-vds0

и теперь можно передать виртуальное устройство vol1 в гостевой домен:
#ldm add-vdisk vdisk1 vol1@primary-vds0 dom1

Почти готово. Разве что несколько переменных выставить да например CDROM передать для инсталяции.
#ldm set-var auto-boot\?=false dom1
#ldm set-var boot-device=vdisk2 dom1

ищем CDROM:
#rmformat или
#cdrw -l
#ldm add-vdsdev options=ro /dev/dsk/c2t0d0s2 dvd-vol@primary-vds0

Если не с CD/DVD ставимся (и это правильно, ибо с ISO будет куда быстрее!) то вместо CDROM передаем ISO:
#ldm add-vdsdev /distr/solaris10.iso dvd-vol@primary-vds0

Или передаем ISO с NFS:
#lofiadm -a /net/server/solaris10.iso
#ldm add-vdsdev /dev/lofi/1 dvd-vol@primary-vds0

передаем устройство с которого ставимся в гостевой домен:
#ldm add-vdisk vdisk2 dvd-vol@primary-vds0 dom1

Что же касается дисков, где будет работать солярис и наши приложения в домене dom1, то тут на выбор. Либо мы делаем файлы в контрольном домене (mkfile 10g) и передаем файлы как блочные устройства в домен и на их базе ставим солярис. Либо это кусок ZFS пула как блочное устройство, либо это выделеный диск сервера, либо это том с массива.....
Как передавать диски и файлы мы смотрели, вот пример от ZFS:
#zfs create -V 1g ldoms/dom1/rootdisk0
#ldm add-vdsdev /dev/zvol/dsk/ldoms/dom1/rootdisk0 vol1@primary-vds0

#ldm bind-domain dom1
#ldm list
#ldm list-bindings dom1
#ldm start-domain dom1
#telnet localhost 5000
комбинация #.
ok devalias
ok boot vdisk2:f      - f - служебное имя раздела


Смотреть свободные ресурсы:
#ldm list-devices mem
# ldm list-devices vcpu
# ldm list-devices -a