четверг, 31 января 2008 г.

Suse 9. SAN. Подключаю дисковый массив, ставим Oracle

У нас есть
- Дисковый массив MSA1000FC + MSA30SB
- пара серверов DL380G5
- оптические карты по две в каждом сервере FC HBA FC1142SR
- SLES 9 x86_64

Надо
- сделать что бы каждый сервер видел свой лунь
- поставить оракла 9.2.0.8

Первое что стоит сделать - приготовить дистрибутив SUSE9. У нас не простые серверы а G5. На него можно поставить SUSE 9 SP3 минимум! На самом деле проблема в том, что в серверах есть контроллер P400 и на нем мы сделали зеркало. Подсунуть драйвер с сайта Novell не удалось под обычный SUSE 9. С версиями ядра проблемы как обычно. На сайте есть sp4 - забираем. Ставить SP4 надо имея под рукой два диска от SP4 и три диска от основного дистрибутива. Загружаемся с первого диска SP4. Далее по тексту. С линуксом пока закончим.

Установим полку M30 и соединим ее SCSI кабелем с M1000. В состав M1000 входил оптический свитч. Подключаем к портам этого коммутатора наши серверы.
Далее устанавливаем ПО ACU от HP и cpqacuxe + hwmgr. Идем браузером (по https://IP_SERVER/) на сервер, где установили этот комплект (так же этот сервер должен быть подключен по оптике к массиву).

Делаем пулы, спаре и луни. Включаем SSP (это типа лунь маскинг так зовется здесь).

теперь пытаемся найти эти луни на линкусе. Для этого не дурно установить пакетик scli от qlogic. там будет видно наглядно что и как у нас есть. Настройки адаптера, устройства на оптике. Еще мне помогла утилитка Dynamic TGT-LUN Discovery Utility for Linux от qlogic. Запустив ее с ключами рескана и рефреша получим имя устройств на оптике. Например /dev/sda. Далее все как обычно - fdisk /dev/sda. И делаем файловую систему и пропишем в /etc/fstab.

Далее - Оракл. Тут тяжести не детские:
1. Проверить наличие пакетов:
- glibc-devel-2.3.3-98.47 (required by gcc-3.3.3-43.34)
- libstdc++-devel-3.3.3-43.34 (required by gcc-c++-3.3.3-43.34)
- compat-2004.7.1-1.2
- compat-32bit-9-200407011229
- gcc-3.3.3-43.34
- gcc-c++-3.3.3-43.34
- glibc-2.3.3-98.47
- glibc-32bit-9-200506071326
- glibc-devel-32bit-9-200506062332
- irqbalance-0.09-37.1
- kernel-smp-2.6.5-7.244
- libaio-0.3.102-1.2
- libaio-devel-0.3.102-1.2
- libaio-32bit-9-200502241149
- libaio-devel-32bit-9-200502241149
- make-3.80-184.1
- openmotif-libs-2.2.2-519.4
- orarun-1.8-31
- XFree86-libs-4.3.99.902-43.48
- XFree86-libs-32bit-9-200506062332

Это очень важно! У нас система x86_64. Важно наличие библиотек 32-bit compatible.
2. Установить окружение LD_ASSUME_KERNEL=2.4.19
3. В /etc/sysctl.conf
kernel.hostname = yourhost.yourdomain.com
kernel.domainname = yourdomain
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
vm.disable_cap_mlock=1

4. Установки по памяти
- SEMMNI 128
- SEMMNS 32000
- SEMOPM 100
- SEMMSL 250
- SHMMAX - половину физической памяти но не больше 4294967295
- SHMMNI 4096
- SHMALL 2097152

#kernel.hostname = prima.dom.ru
#kernel.domainname = dom.ru
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
vm.disable_cap_mlock=1
kernel.shmmax = 4294967295
kernel.shmall = 2097152
kernel.shmmni = 4096
kernel.sem = 250 256000 32 1024

5. Перегрузиться! Sysctl -p не дает нужного эффекта.

6. Ставим Оракла через инсталятор.


Комментариев нет: