M10-1 installation

Fujitsu M10-1.
1U, два блока питания. 1 CPU 16 Cores 2.80GHz, памяти может быть до 512ГБ. До 8-ми дисков SAS 600GB 10 000 rpm или eMLC 200/400GB. Управление как в предыдущих серверах M-серии через XSCF.
Первичный запуск очень похож на запуск M3/4/5. Цепляемся через COM-порт 9600 8N1.
Тут как и ранее есть два варианта входа. Есть пользователь default без пароля но при условии что мы рядом с сервером и можем дёргать ключ из положения Service в Lock и обратно.
А есть и другой пользователь - admin. Но этот пользователь существует только один раз. Как только вошли под admin - делаем пользователей нужных, пароли ставим, даем права и выходим - всё, пользователя admin больше не будет. Он одноразовый. Далее только default если всё забыто и потеряно либо те пользователи, что мы сделали будучи admin.
Делаем пользователей:
>adduser eis-installer
>adduser fieldeng
>password eis-installer
>password fieldeng
> setprivileges eis-installer useradm platadm auditadm fieldeng mode
> setprivileges fieldeng fieldeng mode
>exit

теперь заходим как eis-installer.
Конфигурим сетку управления (в нулевом порту XSCF):
>shownetwork -a
>setnetwork bb#00-lan#0 -m MASK IP
>setroute -c add -n 0.0.0.0 -g IP_DEFAULT_GATE bb#0-lan#0
>sethostname bb#00 NAME
>sethostname -d DOMAINNAME
>setnameserver IP_DNS1 IP_DNS2
>applynetwork
>rebootxscf

Дальше немного еще с сеткой:
>showtimezone -c tz
>settimezone -c settz -s Asia/Novosibirsk
>showdate
>setdate -s MMDDHHmmYYYY
>setntp -c add IP_NTP1 IP_NTP2
>showntp -a

Теперь службы доступа:
>setssh -c enable
>sethttps -c selfsign RU Siberia Novosibirsl MY_Company Departament HOST email
>sethttps -c enable

И вот тут в принципе Ь-серию можно было и стартовать poweron -d 0. Но тут нельзя. M10 серия построена на базе CoD (Capacity of Demand), и по умолчанию ни одного ядра не активировано и включить домен не выйдет. С сервером должен поставляться диск (обычный CD), там будут файлы активации ядер, кратностью 2. Будут причем файлы по отдельности для активации каждой пары и будет один суммарный на всё количество, который куплено. Кстати, теперь мы тут не называемся доменом, это теперь PPAR (Physical PARtition).
Смотрим что есть сейчас до активации:
>showhardconf
>showpcl -a
PPAR-ID   LSB   PSB   Status
00                    Powered Off
          00    00-0

>showboards -a

PSB  PPAR-ID(LSB) Assignment  Pwr  Conn Conf Test    Fault

---- ------------ ----------- ---- ---- ---- ------- --------

00-0 00(00)       Assigned    n    n    n    Unknown Normal

>showcodactivation

Index   Description Count

------- ----------- ------

Вот тут у нас пусто. Добавляем лицензии. На диске в папке ACTIVATION_KEY.

>addcodactivation "Product: SPARC M10-1 .........."

В кавычках весь ключ (текст из файла). После добавления будет уже так:

 showcodactivation

Index   Description Count

------- ----------- ------

      0 PROC            2

Эти коды добавят ядра в пул ресурсов. Нам нужно отдать нужное количество в домен, то есть PPAR. Смотрим что есть:

>showcod

PROC Permits installed: 2 cores

PROC Permits assigned for PPAR 0: 0

Добавим в PPAR 0 наши 8 ядер:

>setcod -p 0 -s cpu 8

Я активировал 8 ядер. Смотрим как они используются:

>showcodactivation

Index   Description Count

------- ----------- ------

      0 PROC            2

      1 PROC            2

      2 PROC            2

      3 PROC            2

XSCF> showcodusage

Resource In Use Installed CoD Permitted Status

-------- ------ --------- ------------- ------

PROC          0        16             8 OK: 8 cores available

PPAR-ID/Resource In Use Installed Assigned

---------------- ------ --------- --------------

0  - PROC             0        16        8 cores

Unused - PROC         0         0        8 cores

Выставим переменную для запрета автостарта ОС:

>setpparparam -p 0 -s bootscript "setenv auto-boot? false"

>poweron -a

>showdomainstatus -p 0

>console -p 0

Выйти в XSCF - #. (решетка точка).

PS1: Если CoD лицензий нет а проверить работоспособность SB нужно (а пока нет лицензии питание домену дать не получится) то делать это можно спец командой:
>testsb -v -p -s -a -y

PS2: Столкнулся с тем, что setcod когда отрабатывает на отбор (уменьшение ядер в домен) то солярис отлично это замечает. Но не работает при добавлении ядер. Солярис  11.1 SRU12.5 и XSCF 2080.... Странно. Будем искать.

Sparc Enterprise Mx000: WARNING: fcode_timer: Timeout waiting for interpreter - Interpreter did not pick up request

Вот такая ошибка на операциях move/add/delete - board.

addboard -v -d0 -c configure 01-03
XSB#01-3 will be configured into DomainID 0. Continue?[y|n] :y
Initial diagnosis started. [1800sec]
  0..... 30..... 60..... 90.....120.....150.....180.....end
Initial diagnosis has completed.
Start configuring XSB to domain.
assign SB4
assign SB4 done
poweron SB4
poweron SB4 done
test SB4
test SB4 done
connect SB4
connect SB4: Firmware probe failed
XSB#01-3 could not be configured into DomainID 0 due to operating system error.

В Солярис видим /var/adm/messages:
Jun 24 15:33:37 fcodem: [ID 696114 kern.warning] WARNING: fcode_timer: Timeout waiting for interpreter - Interpreter did not pick up request
Jun 24 15:33:37 opl_cfg: [ID 695635 kern.warning] WARNING: IKP: Unable to probe PCI leaf (4-4-0)
Jun 24 15:33:37 drmach: [ID 702911 kern.warning] WARNING: Firmware probe failed
Jun 24 15:33:37 dcs: [ID 473489 daemon.error] <19325> config_change_state: Hardware specific failure: connect SB4: Firmware probe failed

В доке читаем на описание ошибки - обращаться в сервис.
Делаем сами:
#svcadm enable sun4u/efdaemon

Теперь все работает

M5-32: заметки, доменные правила

M5-32 - новый сервер от Oracle, класса High-End. В имени зашиты основные качества - на базе ЦПУ М5 (6 core 3,6GHz, на базе S3). Максимум в этот сервер можно поставить 32 ЦПУ (по 6 ядер каждый итого 192 ядра по 8 потоков (strands/vcpu) = 1536 потоков).

ЦПУ и память.
Основная единица - CMU. В ее состав входит 2 ЦПУ и 64 слота для DIMM. Память составляется минимум из 16 димов, далее по 16 добавляем до 64-х. DIMM на сегодня только двух типов - 16ГБ и 32ГБ. Отсюда имеем, что минимум на одной CMU 16x16GB = 256GB памяти, максимум 2ТБ на одной CMU. Всего в сервер можно установить 16 CMU, а значит 32 ТБ памяти может быть в этом сервере.

IO.
В сервер есть 4 модуля IOU, которые предназначены для установки PCI-E gen3 адаптеров Low Profile. В сервер можно поставить карты F40, FC HBA Qlogic/Emulex 8Gb DUAL Ports (однопортовых нет в списке), эзернет адаптеры 1Гб QUAD Ports UTP/MMF, InfiniBand, 10Gbe, SAS Ext 6Gb.
Всего в один IOU можно установить до 16 PCIe Gen3x8 LP адаптеров. Сделано как и ранее на кассетах, ставить конечно можно в работающий сервер на ходу как и удалять (надо только знать как).
Диски SAS 300/600GB 10 000rpm, максимум 8 штук в каждый модуль (до 32-х максимум на сервер). Для каждой пары дисков нужно ставить по одной IO Base Card (максимум 4 карты).

DCU - Domain Configuration Unit. Это группа 4xCPU (2xCMU), 1xIOU и один service processor proxy (SPP).
Всего максимум 4 DCU. Отсюда получаем максимум 4 домена! Причем правила конфигурации доменов довольно ограниченные а именно:
1. Каждый DCU содержит один свой IOU.
2. Каждый DCU содержит 1 или 2 CMU.
3. Нельзя добавить CMU в следующий DCU, пока предыдущий DCU не будет иметь хотя бы одну CMU.
4. Нельзя передать ресурсы от одного DCU другому DCU.

Последнее правило говорит, что если в одном домене у нас есть одна CMU, которая нам бы не нужна в одном домене но нужна в другом, то тут либо физически переставить либо одно из двух:))) (то есть никак больше)

Каждый DCU должен быть соединен с другими DCU через Switch Board (SSB).

Виртуализация не ограничена домена. Поддерживается так же LDOMs (Oracle VM Sparc) ну и Solaris Zones.
На сервер должна быть установлена Solaris 11 - причем 11.1, ибо там есть правки для работы шедулера (Crytical Threads класс). В новой версии Oracle VM SPARC будут не работать настройки max-ipc/max-throughput, они будут перенесены в шедулер Solaris 11.1. Кроме того, Solaris 10 на управляющий домен сервера ставить нельзя, потому что Solaris 10 не сможет отработать тот объем памяти (до 32 ТБ) что позволяет сервер. Однако, в LDOM Solaris 10 встает и работает. Далее в зонах можно ставить и Solaris 8/9 (Legacy Zone).

Управление у этого сервера через SP (service processor) как у серверов T4 например был (не XSCF как у М-серии). На борту есть ОДИН SP, который активный и ВТОРОЙ как Standby.

Электропитание только 3 фазы но в разных вариантах.
Power cord: six 4.4 meters, 3-phase, IP67 plug, Harting Han connector, 32 A, 380 V/415 V (for factory installation)
Power cord: six 4.4 meters, 3-phase, IP67 plug, Harting Han connector, 60 A, 250 V (for factory installation)

Первый вариант я понимаю - это звезда(380) или дельта (415). А вот что такое второй вариант - не понимаю.

Сколько стоит? На сайте может быть и есть прайс-цена, но какой толк от прайса, если для каждого случая цена получается своя. В полной набивке около полутора миллиона долларов).

T4-2 при создании RAID 1 или 1E после установки Solaris не загрузится.

Это касается только Т4-2 сервера и только если был сделан RAID 1/1E на внутренних дисках.
Как установится солярис, надо пропатчить. Если не сделать, то больше солярис не загрузится. Повиснет на строчке что-то там cdrom...

Отсылаем break, грузимся с cdrom в single mode (ok boot cdrom -s).
Монтируем файловую систему например в /a (ту самую куда поставили солярис).
Качаем патч 147440-26 (на сегодня, вообще патч 03 вполне исправляет эту проблему уже).
Распакуем в /tmp/1. Переходим в /tmp/1 и патчим
#patchadd -R /a . (точка в конце - да)

перезагружаемся.

T4. Работа с сервером

Несколько заметок по работе с серверами серии T4.

- Работа сервера с локальным монитором и клавиатурой. 

Подключите монитор и клавиатуру к серверу. Через Serial Management порт дайте команды

ok setenv input-device keyboard

ok setenv output-device screen

ok reset-all

В Solaris :

#ln -s /dev/fbs/ast0 /dev/fb

#fbconfig -xserver Xorg

#reboot

- Послать reset солярису:

set /HOST send_break_action=break

- Не загружать ОС при старте:

set /HOST/bootmode script=”setenv auto-boot? false”

- Сброс настроек SP:

set /SP reset_to_defaults=factory

- Внутренний RAID controller.

Контроллер на Т4-1 и Т4-2 поддерживает уровни 0,1,1Е (в 1Е можно использовать нечетное количество дисков для зеркалирования). В Т4-4 и Т4-1B - только 0 и 1.

На каждом контроллере может быть не более 2-х томов создано.

ok show-devs - смотрим пути

ok select scsi0 - выбираем путь

ok show-children - смотрим устройства на этом контроллере 

в выводе будут показаны диски, предваряться каждый диск будет Target X (X - это 16-ричный номер устройства).

Далее, создаем на примерах:

ok a b create-raid0-volume  - создать RAID0 на двух дисках a и b

ok a b c create-raid1e-volume - создать RAID 1E на трех дисках

ok show-volumes - посмотрим на наши созданные тома

ok unselect-dev - выйти из дерева устройства