Новости Статьи VMware Veeam StarWind Microsoft ИТ-ГРАД Citrix Symantec 5nine События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Виртуализация vSphere, Hyper-V, XenServer и Red Hat

Более 4740 заметок о виртуализации и виртуальных машинах VMware, Microsoft, Citrix, Red Hat

VM Guru | Ссылка дня: Обновился VMware PowerCLI for VMware Cloud on AWS

Проверки виртуальной инфраструктуры VMware vCenter Health Сhecks в vSphere 6.7 Update 1.


В конце прошлого года мы писали о новых возможностях VMware vCenter в составе обновленной платформы виртуализации VMware vSphere 6.7 Update 1. Среди прочих интересных фичей, vCenter 6.7 U1 получил функцию Health Сhecks, которая позволяет обрабатывать данные телеметрии виртуальной инфраструктуры и на основе экспертных алгоритмов вырабатывать рекомендации по ее улучшению. Например, если у вас одна сеть Management network, вам могут порекомендовать ее задублировать.

Вчера мы писали об общем устройстве механизма vSphere Health. Давайте теперь детально посмотрим, как именно это работает. Сделано это чем-то похоже на службы vSAN Health Services, но здесь больше проактивной составляющей (то есть рекомендации генерируются постепенно и еще до возникновения реальных проблем).

Для просмотра основных хэлсчеков сервера vCenter, нужно в vSphere Client пойти на вкладку Monitor и выбрать там раздел Health:

Чтобы эти фичи функционировали корректно, нужно чтобы у вас была включена настройка Customer experience improvement program (CEIP). Если вы не включили ее во время установки vCenter, то вы всегда можете сделать это в разделе Administration клиента vSphere Client:

Надо отметить, что vCenter Health Сhecks не только оповещает о проблемах виртуальной инфраструктуры, но и в некоторых случаях предоставляет ссылки на статьи базы знаний VMware KB, которые могут помочь найти решения.

Если вы нажмете на какой-нибудь из ворнингов, например, "Disk space check for VMware vCenter Server Appliance", то увидите две группы параметров на вкладках "Details" и "Info":

На вкладке Details отображены численные значения и/или объекты виртуальной инфраструктуры, имеющие отношение к предупреждению, а вот вкладка Info разъясняет его суть и дает рекомендации по его устранению. Если же в правом верхнем углу появился значок "Ask VMware", значит для данного предупреждения есть ссылка на статью базы знаний VMware KB, которая может помочь:

Например, здесь на двух из трех хостов ESXi установлена не последняя версия драйвера bnx2x (адаптер Broadcom NetXtreme II 10Gb):

На вкладке Info объясняется, что хосты с такой версией драйвера этого устройства могут вывалиться в "розовый экран":

Если нажмем "Ask VMware", то в новой вкладке откроется статья KB, описывающая проблемы данной версии драйвера и пути их решения:

Если вы сделали изменения конфигурации согласно рекомендациям, вы можете нажать кнопку RETEST в правом верхнем углу, чтобы увидеть только актуальные предупреждения:


Таги: VMware, vCenter, Troubleshooting, vSphere, ESXi, VMachines, Blogs

Использование VMware Update Manager Download Service (UMDS) для организации централизованных обновлений vSphere.


Некоторые администраторы инфраструктуры VMware vSphere знают, что существует средство Update Manager Download Service (UMDS), с помощью которого можно скачивать обновления ESXi для последующего их наката со стороны vSphere Update Manager (VUM), интерфейс которого сейчас реализован в vSphere Client на базе HTML5:

UMDS вам может оказаться полезным в двух случаях:

  • Вы не можете выставить в интернет сервер vCenter, частью которого является VUM, для загрузки обновлений (например, в соответствии с корпоративными политиками). Поэтому нужно развернуть UMDS на компьютере в DMZ, с которого VUM будет забирать обновления (либо вы будете их перекидывать на VUM вручную).
  • У вас есть несколько серверов Update Manager, и вы используете UMDS в качестве централизованной точки распространения обновлений серверов ESXi, чтобы каждый vCenter не скачивал обновления из интернета самостоятельно.

Начиная с Update Manager версии 6.7, сервис UMDS доступен для развертывания на платформах Windows и Linux. Для Windows поддерживаются те же серверные ОС, что и для сервера vCenter, а для Linux список систем можно найти в документации. Вот они:

  • Ubuntu 14.0.4
  • Ubuntu 18.04
  • Red Hat Enterprise Linux 7.4
  • Red Hat Enterprise Linux 7.5

Кстати, начиная с vSphere 6.7 Update 1, VMware отменила требование к созданию базы данных для UMDS, поэтому использование сервиса стало еще проще и удобнее.

Если вы используете UMDS на Windows, то вам понадобится Microsoft .NET framework 4.7 и та же версия UMDS, что и сам Update Manager.

На Linux UMDS автоматически не создает переменной PATH для сервиса vmware-umds. Чтобы запустить команду vmware-umds нативно, нужно добавить переменную окружения с путем к сервису следующей командой:

PATH=”$PATH”:/usr/local/vmware-umds/bin

Чтобы на Linux посмотреть текущую конфигурацию UMDS, нужно выполнить команду:

/usr/local/vmware-umds/bin/vmware-umds -G

Здесь мы видим сконфигурированные урлы для хранилищ обновлений (depots), локальный путь к хранению патчей и путь экспорта хранилища, по которому серверы VUM будут забирать обновления. Также здесь мы видим, контент каких версий ESXi нужно скачивать.

Если у вас все хост-серверы одной версии, например, ESXi 6.7, то вы можете отключить скачивание всех остальных образов командой:

sudo ./usr/local/vmware-umds/bin/vmware-umds -S -d embeddedEsx-6.0.0 embeddedEsx-6.5.0 embeddedEsx-6.6.1 embeddedEsx-6.6.2 embeddedEsx-6.6.3

Еще одна важная опция - это задание собственного пути к репозиторию обновлений. Например, если вы используете кастомизированные образы ESXi для серверов Dell, то вы можете добавить адрес репозитория следующей командой:

sudo ./usr/local/vmware-umds/bin/vmware-umds -S --add-url http://vmwaredepot.dell.com/index.xml --url-type HOST

После того, как URL репозитория добавлен, мы можем принудительно скачать все образы обновлений командой:

sudo /usr/local/vmware-umds/bin/vmware-umds -D

Полный список опций UMDS можно получить с помощью вот этой команды:

/usr/local/vmware-umds/bin/vmware-umds --help

Далее вам нужно уже пойти на сервер VMware Update Manager и настроить его на использование с репозиторием UMDS. Если у вас очень высокие требования к безопасности, то вы можете отнести обновления на сервер VUM, например, на флешке. Второй вариант - настроить на UMDS веб-сервер и указать его как путь для обновлений от VUM.

Если вы используете вариант с веб-сервером, то его публичную папку надо настроить на следующий путь по умолчанию:

  • C:\ProgramData\VMware\VMware Update Manager\Data\ - на Windows.
  • /var/lib/vmware-umds - на Linux.

Таги: VMware, Update Manager, Update, ESXi, vSphere

Полезная штука - на VMware Labs появился USB Network Native Driver for ESXi.


На сайте проекта VMware Labs появилась интересная и полезная некоторым администраторам vSphere штука - USB Network Native Driver for ESXi. Это нативный драйвер для сетевых адаптеров серверов, которые подключаются через USB-порт.

Такой адаптер можно использовать, когда вам необходимо, например, подключить дополнительные Ethernet-порты к серверу, а у него больше не осталось свободных PCI/PCIe-слотов. В каких-то еще случаях подключение такого адаптера может помочь, чтобы получить еще одно сетевое соединение без необходимости перезагружать сервер (и так же просто отключить его).

На данный момент драйвер поддерживает 3 самых популярных чипсета на рынке:

  • ASIX USB 2.0 gigabit network ASIX88178a
  • ASIX USB 3.0 gigabit network ASIX88179
  • Realtek USB 3.0 gigabit network RTL8153

А вот, собственно, и сами поддерживаемые адаптеры:

Надо отметить, что это сравнительно недорогие устройства, которые может позволить себе каждый администратор платформы vSphere.

Установка драйвера производится одной командой:

esxcli software vib install -d /path/to/the offline bundle

Затем нужно будет перезагрузить хост VMware ESXi, после чего устройство USB NIC будет автоматически смонтировано как, например, vusb0. Но чтобы приаттачить такой NIC к виртуальному коммутатору vSwitch, придется добавить в /etc/rc.local.d/local.sh такой скрипт:

vusb0_status=$(esxcli network nic get -n vusb0 | grep 'Link Status' | awk '{print $NF}')
count=0
while [[ $count -lt 20 && "${vusb0_status}" != "Up" ]] ]
do
sleep 10
count=$(( $count + 1 ))
vusb0_status=$(esxcli network nic get -n vusb0 | grep 'Link Status' | awk '{print $NF}')
done

if [ "${vusb0_status}" = "Up" ]; then
esxcfg-vswitch -L vusb0 vSwitch0
esxcfg-vswitch -M vusb0 -p "Management Network" vSwitch0
esxcfg-vswitch -M vusb0 -p "VM Network" vSwitch0
fi

Драйвер работает с VMware vSphere 6.5 и 6.7. Скачать его можно по этой ссылке.


Таги: VMware, Labs, USB, ESXi, Driver, Network

Обновленная версия VMware ESXi Embedded Host Client 1.33 - что нового?


В самом конце января компания VMware обновила свой клиент для управления отдельными хостами ESXi, выпустив Embedded Host Client версии 1.33. Напомним, что о версии 1.32, вышедшей в ноябре прошлого года, мы писали вот тут.

Давайте посмотрим, что нового появилось в хостовом клиенте версии 1.33:

  • Множество исправлений ошибок, которые ранее возникали при импорте OVF-шаблона.
  • ISO-образы теперь можно импортировать из OVA.
  • Исправлена проблема со спецсимволами в названиях датасторов на ESXi.
  • Пофикшены перепутанные подписи к графику Network (transmit и receive).
  • Сетевые адптеры добавляются к виртуальной машине в правильном порядке.
  • Исправлена проблема с некорректными оповещениями фаервола об устаревших лицензиях.
  • Поддержка шведского языка для ввода в консоли ВМ.
  • Отображение WWN и WWPN адаптеров Fibre Channel как 64-битных адресов.

Скачать ESXi Embedded Host Client можно по этой ссылке. Кстати, некоторые пишут, что у них повились проблемы данной версии клиента для ESXi 5.5.


Таги: VMware, ESXi, Client, Update, Labs

Настройка указателя на единый репозиторий VMware Tools для хостов ESXi в VMware vSphere 6.7 Update 1 через Managed Object Browser.


После апгрейда виртуальной инфраструктуры на версию VMware vSphere 6.7 Update 1, а также при ее регулярном обновлении и эксплуатации, нужно поддерживать актуальные версии VMware Tools в виртуальных машинах.

Для начала напомним, что самую последнюю версию VMware Tools для ваших виртуальных машин всегда можно скачать по этой ссылке:

https://www.vmware.com/go/tools

Чтобы централизованно обновлять VMware для всех ВМ, вам нужно настроить единый репозиторий на всех хостах ESXi, из которого будет происходить апдейт. Сначала нужно создать для этого папку, например:

/vmfs/volumes/vsanDatastore/vmtools

Далее нужно скачать последнюю версию VMware Tools по ссылке выше и положить ее в созданную папку (включая папки "vmtools" и "floppies").

Теперь на каждом хосте ESXi нужно обновить указатель ProductLocker через интерфейс MOB (Managed Object Browser). Для этого надо зайти по ссылке:

https://VCSA_FQDN/mob

И там перейти в:

Content > rootFolder > childEntity > hostFolder > host 

Далее нужно выбрать хост ESXi, для которого вы хотите обновить этот указатель. Здесь есть два API вызова, которые вам понадобятся:

Вызов QueryProductLockerLocation покажет вам текущий указатель на папку с VMware Tools на хосте (ProductLocker):

Метод UpdateProductLockerLocation_Task позволит вам обновить размещение для пакетов VMware Tools для этого хоста, добавив путь к нужной папке в параметр path:

Теперь снова вызовите QueryProductLockerLocation, чтобы увидеть, что путь к папке обновился:

Теперь все остальные хосты ESXi также нужно перенастроить на путь к этой папке, чтобы они брали обновления VMware Tools из единого места, где всегда будет лежать последняя версия пакета.


Таги: VMware, Tools, Update, ESXi, VMachines, vSphere

Обновились VMware vCenter Server 6.7 Update 1b и VMware ESXi 6.7.


На днях компания VMware выпустила небольшое обновление своей платформы виртуализации vSphere 6.7 - вышел апдейт vCenter Server 6.7 Update 1b, а также патч к ESXi 6.7.

Обновление к vCenter не содержит никакого нового функционала, однако закрывает несколько серьезных проблем и багов, которые были обнаружены с момента релиза платформы в октябре прошлого года в компонентах vCenter и vSAN.

Например, как вам вот такой баг:

In the vSphere Client, if you right-click on a folder and select Remove from Inventory from the drop-down menu, the action might delete all virtual machines in that folder from the disk and underlying datastore, and cause data loss.

То есть вместо убирания машины из инвентори в vSphere Client, происходит удаление всех виртуальных машин из этой папки с диска. Так что лучше обновите свой vCenter уже сегодня. Надо еще помнить, что, по-прежнему, не поддерживается прямое обновление vCenter Server 6.5 Update 2d и 2e на этот релиз. Странно, но VMware никак не может это починить.

Кроме этого VMware выпустила важные патчи к ESXi 6.7, которые содержат исправления ошибок и апдейт подсистемы безопасности.

Тут ничего особенно критичного, но все равно лучше обновиться, особенно если вы используете решение NSX-T.


Таги: VMware, vCenter, Update, ESXi, Bugs

Полезные утилиты для решения проблем в сетевом стеке VMware vSphere.


В прошлом посте мы рассказывали о IOchain - цепочке прохождения пакетов через сетевой стек хоста VMware ESXi, а в этом остановимся на некоторых утилитах, работающих с этим стеком и помогающих решать различного рода сетевые проблемы.

Прежде всего, при решении проблем соединений на хосте ESXi нужно использовать следующие средства:

  • Консольная утилита esxtop (представление network)
  • ping / vmkping
  • traceroute

Но если хочется углубиться дальше в сетевое взаимодействие на хосте, то тут могут оказаться полезными следующие утилиты:

  • net-stats
  • pktcap-uw
  • nc
  • iperf

1. Net-stats.

Чтобы вывести весь список флагов этой команды, используйте net-stats -h, а вот для вывода детальной информации о номерах портов и MAC-адресах всех интерфейсов используйте команду:

net-stats -l

С помощью net-stats можно делать огромное количество всяких вещей, например, проверить включены ли на интерфейсе vmnic функции NetQueue или Receive Side Scaling (RSS) с помощью команды:

net-stats -A -t vW

Далее нужно сопоставить вывод блока sys для нужного интерфейса и вывода команды:

vsish -e cat /world/<world id>/name

2. Pktcap-uw.

Эта утилита совместно с tcpdump-uw захватывать пакеты на различных уровнях. Если tcpdump-uw позволяет захватывать пакеты только с интерфейсов VMkernel, то pktcap-uw умеет захватывать фреймы на уровне виртуального порта, коммутатора vSwitch или аплинка.

В KB 2051814 подробно описано, как можно использовать утилиту pktcap-uw. На картинке ниже представлен синтаксис использования команды, в зависимости от того, на каком уровне мы хотим ее применить:

 

  • Фильтрация пакетов для выбранного MAC-адреса:

pktcap-uw --mac xx:xx:xx:xx:xx:xx

  • Фильтрация пакетов для выбранного IP-адреса:

pktcap-uw --ip x.x.x.x

  • Автоматическое исполнение и завершение pktcap-uw с использованием параметра sleep:

pktcap-uw $sleep 120; pkill pktcap-uw

  • Ограничить захват заданным числом пакетов:

pktcap-uw -c 100

  • Перенаправить вывод в файл:

pktcap-uw -P -o /tmp/example.pcap

3. NC

NC - это олдскульная Linux-команда NetCat. Она позволяет проверить соединение по указанному порту, так как telnet недоступен на ESXi. Например, так можно проверить, что можно достучаться через интерфейс iSCSI по порту 3260 до системы хранения:

nc -z <destination IP> 3260

В KB 2020669 вы можете найти больше информации об этой команде.

4. Iperf

Эта утилита предназначена для контроля пропускной способности на интерфейсе. Она используется механизмом vSAN proactive network performance test, который доступен в интерфейсе vSAN. Поэтому при ее запуске вы получите сообщение "Operation not permitted". Чтобы она заработала, нужно создать ее копию:

cp /usr/lib/vmware/vsan/bin/iperf3 /usr/lib/vmware/vsan/bin/iperf3.copy

По умолчанию утилита работает на портах, которые запрещены фаерволом ESXi, поэтому во время работы с ней нужно его потушить (не забудьте потом его включить):

esxcli network firewall set --enabled false

Теперь можно использовать эту утилиту для замера производительности канала (флаг -s - это сервер, -c - клиент):

/usr/lib/vmware/vsan/bin/iperf3.copy -s -B 192.168.200.91

/usr/lib/vmware/vsan/bin/iperf3.copy -c 192.168.200.91

Результат будет похожим на это:

Больше об использовании утилиты iperf3 вы можете узнать вот тут.


Таги: VMware, vSphere, Networking, ESXi, Troubleshooting

Полностью автоматическая установка ESXi хостов на серверах Dell. Часть 2.


Сегодня Алексей расскажет про две тонкости с которыми пришлось повозиться на следующем этапе установки – обе относятся к подготовке образа для установки.

Напомним, что первая часть статьи находится здесь.

Первая – выбор места для установки. Если в вашем сервере на момент загрузки присутствует один диск, и вы планируете его использовать для установки, то проблем нет. А если их несколько, и вам нужно использовать какой-то определенный, то придется указать на желаемый диск с помощью команды:

install --disk=diskname или install –-firstdisk=disk-type

что и прекрасно описано в документации здесь: https://kb.vmware.com/s/article/2004582.

В моем же случае в системе имелся маленький SSD (так называемый BOSS card, в случае Dell – RAID1 массив из двух SATA m.2 SSD) для установки системы и большой RAID-массив, на котором теоретически могли располагаться виртуальные машины (в случае если производится переустановка хоста).

Что в вышеприведенной статье не упомянуто – так это как найти diskname или disk-type для искомого диска/массива.
А сделать это можно следующим образом:

  • Проведите тестовую установку в ручном режиме.
  • Запустите SSH сервис и подключитесь к серверу по SSH.
  • Используйте команду esxcli storage core device list для того, чтобы получить список всех контроллеров в системе.

Искомая информация для вашего контроллера будет в поле Model:

Итоговая команда в моем случае:

install --firstdisk="DELLBOSS VD" --overwritevmfs --novmfsondisk

Вторая тонкость выяснилась, когда я начал тестировать загрузочный диск. Сервер из другой поставки наотрез игнорировал содержимое kickstart файла. Выяснилось что один из серверов был сконфигурирован использовать EFI для загрузки, другой же - классический BIOS. ISO-образ ESXi содержит два различных BOOT.CFG файла для этих двух типов загрузки:

  • для BIOS - в корне образа
  • для EFI - соответственно, в папке /EFI/BOOT

Если в вашем случае, как и мне, нужно иметь один kickstart файл для обоих типов загрузки, не забудьте отредактировать оба файла.

Надеюсь, это сэкономит кому-то время.


Таги: VMware, ESXi, Hardware, Dell, Обучение, Automation

Как устроена цепочка сетевого стека VMware ESXi на уровне виртуального коммутатора - Network IOChain.


Недавно мы писали про то, как работает механизм регулирования полосы канала Network I/O Control (NIOC) в VMware vSphere, который позволяет приоритизировать различные типы трафика на одном сетевом адаптере, а сегодня взглянем на сам механизм прохождения трафика по уровням абстракции виртуального коммутатора изнутри.

Цепочка прохождения пакетов по сетевому стеку гипервизора ESXi через различные уровни называется Network IOChain. Это фреймворк, который позволяет на пути следования данных от виртуальной машины к физическому сетевому адаптеру производить различную модификацию данных и передачу их на следующий уровень.

IOChain обеспечивает связность виртуального коммутатора vSphere Standard Switch (VSS) или vSphere Distributed Switch (VDS) от групп портов на них к портам физических сетевым адаптеров (uplikns) в процессе передачи и обработки пакетов между этими сущностями. Для каждого из виртуальных коммутаторов есть 2 интерфейса IOChain (для входящего и исходящего трафика). Это дает большую гибкость по настройке политик каналов трафика Ingress и Egress.

Примерами таких политик служат поддержка сетей VLAN, механизма группировки NIC teaming и шейпинг трафика (traffic shaping). Работают эти политики на трех уровнях абстракции (в порядке следования от виртуальной машины):

  • Группа портов виртуального коммутатора (port group).

На этом уровне работает фильтрация VLAN, а также политики безопасности, такие как Promiscuous mode, MAC address changes и Forged transmits. Пользователи также могут настроить политики шейпинга исходящего трафика (для VSS) или в обоих направлениях (только для VDS).

  • Обычный или распределенный виртуальный коммутатор (VSS или VDS).

Основная задача этого уровня - направлять пакеты к нужному порту (аплинку), через которые они достигнут адреса назначения. Он оперирует MAC-адресами источника и назначения, а также определяет, отдавать ли трафик локально (в рамках одного или нескольких виртуальных коммутаторов на хосте), либо перенаправлять его к уровню аплинка хоста ESXi.

Кроме того, на этом уровне настраиваются правила NIC teaming по балансировке пакетов между аплинками, подключенными к данному коммутатору. Ну и на этом уровне можно также настраивать политики шейпинга и безопасности для всего виртуального коммутатора в целом.

  • Порт (uplink).

Этот уровень отвечает за передачу трафика к драйверу сетевого адаптера. На этом уровне работают функции hardware offloading, облегчающие работу с обработкой пакетов за счет ресурсов сетевой карты. Доступные возможности hardware offloading зависят от конкретной модели карты и ее драйвера. Примерами таких возможностей являются TCP Segment Offload (TSO), Large Receive Offload (LRO) и Checksum Offload (CSO). Также здесь обеспечивается поддержка оверлейных протоколов VXLAN и Geneve, которые используются в решениях NSX-v и NSX-T соответственно (эта поддержка есть во многих современных сетевых картах).

Помимо этого на уровне аплинка работают механизмы буфферизации пакетов при всплесках нагрузки (ring buffers), после чего пакеты передаются на DMA-контроллер, чтобы быть обработанными процессором карты и перенаправлены уже в сеть передачи данных.

Для обычного виртуального коммутатора (VSS) схема прохождения трафика через уровни абстракции IOChain выглядит так:

Если же у вас распределенный виртуальный коммутатор VDS, то вы можете использовать механизм Network I/O Control (NIOC) для резервирования и приоритизации трафика внутри канала аплинков. Также VDS предоставляет множество дополнительных возможностей, таких как LBT (Load Balanced Teaming) и LACP (Link Aggregation Control Protocol).

В случае с VDS схема с IOChain выглядит следующим образом:

 

Обратите внимание, что на этой диаграмме есть дополнительный модуль DVfilter. Это API-фреймворк, который есть в VDS и требуется для работы решения NSX. Когда компоненты NSX устанавливаются в ядро ESXi, они взаимодействуют с трафиком именно через этот модуль.

С помощью команды summarize-dvfilter можно вывести все загруженные агенты DVfilter и фильтры. Вот так это выглядит без установленного решения NSX:

Если вы посмотрите информацию по компонентам NSX, когда он установлен, то увидите модули nxst-switch-security, nsxt-vsip и nsxt-vdrb.

Вообще, весь стек IOChain является модульным, что позволяет добавлять новую функциональность его компонентов на различных уровнях абстракции. Например, компоненты DVfilter разделяются на Fastpaths, Slowpaths и Filters:

  • Fastpaths – фильтры трафика на уровне ядра ESXi.
  • Slowpaths – интеграция со сторонними продуктами для сетевой инфраструктуры.
  • Filters – размещение фильтров в слоты для каждого из подходящих по модели сетевых адаптеров vNIC.

В VMware vSphere 6.7 в стеке IOChain появилось несколько улучшений, таких как поддержка MAC learning и функции IGMP snooping через интерфейс VNI (Virtual Network Interface), которые могут быть использованы в будущем.

Ну и напомним, что текущая версия распределенного виртуального коммутатора VDS - это 6.6, об их обновлении мы писали вот тут.


Таги: VMware, Networking, ESXi, VDS, VSS, VMachines

Полностью автоматическая установка ESXi хостов на серверах Dell. Часть 1.


На написание этого поста меня вдохновила достаточно старая, но лично мною обнаруженная совсем недавно статья Романа Гельмана "PowerShell скрипт для автоматической установки ESXi хостов на серверах IBM/Lenovo". Какое-то время назад появилась необходимость автоматизировать процесс развертывания новой инфраструктуры для vSphere для клиента...


Таги: VMware, ESXi, Dell, Hardware, Обучение, PowerCLI

Режим обслуживания хостов кластера VMware vSAN Maintenance Mode - как это работает?


Как знают многие пользователи решения для создания отказоустойчивых кластеров VMware vSAN, в данном продукте есть возможность перевода хоста в режим обслуживания (Enter Maintenance Mode, EMM), который позволяет вывести его на время из эксплуатации с сохранением работоспособности кластера в целом. При этом происходит взаимодействие vSAN и механизма балансировки нагрузки VMware vSphere Distributed Resource Scheduler (DRS), который эвакуирует виртуальные машины с хоста ESXi.

Давайте посмотрим, как работает EMM для кластера vSAN, и какие есть опции для данной процедуры. Чтобы перевести хост ESXi в режим обслуживания, надо нажать на него правой кнопкой в vSphere Client и выбрать пункт Maintenance Mode > Enter Maintenance Mode.

Далее мы увидим окно перевода хоста в режим обслуживания, где можно выбрать одну из трех опций:

  • Full Data Migration – это миграция всех компонентов дисковых объектов на другие хосты кластера.
  • Ensure Accessibility – это миграция только тех компонентов, которые есть в кластере в единственном экземпляре. При этом, для некоторых объектов в этом случае не будет соблюдена политика Failures to tolerate (FTT).
  • No Data Migration – в этом случае никакие компоненты не будут перемещены с хоста, поэтому некоторые ВМ могут оказаться недоступными (если на этом хосте их дисковые компоненты находятся в единственном экземпляре, а уровень RAID недостаточен для предоставления доступа к объекту).

С первым пунктом (Full Data Migration) все ясно - он вызывает долговременную процедуру миграции всех дисковых объектов и не всегда оправдан, когда хост ESXi нужно погасить лишь ненадолго. Но если вы выводите хост ESXi из эксплуатации производственного кластера (либо останавливаете, например, на несколько дней), то нужно выбирать именно Full Data Migration.

Давайте подробнее рассмотрим вариант Ensure Accessibility, который как раз подходит для кратковременного обслуживания хоста и последующего его повторного ввода в эксплуатацию. Если у вас достаточно запаса дисковых ресурсов, и виртуальные диски машин работают в RAID-1, то копии дисковых объектов переводимого в режим обслуживания хоста должны быть на других серверах. На картинке ниже реплика объекта C1 есть на другом хосте, поэтому в режиме Ensure Accessibility никаких миграций данных производиться не будет, кластер продолжит работать в режиме полной производительности:

Если же у вас, например, задана политика кластера FTT=1 на четырех хостах, и компоненты дисковых объектов хранятся в соответствии с политикой RAID-5, то картина будет следующей:

В этом случае EMM также не будет перемещать никаких компонентов, так как данные дискового объекта в целом продолжают оставаться доступными. Более подробно о различных вариантах перехода в режим EMM вы можете почитать вот в этой статье.

Между тем, если vSAN object manager будет наблюдать ситуацию несоответствия политики надежности более чем 60 минут (см. параметр Object repair timer в конце статьи), то он, все-таки, запустит синхронизацию дисковых объектов, чтобы их конфигурация в итоге соответствовала действующим политикам.

Кстати, обратите внимание, что такое поведение кластера vSAN - это одна из причин, почему VMware Update Manager не делает обновление хостов ESXi кластера vSAN в параллельном режиме, а проводит это последовательно. Ведь если бы это происходило параллельно, не факт, что можно было бы выполнить требования опции Ensure Accessibility, а также происходило бы много миграций дисковых компонентов.

Кроме того, перед переходом в режим обслуживания хоста, EMM делает полную симуляцию перемещений данных, которые будут проведены в процессе выключения хоста. Например, у нас есть 3 виртуальные машины: vm01 с политикой RAID-0 (без избыточных копий данных), а также машины vm02 и vm03 в режиме RAID-1 (зеркало).

Обратите внимание на картинку ниже:

Здесь показано, что в соответствии с вариантом No data migration 3 дисковых объекта виртуальной машины vm01 окажутся недоступными, а 30, относящихся к vm02 и vm03, не будут соответствовать действующей политике по обеспечению надежности.

Если мы нажмем на ссылку See detailed report, то увидим подробную картину симуляции EMM:

То есть, vm01 окажется недоступной, а vm02 и vm03 будут Non-compliant, пока хост находится в режиме обслуживания.

Если же вы выберете вариант Ensure Accessibility, то прогноз будет следующим:

440 МБ дисковых объектов, относящихся к vm01 будут перемещены, а 30 объектов не будут соответствовать политике, при этом все ВМ останутся доступными. Также в VMware vSAN 6.7 Update 1 появились новые предупреждения о том, что в кластере есть активные процессы синхронизации, а также переходящие или уже перешедшие в режим обслуживания хосты ESXi.

Ну и напомним о настройке Object Repair Timer, которую мы детально рассматривали вот тут. Она то, как раз, и позволяет вам расширить окно обслуживания хоста ESXi в Maintenance Mode, если вам это требуется для проведения какой-то долгой операции. По умолчанию синхронизация не соответствующих политике дисковых объектов начнется через 60 минут:

Удобно, что эта настройка задается на уровне всего кластера vSAN, поэтому не нужно как раньше ходить на каждый хост ESXi и задавать ее.


Таги: VMware, vSAN, HA, ESXi, VMachines, Storage

Увеличение производительности Storage DRS и скорости развертывания ВМ в VMware vSphere 6.7 по сравнению с версией 6.5.


Многие администраторы VMware vSphere весьма консервативны и подолгу не обновляют версию платформы виртуализации, даже когда есть деньги на продление поддержки. Отчасти это верная стратегия - VMware так часто пропускает серьезные баги в мажорных релизах, что многие ждут пока обновление "настоится".

Но долго ждать тоже не стоит, так как можно недополучить преимущества новых версий. Например, всегда от релиза к релизу у платформы vSphere растет производительность в различных аспектах. В частности, давайте посмотрим, как выросла производительность технологии миграции хранилищ Storage DRS в VMware vSphere 6.7 по сравнению с версией 6.5.

VMware провела тестирование двух версий платформы и посмотрела, как быстро происходит генерация рекомендаций DRS в разрезе следующих операций в кластере:

  • CreateVM
  • CloneVM
  • ReconfigureVM (добавление дополнительного диска)
  • RelocateVM (перемещение на другой датастор)
  • Datastore Enter Maintenance (перевод датастора в режим обслуживания)

При одновременном исполнении в кластере множества данных задач одновременно имеет значение своевременное формирование рекомендаций (куда поместить ВМ, куда ее клонировать и т.п.). По итогам тестирования были получены следующие результаты (столбики показывают процент улучшения по времени для 5 одновременных исполняемых операций):

Для 16 одновременных операций:

Отдельно представлен график для операций Datastore Enter Maintenance:

Все это приводит к увеличению скорости развертывания и миграции виртуальных машин и их VMDK-дисков в больших инфраструктурах, где в этом участвует механизм SDRS (генерация рекомендаций по размещению виртуальных машин).


Таги: VMware, Storage DRS, Performance, Storage, ESXi, vSphere, Enterprise

Новая уязвимость L1 Terminal Fault в процессорах Intel - как она касается VMware vSphere, и как с ней бороться.


В догонку к найденным и, вроде бы, поборенным уязвимостям Meltdown и Spectre, в процессорах Intel нашли еще одну потенциальную дыру - L1 Terminal Fault Vulnerability, которая затрагивает современные процессоры (2009-2018 годов выпуска) и гипервизор VMware ESXi (а также и все остальные гипервизоры).

Для начала надо сказать, что на днях стали доступны вот такие патчи для платформы виртуализации VMware vSphere, которые настоятельно рекомендуется установить:

VMware vCenter:

VMware ESXi:

Суть уязвимости, описанной в CVE-2018-3646 заключается в том, что виртуальная машина, исполняемая на конкретном ядре, может получить доступ к данным других машин, использующих это ядро, или самого гипервизора через L1 Data Cache, который совместно используется машинами, выполняющими команды на данном ядре.

Для такой уязвимости возможны 2 типа векторов атаки:

  • Sequential-context - вредоносная машина получает доступ к данным другой ВМ, которая исполнялась на этом ядре ранее и получала доступ к кэшу L1.
  • Concurrent-context - вредоносная машина прямо сейчас получает доступ к данным ВМ или гипервизора, которые исполняются планировщиком на этом ядре.

Решение вопроса уровня Sequential-context заключается просто в накатывании патчей, которые не должны приводить к падению производительности (как это было с Meltdown и Spectre). А вот для избавления от риска применения вектора атаки Concurrent-context нужно включить фичу, которая называется ESXi Side-Channel-Aware Scheduler. И вот в этом случае влияние на производительность может уже быть существенным, поэтому нужно либо принять риск Concurrent-context, либо следить за производительностью систем.

Таким образом, процесс обновления инфраструктуры VMware vSphere должен выглядеть так:

  • Обновляете сначала серверы vCenter, потом хосты ESXi.
  • Смотрите, есть ли на хостах запас по CPU на случай возникновения проблем с производительностью.
  • Если запас есть - включаете функцию ESXi Side-Channel-Aware Scheduler и наблюдаете за производительностью систем по CPU.

Детальные инструкции по включению ESXi Side-Channel-Aware Scheduler вы найдете здесь. Действовать нужно по следующей схеме:

Ну и в заключение, вот список процессоров, которые подвержены атакам типа L1 Terminal Fault:

Кодовое имя процессора Intel FMS Товарное наименование Intel
Nehalem-EP 0x106a5 Intel Xeon 35xx Series;
Intel Xeon 55xx Series
Lynnfield 0x106e5 Intel Xeon 34xx Lynnfield Series
Clarkdale 0x20652 Intel i3/i5 Clarkdale Series;
Intel Xeon 34xx Clarkdale Series
Arrandale 0x20655 Intel Core i7-620LE Processor
Sandy Bridge DT 0x206a7 Intel Xeon E3-1100 Series;
Intel Xeon E3-1200 Series;
Intel i7-2655-LE Series;  Intel i3-2100 Series
Westmere EP 0x206c2 Intel Xeon 56xx Series;
Intel Xeon 36xx Series
Sandy Bridge EP 0x206d7 Intel Pentium 1400 Series;
Intel Xeon E5-1400 Series;
Intel Xeon E5-1600 Series;
Intel Xeon E5-2400 Series;
Intel Xeon E5-2600 Series;
Intel Xeon E5-4600 Series
Nehalem EX 0x206e6 Intel Xeon 65xx Series;
Intel Xeon 75xx Series
Westmere EX 0x206f2 Intel Xeon E7-8800 Series;
Intel Xeon E7-4800 Series;
Intel Xeon E7-2800 Series
Ivy Bridge DT 0x306a9 Intel i3-3200 Series; Intel i7-3500-LE/UE, Intel i7-3600-QE,
Intel Xeon E3-1200-v2 Series;
Intel Xeon E3-1100-C-v2 Series;
Intel Pentium B925C
Haswell DT 0x306c3 Intel Xeon E3-1200-v3 Series
Ivy Bridge EP 0x306e4 Intel Xeon E5-4600-v2 Series;
Intel Xeon E5-2400-v2 Series;
Intel Xeon E5-2600-v2 Series;
Intel Xeon E5-1400-v2 Series;
Intel Xeon E5-2600-v2 Series
Ivy Bridge EX 0x306e7 Intel Xeon E7-8800/4800/2800-v2 Series
Haswell EP 0x306f2 Intel Xeon E5-2400-v3 Series;
Intel Xeon E5-1400-v3 Series;
Intel Xeon E5-1600-v3 Series;
Intel Xeon E5-2600-v3 Series;
Intel Xeon E5-4600-v3 Series
Haswell EX 0x306f4 Intel Xeon E7-8800/4800-v3 Series
Broadwell H 0x40671 Intel Core i7-5700EQ;
Intel Xeon E3-1200-v4 Series
Avoton 0x406d8 Intel Atom C2300 Series;
Intel Atom C2500 Series;
Intel Atom C2700 Series
Broadwell EP/EX 0x406f1 Intel Xeon E7-8800/4800-v4 Series;
Intel Xeon E5-4600-v4 Series;
Intel Xeon E5-2600-v4 Series;
Intel Xeon E5-1600-v4 Series
Skylake SP 0x50654 Intel Xeon Platinum 8100 (Skylake-SP) Series;
Intel Xeon Gold 6100/5100 (Skylake-SP) Series
Intel Xeon Silver 4100, Bronze 3100 (Skylake-SP) Series
Broadwell DE 0x50662 Intel Xeon D-1500 Series
Broadwell DE 0x50663 Intel Xeon D-1500 Series
Broadwell DE 0x50664 Intel Xeon D-1500 Series
Broadwell NS 0x50665 Intel Xeon D-1500 Series
Skylake H/S 0x506e3 Intel Xeon E3-1500-v5 Series;
Intel Xeon E3-1200-v5 Series
Kaby Lake H/S/X 0x906e9 Intel Xeon E3-1200-v6

Таги: VMware, vSphere, Security, ESXi, Intel, CPU, Update, vCenter

Вышел обновленный VMware ESXi Embedded Host Client 1.32 - что нового?


Во время проходящей сейчас в Барселоне конференции VMworld Europe 2018 компания VMware выпустила обновление клиента для управления отдельными хостами ESXi - Embedded Host Client версии 1.32. Напомним, что прошлая версия этого продукта была выпущена еще в июле этого года, поэтому обновления пришлось ждать довольно долго.

Давайте посмотрим, что нового появилось в Host Client 1.32:

  • Улучшения функций Import / Export:
    • Файлы ISO и NVRAM теперь можно экспортировать и импортировать (если это поддерживается соответствующей версией ESXi).
    • При экспорте машины можно выбрать только некоторые файлы.
    • Все расширенные настройки ВМ экспортируются по умолчанию.
    • Было исправлено несколько багов в мастере экспорта.
  • Общие улучшения:
    • Предварительный просмотр прав доступа (пермиссий) теперь отображается корректно.
    • Пакеты Support Bundles теперь генерируются на лету.
    • Восстановлена функциональность работы под доменным пользователем.
    • Адреса устройств Fibre Channel WWN отображаются в шестнадцатиричном формате.

Скачать VMware ESXi Embedded Host Client 1.32 можно по этой ссылке.


Таги: VMware, ESXi, Client, Update, Labs

Вышел VMware vSphere 6.7 Update 1 Security Configuration Guide (бывший Hardening Guide).


На днях компания VMware выпустила финальную версию своего руководства по обеспечению безопасности виртуальной инфраструктуры vSphere 6.7 Update 1 Security Configuration Guide. Напомним, что ранее мы писали о документе vSphere 6.5 Update 1 SCG, который описывал основные аспекты обеспечения безопасности прошлой версии платформы (оказывается, был и гайд по vSphere 6.7 - он публично не анонсировался, но теперь находится в статусе Deprecated).

Напомним, что этот документ доносит концепцию "Secure by design", что означает, что среда VMware vSphere изначально настроена оптимальным образом с точки зрения безопасности, поэтому вносить изменения вам нужно только в случае наличия каких-либо специальных требований в вашей инфраструктуре.

В документе, помимо описания рекомендуемой настройки и лога изменений, есть следующие полезные колонки:

  • Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
  • Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
  • Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено администратором необоснованно. 
  • Desired value - рекомендуемое значение, оно же и является значением по умолчанию, если это не site specific.

Сейчас распределение по этим настройкам выглядит так (50 настроек в vSphere 6.7 U1 против 68 опций в версии vSphere 6.5 U1):

Давайте посмотрим на отличие vSphere 6.7 U1 SCG от прошлых версий руководства:

  • Появились настройки категории deprecated - они описывают параметры ESXi или vCenter, которые больше нет необходимости изменять, так как они потеряли актуальность. Все настройки этой категории приведены в отдельном документе, который настоятельно рекомендуется изучить. Если вы их использовали - то лучше перестать это делать, так как это только добавляет дополнительной работы по их обслуживанию.
  • Больше нет категории "Risk Profiles". Причина в том, что только настройка "ESXi.enable-strict-lockdown-mode" подпадает под Risk Profile 1, а остальные находятся во 2-й или 3-й категории, поэтому было решено отказаться от этой таксономии. Вместо этого было добавлено больше содержимого в колонку Vulnerability Discussion, где обсуждаются конкретные факторы риска.
  • Настройка vNetwork.enable-bpdu-filter переместилась из категории Hardening в Site Specific, так как при нормальных условиях функционирования сети ее менять не требуется (а она также затрагивает конфигурацию аппаратных коммутаторов и гостевой ОС). Да, она защищает от Spanning Tree Loops, но в нормально настроенной сетевой конфигурации менять ее не следует.

В гифке ниже можно посмотреть прогресс Security Configuration Guide с версии vSphere 6.5:

Скачать VMware vSphere 6.7 Update 1 Security Configuration Guide можно по этой ссылке.


Таги: VMware, vSphere, Security, Hardening, Update, ESXi, vCenter

Обновленные образы VMware ESXi 6.5 и 6.0 от 23 октября.


Наш читатель Илья обратил внимание на то, что совсем недавно, 23 октября, компания VMware обновила образы своего гипервизора не последних мажорных версий - а именно вышли обновления:

1. Для VMware ESXi 6.5 вышло обновление ESXi-6.5.0-20181004002-standard (Build 10390116).

Оно включает в себя следующие VIB-пакеты:

NameVersionVendorSummaryCategorySeverityBulletin
esx-base6.5.0-2.64.10390116VMwareUpdates the ESX 6.5.0 esx-basebugfiximportantESXi650-201810402-BG
esx-tboot6.5.0-2.64.10390116VMwareUpdates the ESX 6.5.0 esx-tbootbugfiximportantESXi650-201810402-BG
vsan6.5.0-2.64.10390117VMwareUpdates the ESX 6.5.0 vsanbugfixcriticalESXi650-201810402-BG
vsanhealth6.5.0-2.64.10390118VMwareESXi VSAN Health ServicebugfixcriticalESXi650-201810402-BG

В этом обновлении исправлены следующие ошибки:

  • Большой поток ввода-вывода к машине со снапшотом диска типа SEsparse мог вызвать неконсистентность файловой системы.
  • Дисковая группа со включенной дедупликацией могла быть помечена как хранилище с ошибками без оставшегося свободного места, хотя это было не так.

Накатить обновление VMware ESXi 6.5 можно с помощью этих команд:

esxcli network firewall ruleset set -e true -r httpClient
esxcli software profile update -p ESXi-6.0.0-20180804001-standard \
-d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
esxcli network firewall ruleset set -e false -r httpClient

После этого надо перезагрузить хост ESXi.

2. Для VMware ESXi 6.0 вышло обновление ESXi-6.0.0-20181004001-standard (Build 10474991).

Оно включает в себя следующие пакеты:

NameVersionVendorSummaryCategorySeverityBulletin
esx-base6.0.0-3.107.10474991VMwareUpdates the ESX 6.0.0 esx-basebugfixcriticalESXi600-201810401-BG
misc-drivers6.0.0-3.107.10474991VMwareUpdates the ESX 6.0.0 misc-driversbugfiximportantESXi600-201810404-BG
sata-ahci3.0-28vmw.600.3.107.10474991VMwareUpdates the ESX 6.0.0 sata-ahcibugfiximportantESXi600-201810402-BG
vsan6.0.0-3.107.10400677VMwareESXi VSANbugfixcriticalESXi600-201810401-BG
vsanhealth6.0.0-3000000.3.0.3.107.10400679VMwareUpdates the ESX 6.0.0 vsanhealthbugfiximportantESXi600-201810401-BG
xhci-xhci1.0-3vmw.600.3.107.10474991VMwareUpdates the ESX 6.0.0 xhci-xhcibugfiximportantESXi600-201810403-BG

В этом обновлении пофикшены некоторые критические ошибки:

  • Большой поток ввода-вывода к машине со снапшотом диска типа SEsparse мог вызвать неконсистентность файловой системы.
  • Дисковая группа со включенной дедупликацией могла быть помечена как хранилище с ошибками без оставшегося свободного места, хотя это было не так.
  • Пофикшена ошибка для SATA-контроллера Marvell 9230.
  • Компонент ESXi VMKernel мог упасть при наличии малого объема памяти и древнем стеке драйверов USB.

Накатить обновление VMware ESXi 6.5 можно с помощью этих команд:

esxcli network firewall ruleset set -e true -r httpClient
esxcli software profile update -p ESXi-6.0.0-20181004001-standard \
-d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
esxcli network firewall ruleset set -e false -r httpClient

После этого надо перезагрузить хост ESXi.


Таги: VMware, ESXi, Update

Что такое и как работает Network I/O Control (NIOC) в VMware vSphere 6.7.


Не все администраторы платформы виртуализации VMware vSphere знают, что такое Network I/O Control (NIOC). Причина проста - функции механизма регулирования полосы пропускания NIOC для различных видов трафика на стороне vSphere Distributed Switch (vDS) есть только в издании vSphere Enterprise Plus, которое, как правило, приобретают большие и средние компании.

Давайте посмотрим, что такое NIOC и разберем эту функциональность на примерах. Прежде всего, функция NIOC появилась тогда, когда с появлением сетей 10G стало понятно, что можно делать сетевую инфраструктуру на хостах ESXi с небольшим числом сетевых адаптеров, обладающих высокой пропускной способностью. Но в этих условиях также стало ясно, что сетевой трафик, идущий по таким сетям, надо в рамках того же 10G-канала как-то разграничивать.

NIOC позволяет системным и сетевым администраторам настраивать приоритизацию следующих видов трафика для пула сетевых адаптеров хостов ESXi:

  • Fault tolerance traffic
  • iSCSI traffic
  • vMotion traffic
  • Management traffic
  • vSphere Replication traffic
  • Network file system (NFS) traffic
  • Virtual machine (VM) traffic
  • User-defined traffic

Механизм NIOC появился еще в 2010 году в VMware vSphere 4.1, и с тех пор был очень сильно доработан (сейчас в vSphere 6.7 Update 1 доступна третья версия NIOC v3).

В интерфейсе HTML5-клиента vSphere Client эти настройки выглядят так (новый клиент полностью поддерживает рабочие процессы NIOC):

В vSphere Web Client вы можете увидеть эти настройки по адресу vDS > Manage > Resource Allocation > System traffic:

Механизм NIOC включен по умолчанию (для vSphere 6.0 и выше), но для типов трафика не заданы никакие ограничения (Limit) и резервации (Reservation) - только приоритеты между типами трафика (Shares). Работают эти 3 техники регулирования типа трафика так же, как и аналогичные механизмы для хранилищ или вычислительных ресурсов:

  • Reservation - гарантирует тому или иному типу трафика пропускную способность канала в Мбит/с. Важно помнить, что эта ширина канала резервируется, но в случае ее простоя ее смогут использовать другие типы системного трафика. Между тем, простой канала зарезервированного системного трафика не дает возможность распределить полосу на виртуальные машины. В любом случае, Reservation (если он вам очень нужен) нужно выставлять таким, чтобы обеспечить только минимальные запросы сервиса для его функционирования, а не средние и максимальные.
  • Limit - ограничивает сверху используемый канал для выбранного типа трафика.
  • Shares - с помощью чисел приоритета (от 1 до 100) позволяет выделить группы которые будут получать больше или меньше пропускной способности канала (например, если одна группа имеет 100, а другая 50 - то первая будет получать в два раза больше на фоне распределения всего трафика адаптеров по группам). Механизм этот начинает распределять канал после раздачи всех заданных резерваций.

Есть еще один нюанс - только 75% совокупной ширины канала на хосте ESXi может быть зарезервировано (а если говорить точнее - от адаптера с самой низкой пропускной способностью в этой группе на хосте). Остальные 25% остаются на всякий случай (например, компенсация всплесков управляющего трафика). Все, что не распределено с помощью Reservation, будет регулироваться средствами механизма Shares.

Для изменения резервации, лимита или shares категорий системного трафика надо открыть настройки конкретного типа трафика:

Для удобства Shares можно указывать не цифрами, а выбрать из комбо-бокса один из вариантов - Low (25), Normal (50) и High (100). В этом случае цифры для Shares автоматически подберутся (они указаны в скобках), чтобы составлять верные соотношения согласно выставленным приоритетам. После выставления этих параметров они будут применены на всех физических адаптерах хостов ESXi, подключенных к распределенному коммутатору vDS на сервере vCenter.

Когда вы задаете Reservation, максимальная пропускная способность для данного типа трафика будет равна этому значению, умноженному на число физических адаптеров на хостах, выделенных для этого типа трафика.

NIOC v3 также позволяет сконфигурировать резервации как на уровне отдельных виртуальных машин (в свойствах адаптера), так и создавать собственные пользовательские пулы (User-Defined Network Resource Pools), которые являются подмножеством корневого пула Virtual machine (VM) traffic.

Для User-Defined Network Resource Pools выставление лимитов и Shares не предусмотрено - только Reservation.

В свойствах адаптера vNIC резервации на уровне отдельной ВМ можно выставить в ее настройках (это только гарантированная полоса, но машина может использовать и больше, если есть доступные ресурсы):

Если вы выставляете Reservation для адаптеров виртуальных машин, то их суммарная резервация не может быть больше, чем резервация для VM system traffic на этом хосте:

Если нужно настроить сетевые пулы ресурсов для групп виртуальных машин, то нужно создать новый пул в Web Client:

А потом указать резервацию для него:

Потом этот пул нужно указать при настройке распределенной группы портов на распределенном коммутаторе vDS:

Ну а к этой распределенной группе портов нужно уже подключить виртуальные машины, которые на всех получат эту резервацию.

При этом если вы задали резервацию 1 Мбит/с, а физических адаптеров на хосте ESXi у вас 5, то такая распределенная группа портов получит до 5 Мбит/с на свои виртуальные машины.

В итоге картина выглядит подобным образом:

Когда вы создадите новый пул в разделе Network Resource Pools, вы сможете посмотреть список виртуальных машин в нем на вкладке Virtual Machines:

Ну и напоследок отметим, что лимиты для сетевых адаптеров машин должны согласовываться с лимитами политики traffic shaping для распределенной группы портов, куда они воткнуты. Например, если для адаптера выставлен лимит 200 Мбит/с, а для всей порт-группы на vDS только 100 Мбит/с, то эффективным ограничением будет именно 100 Мбит/с.


Таги: VMware, vSphere, NIOC, Networking, Performance, Обучение, ESXi, vDS

Платформа VMware vSphere 6.7 Update 1 и решение vSAN 6.7 Update 1 доступны для скачивания!


Спустя несколько недель ожидания после анонса обновленной версии платформы виртуализации VMware vSphere 6.7 Update 1, компания VMware сделала ее доступной для загрузки. Скачать продукт, включая ESXi 6.7 Update 1 и vCenter 6.7 Update 1, можно по этой ссылке:

https://my.vmware.com/en/web/vmware/info/slug/datacenter_cloud_infrastructure/vmware_vsphere/6_7

Напомним, что обо всех новых возможностях этого решения мы писали вот тут. Кроме того, в составе vSpher 6.1 Update 1 стал доступен и VMware vSAN 6.7 Update 1, про который мы писали вот тут.

Ну и главная новость этого релиза - это, бесспорно, полнофункциональный vSphere Client на базе HTML5! Мы ждали этого годами, и это сбылось. Вот пост об этом от VMware, там много подробностей, о которых мы скоро тоже расскажем.

Для него, кстати, доступна темная тема (см. последние наши новости о vSphere Client 3.42):

Клиент на HTML5 включает в себя не только все старые рабочие процессы, но и новые возможности, такие как упрощенная настройка механизма отказоустойчивости vCenter HA (VCHA) и функции обновлений vSphere Update Manager (VUM).

Вкратце суммаризуем все новые возможности VMware vSphere 6.7 Update 1:

  • Полнофункциональный VMware vSphere Client на базе HTML5
  • Утилита vCenter Server Converge Tool для миграции на внедренный (embedded) PSC
  • Новая версия vSAN и улучшения HCI (обновления микрокода через Update Manager)
  • Улучшения Content Library
  • vMotion для карточек NVIDIA Quadro vDWS и поддержка Intel FPGA

Отдельно давайте посмотрим, а что нового появилось в VMware vSAN 6.7 Update 1:

  • Новый мастер Cluster quickstart
  • Обновление драйверов и firmware через Update Manager
  • Механизмы защиты при выводе хостов из эксплуатации и переводе в режим обслуживания
  • Разные представления vROPs для обычных и растянутых кластеров vSAN
  • Улучшенные возможности Capacity reporting
  • Поддержка TRIM/UNMAP
  • Поддержка режима Mixed MTU для растянутых кластеров
  • Обновленные средства для сайзинга инфраструктуры
  • Улучшенные функции Health Check
  • Улучшенная диагностика для персонала поддержки VMware GSS

Обновить VMware vCenter Server Appliance 6.7 на Update 1 можно через интерфейс VAMI (vCenter Appliance Management Interface, он же Appliance Management User Interface или MUI):

Ну и, конечно же, скоро будет много интересных статей про отдельные фичи. Не забывайте наведываться.


Таги: VMware, vSphere, Update, vSAN, ESXi, vCenter

Бесплатное решение SexiGraf для мониторинга виртуальной инфраструктуры VMware vSphere - 17 самых интересных панелей.


Один из наших читателей Сергей справедливо отметил, что мы обошли вниманием бесплатное решение SexiGraf, предназначенное для мониторинга виртуальной инфраструктуры VMware vSphere. Оно было сделано энтузиастами (Raphael Schitz и Frederic Martin) в качестве альтернативы платным продуктам для мониторинга серверов ESXi и виртуальных машин.

Представления SexiPanels для различных метрик в различных разрезах есть не только для VMware vSphere и vSAN, но и для ОС Windows и FreeNAS, но мы остановимся только на панелях для vSphere. Да и то, давайте посмотрим только на 17 самых интересных из них, поскольку различных фильтров, вариаций и комбинаций этих панелей и представлений очень много, все в одну статью не поместится.

SexiGraf представляет собой виртуальный модуль (Virtual Appliance) с веб-интерфейсом администрирования, который можно удобно настроить под себя. Давайте посмотрим, какие самые интересные представления есть в SexiGraf:

1. Полная статистика по одному или нескольким кластерам.

Кое-что здесь взято из раздела производительности vCenter, но большинство метрик отличаются и могут быть вам очень интересны:

2. Полная статистика по одному или нескольким серверам ESXi.

Это представление похоже на предыдущее, только статистика по датасторам и адаптерам vmnic не агрегируется и представляется отдельно:

3. Планирование емкости одного или нескольких кластеров.

Прикольная штука - задаете кластер (один или несколько), масштаб заполнения для процессорных ресурсов (scale) и получаете статистики по числу используемых виртуальных машин и сколько их еще можно в кластер вместить:

4. Использование процессоров и памяти.

Можно выбрать один или несколько кластеров, сравнить их между собой, а также представить агрегированные данные по всей инфраструктуре:

5. Хранилища по IOPS и Latency.

Можно вывести датасторы и сравнить их по числу операций в секунду (IOPS) и возникающей задержке:

6. Агрегированное заполнение ресурсов по кластерам.

Выбираем кластер, и нам показывают...Читать статью далее->>


Таги: VMware, ESXi, Monitoring, Бесплатно, vSphere, Virtual Appliance, Performance

Сентябрьские кастомные образы HP гипервизора VMware ESXi.


Не все знают, что на днях на сайте VMware стали доступны для загрузки ISO-образы VMware ESXi, кастомизированные для серверов HP. Они включают в себя все патчи, обновления и сертифицированные драйверы, доступные на 27 сентября этого года.

ISO-образы ESXi доступны для следующих версий платформ:

  • vSphere 6.7
  • vSphere 6.5 U2
  • vSphere 6.0 U3

Также компания HPE выпустила 2 версии образов кастомного ESXi:

  • С поддержкой серверов Gen9 и более поздних версий.
  • Кастомный образ для серверов до Gen 9.

Кстати, кастомизированный ISO для vSphere 6.7 есть только для серверов Gen9 и более поздних версий, если у вас Gen8 и ниже будет доступен максимум ESXi 6.5 U2. Вот тут вы можете посмотреть матрицу поддержки VMware ESXi и серверов HPE.

Вот, например, что мы видим для блейдов и подтверждает слова выше:

Ну и, собственно, ссылки на сами VMware ESXi HP Custom ISO:


Таги: VMware, HP, ESXi, Update, Hardware

Анонсы VMworld 2018: обновление платформы виртуализации VMware vSphere 6.7 Update 1. Полноценный клиент на HTML5!


На днях в Лас-Вегасе началась конференция VMworld 2018 - главное в году событие в сфере виртуализации. Компания VMware уже в первый день представила немало анонсов новых продуктов и решений, но одним из главных стало объявление о выпуске обновления серверной платформы виртуализации VMware vSphere 6.7 Update 1.

На картинке выше приведены 5 основных новых возможностей vSphere 6.7 U1, давайте посмотрим на них поближе:

1. Полнофункциональный VMware vSphere Client на базе HTML5.

Наконец-то свершилось - VMware выпустила полную версию vSphere Client на базе технологии HTML5, которая заменяет собой устаревший vSphere Web Client. Теперь все операции можно будет делать через один удобный и быстрый клиент. Напомним, что VMware очень долго к этому шла, постоянно откладывала релиз полной версии, но в итоге пользователи получат единый инструмент управления виртуальной инфраструктурой.

Теперь клиент на HTML5 включает в себя не только все старые рабочие процессы, но и новые возможности, такие как упрощенная настройка механизма отказоустойчивости vCenter HA (VCHA) и функции обновлений vSphere Update Manager (VUM). Теперь нет нескольких рабочих процессов, делающих то же самое (раньше были Basic и Advanced), а также улучшились функции работы с Content Library, появился расширенный поиск, упростилась настройка запланированных задач и появились графики top-N (топы по использованию ресурсов).

2. Утилита vCenter Server Converge Tool.

Эта новая утилита позволяет смигрировать внешний сервер Platform Services Controller (PSC) на простой в управлении embedded PSC. Проблема заключалась в том, что ранее пользователи использовали внешний PSC, поскольку он поддерживал Enhanced Linked Mode (ELM). И несмотря на то, что внедренный PSC стал поддерживать ELM еще в vSphere 6.7 и vSphere 6.5 Update 2, многие пользователи еще с предыдущих версий поддерживают комплексную инфраструктуру внешних PSC с репликацией между площадками.

Сейчас все стало проще - утилита vCenter Server Converge Tool устанавливает embedded PSC на vCenter Server Appliance (vCSA), после чего налаживает канал репликации с оставшимися внешними PSC. После того, как эта процедура пройдет на всех площадках, вы сможете отключить внешние PSC, а встроенный механизм vCenter HA сам настроится на работу с внедренными PSC.

Теперь вам не нужны сложные HA-топологии PSC с балансировщиками на разных площадках, серверы vCSA с внедренными PSC на них можно просто соединить между собой.

Утилита vCenter Server Converge Tool работает из командной строки (команда vcsa-converge-cli) и поставляется в комплекте с установщиком vCSA. Ее можно запускать в ОС Windows, macOS и Linux, а конфигурируется она через файл в формате JSON:

Еще одна задача, которая была решена - vCenter Server с компонентом embedded PSC теперь можно перенаправить на другой домен vSphere SSO (это позволяет более гибко распределять и разделять домены SSO в корпоративной инфраструктуре). Ранее это было сделано только для внешних SSO, а теперь доступно и для vCSA.

3. Новая версия vSAN и улучшения HCI.

В новой версии vSAN появилась функция Cluster Quickstart, которая позволяет инициализировать кластер, добавить в него хосты и накатить идентичную конфигурацию на них. Она включает в себя настройку механизмов HA и DRS, Enhanced vMotion Compatibility (EVC), датасторов vSAN и сетевого взаимодействия, включая Virtual Distributed Switch (VDS).

Этот воркфлоу можно использовать и для добавления новых хост-серверов ESXi в кластер, а также для его валидации (проверка корректности и идентичности настроек на всех хостах с оповещением о найденных несоответствиях).

Также появилась интеграция микрокода контроллера ввода-вывода с vSphere Update Manager (VUM), который использует утилиту обновления драйверов от вендора сервера. Таким образом, обновление драйвера I/O-адаптера можно включить в цикл обновления хоста и не заниматься этим отдельно.

Если VUM не нашел утилиты обновления от вендора, он предлагает загрузить ее (можно использовать как дефолтный, так и свой репозиторий):

4. Улучшения Content Library.

Теперь OVA-шаблоны можно импортировать из HTTPS-источника или с локального хранилища. Также содержимое OVA-пакетов можно синхронизировать между несколькими серверами vCSA (сами шаблоны синхронизировать пока нельзя). Content Library обрабатывает сертификаты и файлы манифеста, входящие в OVA-пакеты в соответствии с лучшими практиками безопасности.

Content Library также нативно поддерживает формат шаблонов VMTX и ассоциирует с ними операции, такие как развертывание ВМ напрямую из Content Library.

5. vMotion для карточек NVIDIA Quadro vDWS и поддержка Intel FPGA.

Теперь технология NVIDIA Quadro vDWS (ранее она называлась GRID) для vGPU поддерживается со стороны vSphere 6.7 Update 1. Напомним, что ранее была введена поддержка операций Suspend/Resume для GRID, а теперь появилась и поддержка горячей миграции vMotion для машин с привязкой к карточкам NVIDIA Quadro vDWS. Это позволит обновлять хосты с тяжелыми операциями (например, десктопы с CAD-приложениями) без прерывания работы пользователей.

Также VMware объявила о поддержке карточек Intel Programmable Acceleration Card с технологией Intel Arria 10 GX FPGA. Эта технология позволяет получить прямой доступ к оборудованию с помощью механизма VMware DirectPath I/O через Intel Acceleration Stack для процессоров Intel Xeon CPU с FPGA.

Также в рамках VMworld 2018 было анонсировано новое издание - vSphere Platinum, которое предоставляет расширенные функции обеспечения безопасности для корпоративной инфраструктуры. О нем мы расскажем в следующей статье.

О дате доступности для загрузки обновления VMware vSphere 6.7 Update 1 пока не сообщается.


Таги: VMware, vSphere, Update, VMworld2018, ESXi, vCenter, vCSA, vSAN

Вышла новая версия VMware ESXi Embedded Host Client 1.31.


Компания VMware выпустила обновленную версию своего клиента для управления отдельными хост-серверами - VMware ESXi Embedded Host Client 1.31. Напомним, что о прошлом релизе клиента, который вышел в марте этого года, мы писали вот тут (это версия 29, тридцатую пропустили).

Давайте посмотрим, что нового появилось в Host Client 1.31:

  • Исправлены проблемы, которые проявлялись в некорректном выборе значений комбо-боксов.
  • Обновился пользовательский интерфейс настроек клиента синхронизации времени NTP.
  • Фреймворк AngularJS был обновлен до версии 1.6.10.
  • Исправлены некоторые ошибки.

Маловато для четырех месяцев с момента выпуска прошлой версии, но все же лучше, чем ничего. К сожалению, прошлая версия также не содержала в себе значимого нового функционала.

После того, как вы загрузите VIB-пакет с Host Client, используйте следующую команду для его установки на ESXi:

ssh root@<esx ip or hostname> esxcli software vib install -v <path_to_vib>

После этого вы сможете получить доступ к интерфейсу клиента по адресу:

https://<esx ip or hostname>/ui

Скачать VMware ESXi Embedded Host Client 1.31 можно по этой ссылке.


Таги: VMware, ESXi, Client, Update, Labs

Растянутый кластер, Witness VM и лицензия VMware vCenter Server Foundation.


Некоторые из вас знают, что у VMware есть лицензия VMware vCenter Server Foundation, которая позволяет подцепить к серверу vCenter до 4 хостов VMware ESXi. Такая лицензия стоит дешевле обычного vCenter и позволяет построить растянутый кластер (stretched cluster) из четырех хостов ESXi, например, на уровне основного датацентра и филиала (это обеспечивает отказоустойчивость HA на уровне каждой площадки):

Проблема здесь возникает тогда, когда вы пытаетесь добавить виртуальный модуль Witness Virtual Appliance на один из хостов. Так как Witness VM - это виртуальный хост ESXi, то несмотря на то, что он не исполняет виртуальных машин, сервер vCenter считает его пятым хостом и отказывается добавлять его.

Решение проблемы описано в Release Notes для VMware vCenter Server 6.5 Update 2 (см. пункт в самом низу) - нужно просто с самого начала импортировать Witness VM в inventory сервера vCenter (при добавлении первым он не будет съедать лицензию), после чего уже добавить 4 хоста ESXi, которые в этом случае подцепятся без проблем.


Таги: VMware, vCenter, HA, ESXi, Troubleshooting, DR

Новые Rollup Bulletins в VMware Update Manager для обновления инфраструктуры vSphere.


Как вы знаете, компания VMware часто выпускает обновления для платформы VMware ESXi, которые закрывают проблемы безопасности и содержат исправления ошибок. Эти обновления можно загрузить вручную через портал My VMware или автоматически накатить через VMware Update Manager (VUM). Обновление содержит коллекцию VIB-пакетов, которые последовательно накатываются в среде ESXi. Эта коллекция VIB объединяется в бюллетень (bulletin), чтобы соблюсти порядок установки и зависимости, которые между ними заложены. Одно обновление содержит один или несколько бюллетеней.

Есть два типа бюллетеней для обновления VMware vSphere: патчи (patches) и роллапы (rollups). При любом выпуске обновления для ESXi есть как минимум бюллетень, который содержит основные системные пакеты - esx-base, vsan, and vsanhealth. Также в обновление могут быть включены и другие бюллетени, если есть необходимость в их обновлении.

Если обновление небольшое, то оно называется патчем (patch) и содержит небольшой набор пакетов, который закрывает дырки безопасности и некоторые баги. Время от времени VMware выпускает большой набор обновлений, который содержит не только исправления ошибок, но и некоторые новые возможности - оно называется rollup.

Раньше администраторам довольно трудно было убедиться, что у них накатаны все необходимые патчи в промежутке времени между большими мажорными релизами VMware vSphere. Теперь же, начиная с июня этого года, вместе с каждым патчем выходит еще и rollup update, который содержит в себе все обновления пакетов, которые произошли с момента последнего релиза VMware vSphere.

Вот так это выглядит в VMware Update Manager:

Все эти обновления описаны в соответствующей статье базы знаний VMware. Например, взгляните на VMware KB 55917 - там описаны все бюллетени обновления ESXi670-201806001 с соответствующими ссылками на их KB, а также указан rollup bulletin, который содержит все обновления VIB-пакетов с момента последнего релиза, в данном случае VMware ESXi 6.7:

Теперь можно просто накатывать этот роллап и не волноваться, что в вашей инфраструктуре что-то не обновлено.

 


Таги: VMware, Update, vSphere, ESXi, Update Manager, Security

Обновленная версия ESXi Compatibility Checker - офлайн режим и другие нововведения.


Недавно мы писали о новой утилите на сайте проекта VMware Labs - ESXi Compatibility Checker, которая представляет собой Python-скрипт, проверяющий аппаратные компоненты хост-серверов на совместимость с платформой VMware vSphere и ее различными версиями. На днях вышла обновленная версия этого сценария, которая имеет несколько важных нововведений.

1. Офлайн режим работы.

Теперь можно собрать данные об аппаратных конфигурациях в формате JSON на системе без доступа к интернету, а потом проверить собранные конфигурации на другой системе с онлайн-доступом на предмет соответствия требованиям HCL (Hardware Compatibility List).

Для сбора конфигурации нужно использовать такую команду:

$compchecker.py -s <host> -u <user> -g <json-data-filename>

А для проверки на аппаратные требования такую:

$compchecker.py -f <json-data-filename>

2. Поддержка нескольких серверов vCenter.

Теперь оператор -s поддерживает несколько имен хостов через запятую. Таким образом, вы получите один отчет о совместимости для нескольких управляющих серверов vCenter. Делается это следующей командой:

$compchecker.py -s <host1>,<host2>,<host3> -u <user>(,<user>)

3. Новая информация в отчете.

Теперь в отчете есть такая информация об окружении, как "Installed Release", "Checked Release", а также информация об аппаратном обеспечении.

4. Задание прокси-сервера для работы скрипта.

С помощью параметра -p можно задать адрес прокси-сервера, через который будет происходить коммуникация при проверке аппаратных конфигураций.

Скачать скрипт ESXi Compatibility Checker можно по этой ссылке.


Таги: VMware, Labs, ESXi, Compatibility, Hardware

Настройка NTP-клиента для синхронизации времени на хосте VMware ESXi с помощью VMware Host Client.


Не так давно мы писали о том, что вышло обновление клиента VMware ESXi Embedded Host Client, позволяющего управлять хост-сервером ESXi через удобный веб-интерфейс. Сегодня мы поговорим о настройке клиента NTP на хосте, который необходим, чтобы виртуальные машины синхронизировали свое время с хостом через VMware Tools. Тулзы синхронизируют свое время при старте машин, операциях по созданию снапшотов (а значит и при создании бэкапов), vMotion и некоторых других событиях.

Если на хосте установлено неправильное время, то это может привести к проблемам при логине, а также невозможности старта службы vpxd на сервере vCenter Server Appliance (vCSA).

Давайте запустим ESXi Host Client по ссылке:

https://<esxi_ip_or_hostname>/UI

Далее нужно пойти в Manage > System > Time and Date, где нажать Edit settings:

Появится диалог настройки синхронизации времени хоста средствами службы NTP (ESXi NTP Client).

В поле NTP Servers нужно указать адрес сервера времени, а в поле NTP service startup policy есть 3 варианта:

  • Start and stop with port usage - если выставлена эта опция, то службы NTP будут запускаться автоматически при доступности порта NTP (UDP Port 123) и отключаться, если он недоступен (например, применен Security Profile для сетевого экрана, который выключает доступ по этому порту). VMware рекомендует использовать эту настройку по умолчанию.
  • Start and stop with host - включает и отключает службы NTP при загрузке хоста ESXi или перед его выключением.
  • Start and stop manually - ручное управление службами NTP с точки зрения старта и остановки.

После того, как вы настроили политику NTP-клиента, он сам еще не запустится - его нужно запустить вручную из меню Actions:

Если же вы используете для настройки времени на хосте ESXi клиент vSphere Web Client, то они находятся в разделе Configure > System > Time configuration для выбранного хоста ESXi:


Таги: VMware, ESXi, Host Client, VMachines, NTP

Скрипт VMware ESXi-Customizer-PS для кастомизации образа ESXi и добавления драйверов через PowerCLI.


7 лет назад мы писали про утилиту ESXi-Customizer, которая позволяет добавлять кастомные драйвера в ISO-образ VMware ESXi. У того же автора (Andreas Peetz) есть еще одна замечательная утилита, которая актуальна и на сегодняшний день - ESXi-Customizer-PS. Актуальна - это значит, что ее последняя версия (от 18 апреля этого года) поддерживает последние версии платформ и фреймворка - vSphere 6.7 и PowerCLI 10.

ESXi-Customizer-PS - это PowerShell-скрипт, который на входе принимает большое число различных параметров, а на выходе дает кастомизированный ISO-образ или офлайн-бандл ESXi:

Сценарий имеет три режима работы:

  • Создать установочный образ ISO или Offline Bundle напрямую из хранилища VMware Online depot (стандартный режим).
  • Создать установочный образ ISO или Offline Bundle из скачанного ESXi Offline Bundle (параметр -izip).
  • Обновление локального ESXi Offline Bundle с помощью ESXi patch bundle из хранилища VMware Online depot (параметры -izip -update).

С помощью этих трех режимов вы можете добавлять бандлы из хранилища V-Front Online Depot, либо любого другого Online Depot, указав его URL, а также можно указывать локальные Offline Bundles и VIB-файлы (собственно, кастомные драйверы или кастомный софт под ESXi).

Об использовании утилиты ESXi-Customizer-PS Alex Lopez снял хороший видеотуториал:

Скрипт можно использовать множеством способов. Давайте рассмотрим основные:

1. Вызов скрипта без параметров.

Например:

.\ESXi-Customizer-PS-v2.6.0.ps1

В этом случае утилита создаст ISO-образ ESXi самой последней версии (6.7 на данный момент) и с самым последним уровнем обновлений. Вы также можете указать конкретный номер версии ESXi, для которой будет получен ISO с последними обновлениями. Например:

  • -v50 : ESXi 5.0 ISO
  • -v51 : ESXi 5.1 ISO
  • -v55 : ESXi 5.5 ISO
  • -v60 : ESXi 6.0 ISO
  • -v65 : ESXi 6.5 ISO
  • -v67 : ESXi 6.7 ISO

Также есть еще три параметра:

  • -outDir : записывать ISO-образ в указанную директорию.
  • -sip : не использует последний уровень патчей, а показывает меню, где можно выбрать конкретный патч. Новые патчи будут показаны сверху. Также будут показаны и профили, которые содержат только обновления безопасности и/или VMware Tools.
  • -ozip : на выходе будет сформирован не ISO, а ESXi Offline Bundle, который можно импортировать в Update Manager, указать вручную для обновления черезesxcli или использовать как входной бандл для следующих кастомизаций.

2. Использование офлайн бандла ESXi Offline Bundle как входного параметра (вместо VMware Online depot).

Например, такая команда позволит вам получить ISO-образ из офлайн-бандла:

.\ESXi-Customizer-PS-v2.6.0.ps1 -izip .\VMware-ESXi-6.0.0-2494585-depot.zip

Офлайн бандл можно скачать через VMware Patch Download portal. Некоторые вендоры также предлагают свои кастомизированные офлайн-бандлы, например HP. Офлайн бандлы VMware можно найти вот тут. Также вы можете использовать параметры из пункта 1.

3. Добавление дополнительных пакетов из присоединенных хранилищ Online depots.

Например, вот эта команда позволит добавить сетевые драйверы, отсутствующие в образе ESXi 5.5:

.\ESXi-Customizer-PS-v2.6.0.ps1 -v55 -load net-r8168,net-r8169,net-sky2

Данные драйверы есть в VMware Online depot, так как они есть в составе ESXi 5.0 и 5.1, но были исключены из дистрибутива ESXi 5.5. Важно, что для ESXi 6.0 такая штука для этих драйверов уже не прокатит, так как они были добавлены в черный список (blacklised).

4. Присоединение онлайн-хранилища V-Front Online Depot и других хранилищ.

Делается это следующей командой:

.\ESXi-Customizer-PS-v2.6.0.ps1 -v60 -vft -load sata-xahci,net55-r8168

В результате в образ ESXi 6.0 будут добавлены драйверы из V-Front Online Depot (sata-xahci и net55-r8168).

5. Добавление локальных офлайн-бандлов и VIB-файлов.

Вот такая команда добавит все офлайн-бандлы и VIB-пакеты в последний образ ESXi 6.7:

.\ESXi-Customizer-PS-v2.6.0.ps1 -pkgDir C:\temp\pkg

Этой командой вы сможете добавить драйверы типа 3rd party или community supported.

6. Обновление локальных офлайн-бандлов.

Вот такая команда обновит ESXi 6.0 Offline bundle последними патчами из онлайн-хранилища VMware:

.\ESXi-Customizer-PS-v2.6.0.ps1 -v60 -izip .\VMware-ESXi-6.0.0-2494585-HP-600.9.1.39-Mar2015-depot.zip -update

Здесь надо не забывать указывать номер версии патчируемого гипервизора (в данном случае -v60 - это ESXi 6.0).

7. Расширенные параметры.

У утилиты есть еще несколько расширенных параметров, которые дают еще больше возможностей по кастомизации образов ESXi:

  • -log : указание пути к кастомному лог-файлу.
  • -test : тестирование возможности построения или обновления образа без накатывания реальных изменений. Экономит массу времени, так как не перестраивает ISO или zip, а также не качает обновления и образы из VMware Online depot.
  • -nsc : это опция -noSignatureCheck, которая отключает проверку сигнатуры при выполнении функции экспорта. Ее нужно использовать, если вы получаете ошибку типа "Could not find trusted signer." (пакет с некорректными или отсутствующими сигнатурами).
  • -ipname, -ipdesc, -ipvendor: задание собственных атрибутов в профиле образа. По умолчанию в имени и описании останутся прежние значения с приставкой "customized", а имя вендора не изменится.
  • -remove vib1[,...]: удаление одного или нескольких VIB-пакетов из кастомного образа.

Скачать ESXi-Customizer-PS-v2.6.0.ps1 можно по этой ссылке.


Таги: VMware, ESXi, Update, Blogs, Utilities, PowerShell, PowerCLI

Почему лучше ставить VMware vSphere на хосты заново, а не делать апгрейд с прошлой версии - на примере Secure Boot.


Мы иногда пишем о том, что большие обновления как хост-серверов VMware ESXi, так и управляющих компонентов VMware vCenter / vCenter Server Appliance всегда лучше ставить заново, а не делать апгрейд с предыдущих версий (если у вас, конечно, есть такая возможность). Да, вы не сохраните логи и исторические данные, но это позволит вам избежать различных проблем, связанных с устаревшими компонентами, которые останутся при обновлении и могут вступить в конфликт с новыми функциями при определенных обстоятельствах.

Такой вот пример приводит и Mike Foley в статье про механизм безопасной загрузки хостов vSphere Secure Boot. Когда он обновил свою инфраструктуру на VMware vSphere 6.7 с версии 6.5, он решил проверить функции Secure Boot и возможности модуля TPM 2.0.

Но когда он включил эти возможности в UEFI BIOS, он получил "розовый экран смерти" (PSOD) сервера ESXi:

Причина оказалась проста - для некоторых legacy-драйверов при обновлении не были обновлены их сигнатуры для VIB-пакетов, поэтому механизм Secure Boot не может эти сигнатуры проверить и выводит хост в PSOD при загрузке.

Чтобы найти эти драйверы, он запустил скрипт secureBoot.py, который показывает модули, препятствующие безопасной загрузке:

/usr/lib/vmware/secureboot/bin/secureBoot.py -c

Вывод оказался примерно таким:

[root@esxi-117] /usr/lib/vmware/secureboot/bin/secureBoot.py -c Secure boot CANNOT be enabled: 
Failed to verify signatures of the following vib(s): [
net-tg3
dell-configuration-vib
net-i40e
net-igb
net-ixgbe
vmware-esx-perccli-1.05.08
ima-qla4xxx
misc-cnic-register
net-bnx2
net-bnx2x
net-cnic
net-qlcnic
net-qlge
scsi-bnx2fc
scsi-bnx2i
scsi-qla4xxx
scsi-megaraid-sas
lsu-lsi-mptsas-plugin].
All tardisks validated. All acceptance levels validated

Посмотрев на каждый драйвер по отдельности, он понял, что все это старые Linux-драйверы, которые были заменены в новых версиях VMware vSphere своими Native-аналогами. Например, для драйвера net-tg3 есть аналогичный нативный драйвер ntg3, а для net-bnx2i есть bnxnet.

Поэтому далее Майк просто удалил все VIB-пакеты со старыми драйверами следующей командой:

esxcli software vib remove -n scsi-megaraid-sas
esxcli software vib remove -n net-tg3
esxcli software vib remove -n net-i40e
esxcli software vib remove -n net-igb
esxcli software vib remove -n net-ixgbe
esxcli software vib remove -n net-qlcnic
esxcli software vib remove -n scsi-bnx2i
esxcli software vib remove -n scsi-bnx2fc
esxcli software vib remove -n net-bnx2x
esxcli software vib remove -n scsi-qla4xxx
esxcli software vib remove -n net-cnic
esxcli software vib remove -n net-bnx2
esxcli software vib remove -n net-qlge
esxcli software vib remove -n misc-cnic-register
esxcli software vib remove -n lsu-lsi-mptsas-plugin
esxcli software vib remove -n ima-qla4xxx
esxcli software vib remove -n vmware-esx-perccli-1.05.08
esxcli software vib remove -n dell-configuration-vib

В итоге его хост смог безопасно загрузиться через Secure Boot. Также Майк далее в статье рассматривает решение еще одной специфической проблемы, которая встречается довольно редко.

Ну а мы еще раз напомним - если есть возможность поставить новую мажорную версию ESXi с нуля - лучше скачайте ISO-образ и сделайте это, вместо того, чтобы "быстро и безопасно" обновиться на новую версию.


Таги: VMware, Security, Upgrade, ESXi, vSphere, Blogs

Новое на VMware Labs: ESXi Compatibility Checker.


Давненько ничего нового не было на сайте проекта VMware Labs. А вот на днях компания VMware выпустила полезную утилиту ESXi Compatibility Checker, представляющую собой Python-скрипт, проверяющий аппаратные компоненты хост-серверов на совместимость с платформой VMware vSphere и ее различными версиями.

Эта утилита может быть использована при замене различных компонентов хостов ESXi, а также обновлении серверов vCenter/ESXi. В целом, такую информацию можно собрать и вручную с помощью различных команд и в графическом интерфейсе, но у сервера так много системных девайсов, устройств ввода-вывода и прочего, что скрипт весьма и весьма упрощает эту задачу.

Результаты работы сценария ESXi Compatibility Checker можно вывести в xls-отчет, который потом можно использовать для планирования обновлений и обсуждения.

Кроме того, можно проверить хосты на возможность апгрейда на какой-нибудь релиз ESXi и соответствие аппаратным требованиям какой-либо версии, например:

Host 10.143.XX.XX> upto 6.5.0 -s
        [OK] The specified release (VMware vSphere Hypervisor (ESXi) 6.5.0) is upgradable from this VMware vSphere Hypervisor (ESXi) 6.0.0
        [Server: Warnings]  Server 'PowerEdge R720' may not be compatible for ESX 6.5.0
        [IO: Warnings]  Some IO devices may not be compatible for ESX 6.5.0
        Compatibility issues:
        - Server Model 'PowerEdge R720' with Intel Xeon E5-2600-v2 Series (ID:33815) is certified
            but current CPU Series (features:0x206d7) is not supported
            Certified BIOS versions are higher than 2.1.2
            More information: http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=server&productid=33815
        - IO Device 'PERC H310 Mini' (PCIID:1000:0073:1028:1f51) is certified
            but current driver (megaraid_sas) is not supported
            More information: http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=40344

Возможно, когда-нибудь эта функциональность станет частью vCenter. Скачать скрипт ESXi Compatibility Checker можно по этой ссылке.


Таги: VMware, Labs, ESXi, Compatibility, Hardware

Новые фишки безопасности VMware vSphere 6.7 - поддержка Virtualization Based Security.


Как все уже знают, недавно компания VMware выпустила обновленную версию платформы виртуализации VMware vSphere 6.7. Напомним наши статьи о нововведениях этого решения:

Ну а сегодня мы расскажем еще об одной возможности vSphere в плане безопасности - поддержке технологии Virtualization Based Security (VBS) операционных систем Microsoft. Механизм VBS позволяет превратить сервер или рабочую станцию на базе ОС Windows Server 2016 или Windows 10 в защищенные системы, исполняющиеся в рамках гипервизора Windows, при этом некоторые компоненты выносятся за пределы гостевой системы. Например, за рамки ОС выносится система управления хэшированными парами логин/пароль (креденшены), называющаяся Credential Guard.

Как мы видим на картинке, гипервизор обеспечивает виртуализацию гостевой системы на сервере или ноутбуке, а также канал обмена между внешними компонентами (Credential Guard, Device Guard) и ОС. Такая архитектура обеспечивает большие трудности при доступе злоумышленников к областям памяти, где хранятся хэши паролей различных пользователей - ведь эта область вынесена за пределы операционной системы.

Также аппаратное обеспечение компьютера должно иметь в своем составе модуль TPM 2.0 (Trusted Platform Module), который обеспечивает механику безопасной загрузки (Secure Boot). Ведь если не использовать механизм безопасной загрузки, то атаку можно провести на сам гипервизор, подменив его компоненты, а дальше уже иметь доступ к основной виртуальной машине и остальным компонентам гипервизора, в том числе хранилищу паролей. Таким образом, для полной защиты нужно использовать связку VBS+TPM 2.0 (вторая версия TPM поставляется уже со всем современным оборудованием).

Чтобы такая схема работала, нужно обеспечить выполнение следующих требований:

  • UEFI firmware (не BIOS).
  • Опция безопасной загрузки Secure Boot с поддержкой TPM.
  • Поддержка технологии Hardware virtualization (опция процессоров Intel VT/AMD-V) и функций IOMMU.

И самое главное - ОС Windows должна быть установлена со всеми этими включенными опциями, иначе потом настраивать VBS будет проблематично.

В случае с гипервизором ESXi для незащищенной виртуальной машины Windows все выглядит вот таким образом:

Чтобы защитить машину с помощью VBS, потребуется использовать вложенную (nested) виртуализацию - ведь гипервизор Windows Hypervisor надо запустить на платформе VMware ESXi. Для этого в настройках виртуальной машины надо выставить опцию Enable для пункта Virtualization Based Security:

Это позволит открыть все необходимые опции процессора для гостевой ОС виртуальной машины, в которой также будет работать гипервизор.

Выглядеть это будет следующим образом:

Чтобы эта схема работала, нужно выполнить 2 условия:

  • Виртуальная машина должна иметь виртуальное железо Virtual Hardware версии 14, которое появилось в vSphere 6.7.
  • Гостевую ОС виртуальной машины надо развертывать на базе UEFI и с уже включенной опцией Secure Boot (обратите внимание на эту опцию на панели Boot Options в разделе VM Options (см. скриншот настроек выше).

Ну и последняя деталь - это модуль TPM. Для физических систем этот модуль делается с расчетом на одну систему, имеет небольшой объем памяти защищенного хранилища (измеряется в килобайтах) и работает весьма медленно, так как это serial device.

Поэтому VMware сделала виртуальное устройство - vTPM 2.0, которое в качестве хранилища использует обычный файл .nvram. Физический TPM не рассчитан на то, чтобы поддерживать сотни виртуальных машин на одном сервере (просто не хватит объема хранилища и быстродействия), а виртуальный vTPM отлично справляется с этой задачей. К тому же, виртуальную машину с виртуальным vTPM можно переносить между серверами с помощью vMotion и делать ее резервные копии.

Но, само собой, файл nvram надо хорошо зашифровать, поэтому для виртуальной машины нужно включить VM Encryption. Это обеспечит работоспособность машины в защищенной среде совместно с опцией VBS. При этом диски ВМ шифрованными не будут, что позволит получить доступ к данным на уровне VMDK дисков в случае утери ключей.

Самое интересное, что vTPM 2.0 не требуется как-то отдельно устанавливать и настраивать - он автоматически обнаруживается средствами Windows со стандартными драйверами:

Утилита Device Guard and Credential Guard hardware readiness tool от компании Microsoft определяет этот vTPM, как совместимый, поэтому можете использовать его для виртуальных машин, к которым предъявляются повышенные требования к безопасности.


Таги: VMware, Security, ESXi, Microsoft, VMachines, Encryption

1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36    >   >>
Реклама







Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

14/03/2019:  Информационная безопасность бизнеса и госструктур
19/03/2019:  ИТ-стратегия 2019
27/03/2019:   Оптимизация ИТ-инфраструктуры 2019

Быстрый переход:
VMware StarWind IT-Grad Veeam PowerCLI Offtopic Gartner Citrix VSAN 5nine Hardware VeeamON Nutanix vSphere RVTools Enterprise Security Code Cisco vGate Microsoft Cloud SDRS Parallels IaaS HP VMFS VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo vRealize VirtualBox Symantec Softline EMC Login VSI Xen Teradici Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter VMachines Webinar View VKernel Events Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V Labs Update Manager VCP vSAN Backup NSX Tools VVols Workstation vCloud vRNI Workspace ONE Update UEM App Volumes DR Horizon Networking Cache Storage DRS VMworld HA Workspace vROPs DRS Fusion Lifecycle Visio SRM Log Insight Operations Manager SDDC Virtual Appliance OpenStack Forum PowerShell LSFS Client vCSA Datacenter Intel Agent esxtop Book Photon Cloud Computing SSD Comparison Blast Performance Nested AWS XenDesktop VSA vNetwork SSO Host Client VMDK VTL iSCSI Whitepaper Appliance VUM V2V Support Обучение Web Client Mobile Automation Replication Desktop Fault Tolerance Vanguard SaaS Connector Event Free SQL Sponsorship Finance FT Containers Converter XenApp Snapshots vGPU Auto Deploy SMB RDM Mirage XenClient MP Video SC VMM Certification VDP Partners PCoIP RHEV vMA Award Network USB Licensing Logs Server Demo vCHS Calculator Бесплатно vExpert Beta SAN Exchange MAP ONE DaaS Monitoring VPLEX UCS SDK Poster VSPP Receiver vMotion VDI-in-a-Box Deduplication Reporter vShield ACE Go nworks iPad XCP Data Recovery Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V VirtualCenter NFS ThinPrint Troubleshooting VIC Upgrade VDS Bug Migration Director Stencils Memory API Android Graphics Diagram Air CLI Plugin DPM SIOC Flex Mac Open Source SSH VAAI Chargeback Heartbeat MSCS Ports SVMotion Bugs Composer
Интересные плакаты:

Постер VMware vSphere PowerCLI 6.3:

Постер VMware ESXi 5.1:

Постер VMware Hands-on Labs 2015:

Постер VMware Platform Services Controller 6.0:

Постер VMware vCloud Networking:

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Постер VMware vCenter Server Appliance:

Порты и соединения VMware vSphere 6:

Порты и соединения VMware Horizon 7:

Порты и соединения VMware NSX:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

Постер Veeam Backup & Replication v8 for VMware:

Постер Microsoft Windows Server 2012 Hyper-V R2:

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Сравнение Oracle VirtualBox и VMware Workstation.

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Бесплатные утилиты для виртуальных машин на базе VMware ESX / ESXi.

Как использовать возможности VMware vSphere Management Assistant (vMA).

Проектирование инфраструктуры виртуализации VMware vSphere 4.

Как поднять программный iSCSI Target на Windows 2003 Server для ESX

Бесплатные программы для VMware ESX / ESXi в среде Virtual Infrastructure / vSphere (часть 2).

Новые возможности VMware vSphere 5.0 - официально.

Работа с дисками виртуальных машин VMware.

Все ресурсы о виртуализации:
Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Купить:

VMware vSphere 6.5


Veeam Backup 9.5


Полезные ресурсы:


Видео компании VMware

Видео про Citrix Xen

Видео о виртуализации Microsoft

Утилиты для виртуальных машин Microsoft.

Книги на английском языке

Блоги на английском языке

Блоги на русском языке

Агрегация статей в твиттере VMC:


Copyright VM Guru 2006 - 2019, Александр Самойленко. Правила перепечатки материалов.