Компания StarWind Software известна пользователям как производитель лучшего в отрасли программного решения Virtual SAN для создания отказоустойчивых хранилищ на базе хост-серверов виртуализации VMware vSphere и Microsoft Hyper-V. StarWind иногда выпускает бесплатные утилиты для администраторов виртуальных инфраструктур, и сегодня мы поговорим об очередной новинке - StarWind iSCSI Accelerator...
Об утилите Horizon Migration Tool мы уже несколько раз писали, версия 2.3 которой вышла в марте 2017 года. Спустя более чем два года, компания VMware выпустила обновленную версию Horizon Migration Tool 3.0.2, которая стала доступной на сайте проекта VMware Labs.
Напомним, что средство Horizon Migration Tool предназначено для миграции виртуализованных приложений и десктопов с платформы Citrix XenApp на платформу VMware Horizon View. В процессе миграции одна ферма Citrix XenApp переносится в одну или несколько ферм VMware View.
Давайте посмотрим, что нового появилось за 2 года в данной утилите:
Поддержка миграции с платформ Citrix на VMware Horizon 7.2.
Добавлена возможность миграции пулов десктопов Citrix PVS на платформу Horizon 7.2.
Добавлена возможность миграции пула Citrix Dedicate MCS Desktop Pool на платформу Horizon 7.2 как ручного пула (manual pool), пула связанных клонов (linked-clone pool) или пула мгновенных клонов (instant clone pool).
Исправлен баг, когда приложения XenApp с кастомными путями, содержащими пробелы, не мигрировались корректно.
Не так уж и много, но хоть что-то. Скачать VMware Horizon Migration Tool 3.0.2 можно по этой ссылке.
В этом публичном облаке есть полезный механизм Log Intelligence, который позволяет посмотреть глубоко на метрики частного и публичного облака VMConAWS, чтобы выяснить причины возникающих проблем. Основное назначение этого механизма - структурировать неструктурированные данные логов, визуализовать их на дэшбордах и дать администратору инструменты быстрого поиска и сопоставления данных (включая мощный механизм индексирования).
Log Intelligence полностью интегрирован с облаком VMware Cloud on AWS, охватывает всю линейку продуктов VMware и органично дополняет концепцию управления виртуальным датацентром Software-Defined Datacenter (SDDC).
По умолчанию Log Intelligence собирает и анализирует все логи для основных компонентов (vCenter, ESXi, vSAN). Но также в решении есть функция аудита логов сетевого экрана виртуальной инфраструктуры NSX-T, которую можно подключить отдельно:
Для интеграции с NSX-T нужно будет подключить VMware Cloud on AWS Content Pack, который позволит получить информацию о правилах фаервола, правилах обработки пакетов и прочую важную диагностическую информацию для администраторов:
После развертывания можно будет увидеть все исполняемые в среде NSX-T запросы:
Также можно управлять определениями оповещений (Alert Definitions):
Запросы можно сохранить на собственных или общих дэшбордах, а также включить Alert Definitions для отправки webhook во внешнюю систему или письма по электронной почте администратору.
Вот пример двух запросов, сохраненных на дэшборде:
На домашней странице можно видеть сработавшие алерты в виде таймлайна:
Вот так выглядит оповещение в письме администратору:
А так, например, webhook в мессенжер Slack:
Решение Log Intelligence также может перенаправлять логи в другие приемники для специфического анализа (подробнее тут). Поддерживаются следующие точки назначения:
Онпремизная инсталляция Syslog Server через TCP или UDP
Онпремизная инсталляция Splunk
Онпремизная отсылка по умолчанию через Authenticated HTTPs
Облачный Splunk Cloud Endpoint
Облачный Authenticated endpoint через протокол HTTPs
Для отправки логов в собственное онпремизное облако нужно будет развернуть Cloud Proxy:
Для облачного ничего добавлять не нужно:
События логов можно экспортировать в Raw-формате или в структуре JSON:
В общем, Log Intelligence может оказаться вам очень полезным в облаке VMware Cloud on AWS (или в гибридной среде с собственным датацентром), особенно, если ваша инфраструктура содержит десятки хостов ESXi.
На сайте проекта VMware Labs появилась новая интересная Open Source утилита - Distributed Trust Incident Reporting. Она предназначена для документирования инцидентов в сфере информационной безопасности, которое часто осуществляется на бумаге или в Excel даже в крупных компаниях. Некоторые системы имеют централизованную базу данных инцидентов с возможностью отслеживания ответных мер, принятых в качестве реакции на инцидент, но только на уровне собственного предприятия.
Текущие подходы по мнению VMware обладают рядом недостатков:
Инцидент может затронуть несколько сущностей/компаний с разной ответственностью.
Все они должны как-то отреагировать на него.
Некоторые сущности не имеют доверия к другим.
Нет одной стороны, которая отвечает за эксплуатацию всей системы с точки зрения безопасности.
Примером такого инцидента является нарушение процесса у производителя еды, в результате которого на полку розничной сети в продукт попадает опасный патоген. В этом случае следует серия звонков или писем от ритейлера к дистрибьютору, а далее к производителю, чтобы отреагировать на инцидент.
Увидеть всем сторонам процесса зафиксированный инцидент.
Позволяет всем сторонам отреагировать, как того требует ситуация и зафиксировать это.
Принимает на вход отчеты информационных систем об инцидентах.
Добавляет прозрачности между разными сущностями/организациями.
Работает это все на базе контейнеров Docker, а технологическую платформу фиксирования инцидентов предоставляют решения VMware blockchain или Ethereum blockchain.
Неясно, будет ли кто-то использовать эту систему от VMware, но, будем надеяться, она со временем интегрируется в существующую экосистему решений вендора для организации и эксплуатации виртуальной инфраструктуры на платформе vSphere.
Недавно мы писали о выходе обновленной версии решения для обеспечения катастрофоустойчивости виртуальных датацентров VMware Site Recovery Manager 8.2. Многие пользователи после ее релиза задались вопросом миграции на виртуальный модуль (Virtual Appliance), который построен на базе операционной системы Photon OS и управляется через веб-браузер.
Давайте вкратце рассмотрим этот процесс. В целом процедура миграции выглядит так:
Убеждаемся, что ваш SRM на базе Windows обновлен до версии 8.2.
Экспортируем конфигурацию и останавливаем SRM на хосте с Windows.
Развертываем Site Recovery Manager Virtual Appliance и импортируем туда конфиг.
Пошагово этот процесс будет таким:
1. Логинимся в Site Recovery Manager for Windows, открываем командную строку и переходим в папку %SRM_INSTALL_DIR%\bin.
2. Запускаем следующий скрипт, он потребует ввод пароля администратора:
export-srm-data.bat
3. Экспортированную папку перемещаем на виртуальный модуль SRM.
4. Выключаем машину с SRM для Windows и логинимся как root в SRM VA.
5. Если вы создавали кастомные сертификаты, то их надо положить в папку /etc/ssl/certs (это файлы с расширением .pem). Импортировать сертификаты можно через Site Recovery Manager Appliance Management Interface.
Для изменения прав доступа к сертификатам используйте команду:
chmod a+r <new-root-ca>.pem
Далее выполните:
c_rehash
6. После этого запустите импорт окружения SRM, указав папку, которую вы экспортировали из Windows-окружения:
7. Вас попросят пароль администратора vCenter Single Sign-On, root виртуального модуля, а также пароль от файла, который был задан при экспорте конфигурации.
8. На вкладке Home веб-консоли решения SRM VA выберите импортированную пару сайтов и нажмите Actions > Reconnect. Выберите первый сайт из списка, введите адрес Platform Services Controller сервера SRM на резервной площадке и введите имя пользователя и пароль.
9. Далее вас попросят выбрать сервер vCenter, который нужно настроить и его сервисы, где вы просто нажимаете Next, а потом Finish.
Недавно мы писали об обновлении продукта для комплексного управления и мониторинга виртуальной инфраструктуры VMware vRealize Operations 7.5. Ранее для этого решения был запущен маркетплейс Dashboard Sample Exchange, где пользователи сообщества vROPs могут публиковать собственные полезные дэшборды (их уже почти 130 штук), которые помогают в ежедневных операциях по управлению платформой VMware vSphere.
Совсем недавно VMware запустила еще один маркетплейс - Super Metric Sample Exchange. В инфраструктуре vROPs суперметрики (super metrics) - это те, которые образованы путем каких-либо комбинаций обычных метрик через математическую формулу (например, какой процент CPU виртуальная машина отъедает от всего хоста ESXi). Для редактирования таких метрик используется super metric editor (подробнее тут):
Чтобы начать работу с маркетплейсом, нужно перейти на сайт vRealize и нажать кнопку View Samples:
В качестве фильтра для языка программирования выберите "vRealize Ops Super Metrics":
Еще один способ найти суперметрики - это пойти на https://code.vmware.com/samples и также выбрать там в фильтре "vRealize Ops Super Metrics":
На выходе будут сэмплы кода для суперметрик (пока их совсем немного):
Можно скачать их в формате JSON, после чего импортировать в разделе vRealize Operations > Administration > Configuration > Super Metrics:
Также вы можете добавлять и собственные суперметрики на маркетплейс. Для этого на картинке выше есть пункт "Export Selected Super Metric". Метрика также будет экспортирована в формате JSON. Для ее загрузки на маркетплейс нужно использовать портал VMware {code}, где вам потребуется завести аккаунт.
Там у вас будет кнопка "Add New Sample":
После этого запустится мастер добавления нового сэмпла, где вы можете выбрать ваш JSON:
Далее нужно добавить максимально понятное и подробное описание созданной вами суперметрики:
Вообще, это очень правильный подход, когда вендор открывает возможности для создания и обмена контентом между пользователями своего продукта. Тут VMware можно похвалить.
Коллеги Rhys Hammond и Rose Herden выпустили неофициальное бесплатное руководство для подготовки к сертификации VMCE Study Guide (оно было сделано на базе их доклада на VeeamON 2017). Книжку можно скачать бесплатно, если ползунок справа в разделе цены установить на 0 (но можете и пожертвовать сколько-то за скачанный документ, если он вам понравится).
В рецензировании книги принимали участие члены сообщества Veeam Vanguards, которое объединяет технических профессионалов по всему миру, продвигающих технологии Veeam в массы.
Напомним, что компания Veeam Software известна своим главным в отрасли средством для резервного копирования и репликации виртуальных машин Veeam Backup and Replication.
VMCE (Veeam Certified Engineer) - это сертификация для инженеров, которая подтверждает знания и навыки работы с платформой по обеспечению бесперебойного функционирования виртуальных датацентров Veeam Availability Suite V9. Экзамен представляет собой 50 случайных вопросов из базы знаний об этой платформе, для успешной его сдачи нужно ответить правильно на 70% заданий.
Руководство занимает 56 страниц и доступно в форматах PDF и epub. Скачать VMCE Study Guide можно по этой ссылке.
Недавно мы писали об утилите для тестирования производительности хранилищ HCIBench 2.0, которая помогает администраторам VMware vSphere валидировать конфигурацию кластера с точки зрения соответствия требованиям к производительности подсистемы хранения для приложений датацентра.
HCIBench используется для проведения синтетических тестов кластера хранилищ, когда нагрузка распределяется по нескольким виртуальным машинам на разных хостах ESXi. Генерация операций ввода-вывода происходит одновременно с разных ВМ согласно заранее определенному шаблону нагрузки.
А зачем вообще проводить тестирование кластера vSAN? Тут, как правило, есть следующие причины:
Понимание возможностей инфраструктуры хранения и возможность убедиться в том, что в ней нет аномалий.
Валидировать дизайн кластера vSAN с точки зрения приемо-сдаточных испытаний (User Acceptance Testing, UAT).
Получить референсные значения, с которыми можно будет сверяться при внесении существенных изменений в архитектуру vSAN.
Проведение тестов перед внедрением (PoC-проекты).
Установление базового уровня пользовательских ожиданий после развертывания приложений.
По итогу тестирования производительности хранилищ vSAN вы должны получить ответы на следующие вопросы:
Какого наибольшего числа операций ввода-вывода в секунду (IOPS) можно добиться?
Какая ожидаемая задержка выполнения операций (latency) при требуемом числе IOPS для рабочей нагрузки?
Какая максимальная пропускная способность операций чтения-записи (throughput)?
То есть результаты тестирования держатся на трех китах - IOPS, latency и throughput.
При проведении тестов нужно отключать все тормозящие технологии, такие как дедупликация и компрессия данных, а также шифрование на уровне кластера vSAN.
IOPS
Число выдаваемых IOPS зависит как от используемого оборудования для хостов и сетевых компонентов, так и от архитектуры системы. Актуальное число IOPS также зависит от уровня RAID в кластере vSAN, числа сетевых соединений между хостами, их загрузки и прочих факторов.
Обычно начинают тестирование с нескольких тредов на дисковый объект, а затем постепенно увеличивают это количество тредов, пока число выдаваемых IOPS не прекратит расти. При проведении тестирования число IOPS коррелирует с Latency, так как при увеличении одной операции ввода-вывода (размер блока операции) уменьшается число выдаваемых IOPS, а также увеличивается latency.
Latency
Обычно задержку измеряют в миллисекундах со стороны приложений, которые выполняют определенные операции. При этом, зачастую, нет каких-то референсных значений, их приходится выяснять экспериментальным путем (насколько это устраивает пользователей).
К увеличению задержек при выполнении операций приводят увеличение блока ввода-вывода, соотношение операций чтения и записи, одновременность исполнения операций ввода-вывода со стороны нескольких виртуальных машин и т.п.
Throughput
Пропускная способность важна при выполнении больших операций ввода-вывода, а также при различных паттернах чтения записи (последовательный/случайный). Чем больше размер I/O, тем очевидно больше пропускная способность. С точки зрения объема передаваемых данных одна операция I/O размером 256К равна 64 операциям ввода-вывода по 4К, но вот с точки зрения throughput это будут совершенно разные значения, так как займут разное время.
Методология тестирования хорошо описана в документации по HCIBench, а также вот в этой статье на русском языке. Работа с утилитой начинается по ссылке https://<HCIBench IP address>:8443.
Перед началом тестирования можно задать параметры среды - число виртуальных машин для кластера, количество их виртуальных дисков и их размер. Для ленивых есть параметр Easy Run, который позволит автоматически подобрать эту конфигурацию, исходя из размера кластера vSAN и параметров хостов ESXi:
Очень важно при тестировании также задать правильный профиль рабочей нагрузки (4 варианта на картинке выше).
После выполнения теста Easy Run вы получите выходной файл с результатами вроде vdb-8vmdk-100ws-4k-70rdpct-100randompct-4threads-xxxxxxxxxx-res.txt. Из имени файла можно понять использованную тестовую конфигурацию (она также будет в самом файле):
Также в папке с результатами тестирования будет подпапка с отдельными файлами, где хранятся результаты самих тестов:
Если открыть один их этих файлов, мы увидим детальные параметры производительности различных компонентов среды vSAN:
Полученные параметры можно считать базовым уровнем для тестирования производительности кластера. Теперь нужно увеличивать параллелизм, то есть число тредов Outstanding I/O (OIO), для выжимки оптимальной производительности. Увеличение этого параметра будет увеличивать число IOPS, а также, как следствие, будет расти Latency. Так вы сможете понять, как инфраструктура хранения ведет себя в динамике, реагируя на изменение профиля нагрузки.
Чтобы изменить параметр OIO, нужно отключить Easy Run и в профиле рабочей нагрузки нажать Add:
Также для измерения пропускной способности вы можете поэкспериментировать с размером операции ввода-вывода. Современные ОС поддерживают размер I/O в диапазоне 32K - 1 MB, но для тестирования лучше использовать I/O в диапазоне 32K – 256K.
Еще какие моменты надо учитывать при тестировании:
Синтетическое тестирование не учитывает, что профиль рабочей нагрузки в кластере в реальной жизни постоянно изменяется точки зрения соотношения операций чтения и записи и их рандомизации в потоке ввода-вывода. Используемая модель - всего лишь аппроксимация.
Тесты ориентированы на отслеживание характеристик хранилищ, а не загрузки CPU и памяти хостов ESXi.
Некоторое время назад мы писали о новых возможностях недавно вышедшего обновления платформы виртуализации VMware vSphere Platinum 6.7 Update 2. Cреди новых возможностей гипервизора там есть фича "Новые возможности планировщика CPU помогают бороться с уязвимостями типа L1TF".
Оказывается, это довольно серьезное улучшение. Надо сказать, что планировщик гипервизора side-channel aware scheduler (SCA) появился еще в прошлой версии платформы. Он закрывал уязвимость L1TF (L1 Terminal Fault) в процессорах Intel за счет того, что процессы виртуальных машин запускались только в одном треде одного физического ядра. Это позволяло нивелировать вектор атаки данного типа, но приводило к существенному снижению производительности.
Особенно это чувствовалось, когда сервер ESXi был загружен по CPU полностью, и SCA первой версии в этом случае давал до 30% хуже результат, чем без него. Если же сервер был загружен, например, на 75%, то в производительность оставалась примерно той же, но без SCA нагрузка на CPU была существенно ниже.
Итак, начиная с VMware vSphere 6.7 Update 2, появился обновленный планировщик SCAv2, который был существенно доработан по сравнению со своей предыдущей версией. Он позволяет исполнять контексты vCPU одной машины в разных гипертредах одного физического ядра процессора хоста. В этом случае атаке L1TF не подвержены взаимодействия типа VM/VM и VM/ESXi (чувствительная информация между ними не шарится в общем кэше).
В документе описано 2 типа тестов, которые проводились для планировщиков SCAv1 и SCAv2: работа хоста под максимальной нагрузкой по процессорам и под нагрузкой на уровне 75% от максимальной мощности всех CPU хоста ESXi (reduced load). В качестве базового уровня использовался планировщик без SCA (он же на картинке ниже обозначен как Default):
Если верить графикам, отражающим результаты тестирования различными бенчмарками, то планировщик SCAv2 работает существенно лучше во всех случаях, кроме очень большой (по выделенным ресурсам) виртуальной машины - Monster VM с базой Oracle и 192 vCPU, но такой кейс в реальной жизни случается весьма редко. Так что, в целом, улучшения были проведены весьма существенные (как минимум, на 11% планировщик стал более производительным по результатам тестов).
Помимо документа выше, информация об улучшениях планировщика приведена еще в KB 55806.
Многие из вас, конечно же, прекрасно знают, как работает механизм VMware HA на платформе vSphere. Но для тех из вас, кто подзабыл, Дункан написал пост о том, через какой интерфейс VMkernel идет этот трафик.
Так вот, хартбиты механизма HA пойдут через тот vmk-интерфейс, на котором в vSphere Client отмечена галочка Management, как на картинке:
Надо понимать, что этот пункт, хоть и называется Management, имеет отношение только к HA-трафику. Это означает, что если галочка не отмечена, то через этот интерфейс все равно можно будет подключиться по протоколу SSH, а также присоединить хост ESXi к серверу управления VMware vCenter, используя этот IP-адрес.
Так что Management - это не про управление, а только про HA. Это касается только обычной виртуальной инфраструктуры, а вот в кластере vSAN трафик HA идет по выделенной под vSAN сети автоматически.
На днях компания VMware выпустила новую версию решения для обеспечения катастрофоустойчивости виртуальных датацентров VMware Site Recovery Manager 8.2. Напомним, что прошлая версия SRM 8.1 вышла довольно давно - аж в апреле прошлого года.
Главное нововведение данного обновления - это отказ от Windows и переход на виртуальный модуль (Virtual Appliance) на базе гостевой ОС Photon. Правда установщик под Windows пока еще доступен, но, скорее всего, его уже не будет в следующих версиях.
Давайте посмотрим, что еще нового появилось в новой версии VMware SRM 8.2:
RSS
