Новости Статьи VMware Veeam StarWind Microsoft ИТ-ГРАД Citrix Symantec 5nine События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Виртуализация vSphere, Hyper-V, XenServer и Red Hat

Более 4540 заметок о виртуализации и виртуальных машинах VMware, Microsoft, Citrix, Red Hat

VM Guru | Ссылка дня: Конец продукта vRealize Log Insight for vCenter Server

Опция Erase disks before use при включении шифрования в кластере VMware vSAN.


Многие пользователи кластера отказоустойчивости хранилищ VMware vSAN замечали, что в настройках служб кластера есть такая опция "Erase disks before use", которая доступна при шифровании хранилища (vSAN Encryption).

Эта настройка позволяет очистить диск перед использованием шифрования на нем, чтобы соблюсти требования к безопасности хранения и обслуживания данных, например, NIST 800-88 Revision 1, определение "Clear":

Clear applies logical techniques to sanitize data in all user-addressable storage locations for protection against simple non-invasive data recovery techniques; typically applied through the standard Read and Write commands to the storage device, such as by rewriting with a new value or using a menu option to reset the device to the factory state (where rewriting is not supported).

В приложении A приведенного выше документа есть такая таблица (приведены только 2 строки из нее):

Media Type Media Types Guidance for Clear Operations
SCSI Hard Disk Drives Parallel SCSI, SAS, FC, UAS, and SCSI Express Overwrite media by using organizationally approved and validated overwriting technologies/methods/tools. The Clear procedure should consist of at least one pass of writes with a fixed data value, such as all zeros. Multiple passes or more complex values may optionally be used.
SCSI Solid State Drives (SSSDs) Parallel SCSI, SAS, FC, UAS, and SCSI Express Overwrite media by using organizationally approved and tested overwriting technologies/methods/tools. The Clear procedure should consist of at least one pass of writes with a fixed data value, such as all zeros. Multiple passes or more complex values may alternatively be used.
Note: It is important to note that overwrite on flash-based media may significantly reduce the effective lifetime of the media and it may not sanitize the data in unmapped physical media (i.e., the old data may still remain on the media).

Чтобы соблюсти эти гайдлайны, кластер vSAN может вычищать предыдущие данные добавляемого диска перед первым использованием. Но при этом блоки заполняются не нулями или однотипными значениями - ведь это может вызвать сбой механизмов дедупликации и компрессии, поэтому в блоки записываются просто случайные данные.

Ставя галку "Erase disks before use" надо понимать, что процесс заполнения блоков случайными значениями занимает значительное время, которое зависит от типа используемого хранилища и инфраструктуры хранения в целом.

Также важно помнить, что включение vSAN Encryption влечет за собой шифрование только новых создаваемых дисковых объектов и не применяется к существующим на хранилище блокам (то есть их потенциально можно считать с диска, расшифровка их не потребуется). Таким образом, использование vSAN Encryption с настройкой "Erase disks before use" имеет смысл только при добавлении устройств, где ранее существовали данные.

Поэтому:

  • Включайте опцию "Erase disks before use", когда:
    • Включаете vSAN Encryption для существующуего vSAN кластера, в котором требуется вычистить свободные блоки.
    • Добавляете хост, который имел ранее данные на локальных дисках, в кластер vSAN.
    • Выполняете операцию rekey для инициации процедуры deep rekey (запрос нового KEK и новых уникальных DEKs для каждого устройства vSAN).
  • Не обязательно включать "Erase disks before use", когда:
    • Включаете vSAN Encryption для полностью нового кластера vSAN, в котором ранее не было данных на добавляемых дисках.
    • Добавляете в кластер vSAN хост, у которого на локальных дисках не было чувствительных данных.
    • Выполняете операцию rekey для инициации процедуры shallow rekey (только запрос нового KEK).

Таги: VMware, vSAN, Encryption, Storage, Hardware, Security

Улучшения служб мониторинга производительности в VMware vSAN 6.7.


В апреле этого года компания VMware выпустила обновленную версию решения для создания отказоустойчивых кластеров хранилищ для виртуальных машин VMware vSAN 6.7. В этом продукте появилось несколько интересных возможностей, но наиболее наглядной стал переход на интерфейс Clarity UI, который позволяет организовать панели и визуальные элементы наиболее удобно для пользователя.

Служба vSAN performance service все еще является опциональной в кластере vSAN, однако уже содержит в себе ряд сервисов, играющих ключевую роль для мониторинга виртуальной инфраструктуры.

На каждом из серверов VMware ESXi служба vSAN performance service развертывается отдельно и позволяет независимо от сервера vCenter собирать данные о производительности кластера и предоставлять их внешним потребителям - CLI, PowerCLI, различным SDK и серверам vCenter:

Такая архитектура позволяет не создавать большой нагрузки на сервер vCenter, который бы в одиночку собирал и обрабатывал эти данные.

Данные о производительности собираются на уровне дисковых объектов, которым назначена определенная политика хранения (Storage Policy). Посмотреть эти объекты можно в разделе vSAN->Virtual Objects:

Так как сервис отслеживания производительности vSAN на хосте ESXi глубоко интегрирован с гипервизором, он позволяет получать метрики для всего стека работы с хранилищем на различных уровнях - виртуальной машины, хоста ESXi и кластера vSAN в целом.

В последней версии диски и дисковые группы были консолидированы в одну категорию, то есть можно посмотреть статистики по группе в целом, а также по отдельному физическому диску. Кроме того, можно смотреть информацию и об устройствах кэширования на хосте (buffer/cache device) в рамках дисковой группы:

В зависимости от того, какой вид просмотра группы или устройства вы выберете, будут доступны те или иные графики производительности. Например, для дисков хранения (capacity devices) будут показаны дополнительные графики "vSAN Layer IOPS" и "vSAN Layer Latency".

Также претерпели изменения разделы "VMkernel Adapters" и "VMkernel Adapters Aggregation" сетевых ресурсов хостов ESXi, которые были объединены в едином представлении Host Network:

Теперь можно выбрать просмотр агрегированных статистик по всем VMkernel адаптерам на хосте, либо выбрать отдельный адаптер. Надо помнить, что статистика по IO в данном разделе - это весь трафик VMkernel, а не только трафик vSAN (например, еще vMotion).

Кстати, интересно, что метрика packet loss, отображаемая как в формате, например, 23%o - это на самом деле не проценты, а так называемое permille-значение. То есть количество потерянных пакетов из одной тысячи (а не из ста, как в случае с процентами). Таким образом, 23%o соответствует значению 2.3% потерянных пакетов.

Еще одно полезное нововведение службы performance service в vSAN 6.7 - это возможность перестраивать размещение графиком в соответствии с разрешением экрана устройства. Например, на небольших устройствах графики будут идти последовательно вниз друг за другом, а на больших экранах показывается вот такой дэшборд:

Ну и последнее приятное улучшение - это возможность выбрать временной отрезок на любом графике и прозуммироваться в этот диапазон. Чтобы вернуться к изначальному представлению, надо нажать Zoom Out:


Таги: VMware, vSAN, Performance, Storage, Troubleshooting

Как узнать детальную статистику по использованию дискового пространства виртуальными машинами кластера VMware vSAN?


В графическом интерфейсе по управлению отказоустойчивым кластером VMware vSAN на платформе VMware vSphere отсутствует детальная информация о том, какая машина сколько физического пространства потребляет на уровне своих объектов (VMDK, vSWP и т.п.). Между тем, это может иногда оказаться полезным для администраторов, которые анализируют использование хранилищ и их рост.

Вильям Лам написал полезный PowerCLI-крипт, который позволяет такую статистику вывести - VSANVMDetailedUsage.ps1. Этот скрипт использует VSAN Management API, а в частности метод VsanQueryObjectIdentities() и свойство includeSpaceSummary.

Сценарий работает напрямую с хостом ESXi (поэтому надо предварительно установить переменные $ESXiHostUsername= "пользователь" и $ESXiHostPassword = "пароль"), а в качестве входного параметра для функции Get-VSANVMDetailedUsage надо указать имя кластера vSAN.

Соответственно, использовать скрипт нужно так:

Get-VSANVMDetailedUsage -Cluster "VSAN-Cluster"

В результате вы получите подробную информацию обо всех виртуальных машинах кластера, их дисковых объектах, сколько места они занимают на диске фактически, а также сколько под них зарезервировано:

Кроме того, скрипт можно использовать и для просмотра информации по дисковым объектам конкретной ВМ, например, так:

Get-VSANVMDetailedUsage -Cluster "VSAN-Cluster" -VM "Ubuntu-SourceVM"

Возможно, эта информация скоро появится в графическом интерфейсе следующих версий VMware vSAN.


Таги: VMware, vSAN, Storage, VMachines, PowerCLI

Самая интересная ИТ-конференция этого лета - регистрируйтесь на NetApp Directions 2018.


Коллеги из компании NetApp пришлашают наших читателей на конференцию NetApp Directions – главное событие лета в мире управления данными, которое состоится в Москве 17 июля. Участники смогут послушать доклады специалистов NetApp и ее технологических партнёров, подробнее познакомиться с технологическими новинками на стендах выставки, а также узнать о примерах успешного внедрения и обсудить практические вопросы с представителями, партнерами и заказчиками NetApp.

Отдельной темой станет опыт применения решений NetApp в сфере искусственного интеллекта. Взглядом на этот аспект поделится Дмитрий Конягин, руководитель направления профессионального бизнеса NVIDIA.

Октавиан Танаси (SVP ONTAP Software & Systems Group, NetApp) подробнее расскажет о софтверных решениях компании и перспективах развития NetApp в ближайшем будущем. Также перед гостями выступят с докладами представители Cisco и Veeam Software.

Кроме того, на NetApp Directions вы сможете больше узнать о NetApp Cloud Volumes, полностью управляемой облачной файловой СХД, AFF A800, первой корпоративной платформае со сквозным подключением NVMe, обновлённом StorageGRID и других новинках компании.

В этом году партнерами конференции NetApp Directions выступили компании Veeam, Softline, NVIDIA, IT-GRAD, Bull, Brocade, Netwell, Merlion, OCS, Айтеко, ICL Системные технологии, FastLane и другие.

Регистрируйтесь бесплатно по ссылке: https://www.netapp.ru/company/events/netapp-directions-2018-moscow


Таги: Hardware, Storage, NetApp

Онлайн-калькулятор визуализации эффективной емкости VMware vSAN.


На сайте проекта kauteetech.github.io есть интересный калькулятор vSAN Effective Capacity для показа распределения емкости отказоустойчивых хранилищ VMware vSAN. Он показывает размещение различных областей данных в общем пространстве хранения, организованных на серверных узлах All-flash (все SSD диски) или гибридной модели (SSD для кэша, HDD для данных):

Это очень простая утилита для самой примерной визуализации расчетов. Напомним, что для точного вычисления всех параметров есть VMware vSAN Sizer (он также умеет рассчитывать необходимое число узлов vSAN).

В качестве исходных параметров для vSAN Effective Capacity могут быть использованы:

  • Число узлов кластера (хостов ESXi)
  • Число дисковых групп
  • Соотношение дисков с данными на группу
  • Запас по емкости кластера в процентах
  • Затраты на хранение контрольных сумм RAID
  • Размер диска с данными
  • Тип обеспечения отказоустойчивости FTT (число избыточных копий данных)

Штука интересная, поскольку кроме численных параметров сырой и эффективной емкости, наглядно показывает, сколько от общего объема хранилищ занимает сегмент с данными в определенной конфигурации.


Таги: VMware, vSAN, Calculator, Storage

Обновился VMware I/O Analyzer - теперь с поддержкой vSphere 6.5 и 6.7.


Еще в далеком 2011 году мы писали о средстве VMware I/O Analyzer, которое позволяет сгенерировать нагрузку на хранилища VMware vSphere, а после чего замерить производительность этих хранилищ. Делается это средствами интегрированного фреймворка, который поддерживает распределенную архитектуру - центральный управляющий виртуальный модуль и воркеры (генераторы нагрузки).

В 2014 году это средство еще раз обновилось для поддержки актуальных на тот момент версий ESXi, ну а на днях появилось обновление VMware I/O Analyzer 1.6.2u1, которое поддерживает VMware vSphere 6.5 и более поздние версии, то есть vSphere 6.7.

Напомним основные возможности VMware I/O Analyzer:

  • Интегрированный фрейворк для тестирования производительности хранилищ.
  • Простая настройка и возможность исполнения тестов на одном или нескольких хостах ESX/ESXi.
  • Возможность просмотра результатов производительности как на уровне хоста, так и на уровне гостевой ОС.
  • Возможность экспорта данных для последующего анализа.
  • Средства "повторения" нагрузки на хранилища путем ее воспроизведения из трейса ввода-вывода.
  • Возможность загрузки трейсов ввода-вывода для автоматического извлечения необходимых метрик.
  • Графическая визуализация метрик и результатов анализа производительности.

В новой версии I/O Analyzer 1.6.2u1 появились следующие фичи:

  • Поддержка последних версий vSphere.
  • Обновление протокола до версии OpenSSL 1.0.2o.
  • Сценарий для горячего обновления с прошлой версии 1.6.2.
  • В прошлой версии 1.6.2 были пофикшены уязвимости Shellshock и Heartbleed.

Скачать VMware I/O Analyzer 1.6.2u1 можно по этой ссылке. Инструкция к данному средству тестирования доступна тут.


Таги: VMware, Labs, Analyzer, Storage, Performance

Новый документ - VMware vSAN PoC Performance Checklist.


Компания VMware сделала доступным интересный документ VMware vSAN PoC Performance Checklist, в котором рассматриваются различные аспекты производительности кластеров хранилищ VMware vSAN, которые пользователи развертывают в рамках PoC (proof of concept).

Сначала в рамках чеклиста нам предлагают прочесть следующие документы:

Если это не помогло, то далее идут пункты таблицы с набором проверок, которые имеет смысл провести перед тем, как обращаться в техподдержку VMware или искать ответы на форумах. Также нам рекомендуют освоить утилиту HCIBench, которая позволяет провести комплексный тест производительности отказоустойчивых кластеров хранилищ.

Разделы документа:

  • "Before you Start" Tasks
  • Host Based Tasks after vSAN is Deployed
  • Choosing An Appropriate Policy to Test
  • Choosing Data Services
  • Prepping for the HCIBench Benchmark
  • Initial Functional Test -HCIBench Easy Run
  • HCI Bench - Further Tuning

Надо сказать, что эти проверки могут оказаться полезными всем тем, кто испытывает проблемы с производительностью vSAN и поиском их причин. Также в онлайн-документе VMware vSAN PoC Performance Checklist есть возможность скачать его в формате PDF. Ну и если ничего не помогло, то всегда есть почта для обращений - vsanperformance@vmware.com.


Таги: VMware, vSAN, Performance, Storage, Whitepaper

Как мониторить задачи Nutanix с PowerShell.


Недавно я начал своё знакомство с Nutanix и первым делом скачал и опробовал NutanixCmdlets PowerShell Snap-in. Сразу выяснилось, что набор командлетов далеко не полный, и многого не хватает. Тут же созрело решение создать вспомогательный Power-NTNX модуль как в своё время я сделал Vi-Module для VMware. Модуль будет обновляться и пополняться по мере возможности и надобности, и с каждой новой функцией будет выходить статья. Уже сегодня есть задумки на 3-4 функции. И первой функцией будет Wait-NTNXTask.


Таги: Nutanix, PowerShell, Hardware, Storage

Технические подробности о файловой системе LSFS (Log-Structured File System) в решении StarWind Virtual SAN.


Мы часто пишем о продукте StarWind Virtual SAN, который позволяет организовать кластеры отказоустойчивых хранилищ на базе серверов для виртуальных машин VMware vSphere и Microsoft Hyper-V. В связи с большим интересом к тому, как именно работает это решение с технической точки зрения, постараемся писать об этом побольше. Сегодня мы расскажем об опциональной файловой системе LSFS (Log-Structured File System), которая повышает производительность операций записи и срок службы накопителей.


Таги: StarWind, LSFS, Virtual SAN, Storage, Performance

Ошибка при обновлении VMware ESXi - No space left on device.


У некоторых пользователей VMware vSphere при обновлении серверов VMware ESXi возникает проблема - при выполнении команды "esxcli software vib update" в ответ возникает ошибка "No space left on device", хотя с дисками все в порядке, и на них много свободного места, в чем можно убедиться с помощью команды df -h.

Например, появляется вот такой вывод при попытке обновления:

[InstallationError]
[Errno 28] No space left on device
vibs = VMware_bootbank_esx-base_6.5.0-1.41.7967591
Please refer to the log file for more details.

В то же время вывод df -h говорит, что места на всех разделах достаточно:

Очень редко причина такого поведения оказывается проста - на хосте не хватает файловых объектов inodes, как описано в KB 1007638. Это объекты файловой системы, которых может быть до 640 тысяч на одном томе VMFS. Их используемое количество зависит от числа файлов в файловой системе в данный момент.

Проверить наличие свободных inodes можно командой stat -f /:

На картинке мы видим, что запас их еще весьма большой - они почти не израсходованы. Как правило, указанного лимита достичь очень и очень сложно, поэтому чаще всего упомянутое выше сообщение об ошибке связано совсем с другим. Но если вы все же достигли этого лимита, решение тут несложное - удалить какое-то число файлов с ESXi.

Например, можно найти лог-файлы и прочие файлы на хосте ESXi размером более 50 МБ, которые находятся НЕ на томах VMFS (чтобы не задеть логи ВМ), можно следующей командой:

find / -path "/vmfs" -prune -o -type f -size +50000k -exec ls -l '{}' \;

По итогу будет сгенерирован список преимущественно локальных файлов, который будет содержать ISO-образы, большие лог-файлы и т.п., которые уже скорее всего не нужны, и их можно удалить (а лучше переместить на какое-нибудь хранилище в целях архивирования). Также рекомендуем почитать KB 1008643, которая как раз посвящена удалению файлов в целях высвобождения объектов inodes.

Между тем, в случае появления приведенной в начале статьи ошибки о недостатке свободного места очень вероятно, что хост ESXi не может аллоцировать достаточно оперативной памяти (RAM) для проведения обновления. В этом случае вам просто надо включить ESXi system swap, который будет размещен на одном из датасторов, куда будут сбрасываться страницы оперативной памяти при недостатке памяти во время обновления.

Сделать это можно, зайдя в раздел Manage > Settings > System Swap, после чего нажав Edit...:

Выберите датастор и нажмите Ok. Также это можно сделать с помощью функционала Host Profiles:

После выбора датастора для системного свопа обновите хост ESXi и перезагрузите его.


Таги: VMware, vSphere, ESXi, Troubleshooting, Memory, Storage, Update

Как проверить совместимость устройств ввода-вывода (I/O Device) в списке совместимости VMware HCL для VMware vSphere и других продуктов.


Если вы зайдете на страницу поддерживаемых устройств ввода-вывода (I/O Devices) в списке VMware Hardware Compatibility List (HCL), то в правой колонке увидите там следующие параметры:

  • VID (Vendor ID)
  • DID (Device ID)
  • SVID (Sub-Vendor ID)
  • SSID (Sub-Device ID)

Все эти категории там не просто так - это очень удобный способ проверить совместимость вашего устройства ввода-вывода (сетевая карта, HBA-адаптер, SCSI-контроллер, USB-контроллер, и т.п.) с платформой VMware vSphere / ESXi и другими продуктами.

Например, если вы хотите узнать эти параметры для сетевой карты, то можно вывести список PCI-устройств командой vmkchdev, отфильтровав их с помощью grep по свойству vmnic (сетевой адаптер):

vmkchdev -l | grep vmnic

Далее вы увидите подобный вывод:

[dpasek@esx01:~] vmkchdev -l | grep vmnic
0000:02:00.0 14e4:1657 103c:22be vmkernel vmnic0
0000:02:00.1 14e4:1657 103c:22be vmkernel vmnic1
0000:02:00.2 14e4:1657 103c:22be vmkernel vmnic2
0000:02:00.3 14e4:1657 103c:22be vmkernel vmnic3
0000:05:00.0 14e4:168e 103c:339d vmkernel vmnic4
0000:05:00.1 14e4:168e 103c:339d vmkernel vmnic5
0000:88:00.0 14e4:168e 103c:339d vmkernel vmnic6
0000:88:00.1 14e4:168e 103c:339d vmkernel vmnic7

Здесь вот этот участок - 14e4:1657 103c:22be - для адаптера vmnic0 позволяет разложить его на 4 приведенных выше параметра:

  • VID = 14e4
  • DID = 1657
  • SVID = 103c
  • SSID = 22be

После этого вы просто вбиваете эти параметры в VMware HCL для I/O-устройств в правую колонку и смотрите, совместима ли данная сетевая карта с данной версией VMware ESXi.

Если вы отфильтруете вывод по строчке vmhba, то можете получить локальные SCSI-контроллеры или HBA-адаптеры, которые также можно проверить аналогичным образом.


Таги: VMware, Storage, Hardware, HCL, Blogs, ESXi, vSphere

NetApp от А до Я: обзор технологий вендора, используемых в современных СХД.


В этом материале мы расскажем о технологиях, которые компания NetApp — лидер на рынке систем хранения данных и решений для хранения и управления информацией — использует в своих продуктах. Если вы давно хотели систематизировать знания, но не находили время, мы сделали это за вас. Предлагаем вашему вниманию компактный глоссарий терминов и определений NetApp.

ONTAP и пиво — что общего?

Действительно, что может быть общего между операционной системой для СХД и пивом? Оказывается, существует довольно любопытная история происхождения буквосочетания ONTAP. Насколько она правдива — остается загадкой, но на страницах сообщества NetApp однажды появилось следующее: «ONTAP — это своего рода акроним, который сам по себе не имеет никакого смысла, тогда как название Data ONTAP было вдохновлено пивом. Идея заключается в том, что данные должны течь свободно, точно так же, как пиво из крана на барной стойке. К тому же название характеризует то, что люди думают о данных: они должны быть там и тогда, когда в них возникает необходимость, ведь не зря on tap означает «готовый к немедленному потреблению или использованию», олицетворяя то, что всегда находится под рукой».

На деле же Clustered Data ONTAP (новое название — ONTAP) — это специализированная операционная система для хранения и менеджмента данных, которая обеспечивает отличную функциональность и централизованное управление. Преимущество системы в том, что ее архитектура и единый интерфейс облегчают процесс управления и использования СХД в средах SAN и NAS, существенно снижая затраты.

FlexArray — лучшее средство для упрощения ИТ-операций

FlexArray — технология виртуализации, которая позволяет в качестве бек-энда использовать сторонние СХД и подключать их по протоколу FCP. Иметь родные полки с дисками производства NetApp необязательно, поскольку существует возможность подключения сторонних СХД через FC-фабрики. Ключевой момент — для работы FlexArray используемая СХД должна обязательно присутствовать в матрице совместимости. Читать статью далее->>


Таги: IT-Grad, NetApp, Enterprise, Storage

Как построить масштабируемый продакшен-кластер небольшой инфраструктуры хранилищ StarWind Virtual SAN.


Многие из вас слышали о решении для построения отказоустойчивой инфраструктуры хранилищ StarWind Virtual SAN. Сегодня мы рассмотрим полноценную масштабируемую онпремизную архитектуру StarWind Virtual SAN, которая позволяет расширять как набор вычислительных узлов Hyper-V, так и множество серверов хранения, где работает ПО StarWind в синхронном режиме обеспечения отказоустойчивости.


Таги: StarWind, Virtual SAN, Enterprise, HA, Storage

Забит раздел с логами на VMware vCenter Server Appliance (большой dnsmasq.log) - что делать?


Иногда у администраторов VMware vSphere появляется проблема на сервере VMware vCSA (виртуальный модуль vCenter), когда дисковое пространство в разделе /var/log забивается под завязку. Например, если выполнить команду ls, то получим вот такую картину:

vcsa-01:/var/log # ls -lh
total 4.6G
-rw-r----- 1 dnsmasq dnsmasq 17M Feb 4 08:32 dnsmasq.log
-rw-r----- 1 dnsmasq root 844M Jan 28 07:45 dnsmasq.log-20180128
-rw-r----- 1 dnsmasq dnsmasq 3.7G Feb 2 16:19 dnsmasq.log-20180204

Здесь мы видим целых 4,6 ГБ логов! Такая ситуация - не редкость, поэтому иногда нужно поменять настройки заполнения и ротации логов, чтобы раздел не забивался. В данном случае растет лог dnsmasq - кэша сервера DNS и DHCP на сервере vCSA (подробнее тут).

Вот тут мы уже писали о том, как сменить еженедельную ротацию на ежедневную, а теперь немного более подробно посмотрим на проблему. По этому вопросу есть специальная статья VMware KB - "Root partition on the vCenter Server Appliance is full due to dnsmasq.log files".

В качестве решения предлагается отредактировать файл /etc/logrotate.d/dnsmasq до следующего состояния:

/var/log/vmware/dnsmasq.log {
nodateext # добавляем эту строчку
daily # меняем со значения weekly
missingok
notifempty
compress # меняем со значения delaycompress
maxsize 5M # добавляем эту строчку
rotate 5 # добавляем эту строчку
sharedscripts
postrotate
[ ! -f /var/run/dnsmasq.pid ] || kill -USR2 `cat /var/run/dnsmasq.pid`
endscript
create 0640 dnsmasq dnsmasq
}

Кстати, размещение файла логов можно изменить в файле /etc/dnsmasq.conf, для этого надо поменять вот эту строчку:

log-facility=/var/log/vmware/dnsmasq.log

Сам же данный конфигурационный файл рекомендуется сделать таким:

listen-address=127.0.0.1
bind-interfaces
user=dnsmasq
group=dnsmasq
no-negcache
no-hosts
log-queries
log-facility=/var/log/vmware/dnsmasq.log
domain-needed
dns-forward-max=150
cache-size=8192
neg-ttl=3600

После этого перезапускаем сервис dnsmasq:

vcsa-01:~ # service dnsmasq restart
Shutting name service masq caching server
Starting name service masq caching server


Таги: VMware, vCSA, Logs, Storage, Troubleshooting

Ограничение виртуальных дисков по IOPS в среде VMware vSphere.


Блогер David Pasek опубликовал интересный пост, касающийся ограничения виртуальных машин и их виртуальных дисков по числу операций ввода-вывода. Смысл его в том, что автор, являющийся ярым сторонником обеспечения QoS на уровне виртуальных дисков, настоятельно рекомендует применять ограничения IOPS limit к виртуальным дискам машин, которые потенциально могут выесть много полосы ввода-вывода.

Сейчас ограничивать виртуальные машины по IOPS можно как на уровне виртуальных дисков на томах VMFS/RDM/NFS, так и на уровне томов VVols. Многие системы хранения оперирует понятием логического тома LUN, на котором размещается один том VMFS. Как правило, LUN - это логический том, что значит, что несколько LUN могут размещаться на одной физической группе дисков:

Таким образом, виртуальные машины, потребляющие много IOPS от хранилища (он называет их "noisy neighbor") могут существенно замедлить работу других производственных систем.

Поэтому для таких машин требуется создавать ограничения IOPS limit, которые можно задать для виртуального диска в опциях машин, либо привязать к VMDK диску политику с ограничениями по IOPS.

Например, в vSphere Web Client создаем новую VM Storage Policy с ограничениями IOPS limit for object:

А далее привязываем эту политику к диску VMDK в настройках ВМ:

Тут же в настройках можно задать значение в поле Limit-IOPs, если не выбирать политику.

Именно ограничение по IOPS делает поведение инфраструктуры хранения для виртуальных машин предсказуемым и управляемым. Ограничения по вводу-выводу позволят обеспечить минимально приемлемый уровень обслуживания для виртуальных машин, которым требуются ресурсы хранилища, с гарантией того, что остальные системы не съедят все доступные IOPS.

Ну и в заключение несколько аспектов данного рода ограничений:

  • Команды ввода-вывода (IO) нормализуются к блоку 32 КБ, то есть команда в 128 КБ будет преобразована в 4 IO.
  • IOPS limit не влияет на операции SVmotion (миграция хранилища), XVmotion (миграция машин без общего хранилища) и клонирование ВМ.
  • IOPS limit применяется только ко вводу-выводу гостевой ОС и не затрагивает операции с самим диском VMDK и его swap-файлами.
  • Если у машины несколько лимитов по IOPS для дисков на одном датасторе, то эти лимиты складывают и применяются для всей ВМ на этом датасторе в целом. Если же диски находятся на разных хранилищах, то тут уже действуют правила для каждого из групп дисков.
    • Например, если у каждой из 4 дисков машины на одном датасторе стоит лимит 100 IOPS, то для всей машины будет совокупный лимит 400. То есть, если три VMDK едят по 10 IOPS каждый, то четвертый диск сможет съесть максимум 370 IOPS.
    • А вот для NFS-хранилищ все работает несколько иначе - если у каждого из 4 дисков на одном датасторе стоит лимит 100 IOPS, то сколько бы ни потребляли остальные диски, для каждого из дисков будет применен максимальный лимит 100.
  • Полная информация об ограничении ввода-вывода для виртуальных машин приведена в KB 1038241.

Также рекомендуем почитать нашу статью "VMware Storage I/O Control (SIOC) - как это работает на практическом примере".


Таги: VMware, vSphere, Storage, Performance, VMDK, VMFS, NFS

Бесплатная утилита StarWind Deduplication Analyzer для оценки эффективности дедупликации.


Многие из вас знают про продукт для создания отказоустойчивых хранилищ StarWind Virtual SAN, являющийся лидером в сфере программных iSCSI-хранилищ под виртуализацию VMware vSphere и Microsoft Hyper-V.

Одной из возможностей данного решения является функция inline-дедупликации хранимых данных, которая позволяет существенно экономить дисковое пространство на конечных блочных носителях. Напомним, что еще в 2011 году мы писали о дедупликации StarWind, но с тех пор технология существенно ушла вперед, и вот уже несколько лет она работает надежно и эффективно.

Для тех, кто хочет заранее узнать, сколько именно места можно сэкономить с помощью продукта Virtual SAN, компания StarWind выпустила бесплатную утилиту StarWind Deduplication Analyzer, которая помогает вам проанализировать текущую структуру хранения виртуальных машин и получить отчет о потенциальной экономии. Запускать утилиту можно как для всего хранилища в целом, так и для отдельных виртуальных машин, чтобы идентифицировать ВМ, которые лучше всего ужимаются вследствие дедупликации на диске.

Как мы видим, StarWind использует 4k-блоки, которые сейчас являются стандартом де-факто для достижения наибольшей эффективности дедупликации.

По итогам работы утилиты будет выведен отчет о возможной экономии дискового пространства и количестве уникальных блоков на диске, который можно сохранить и распечатать:

Кстати, на скриншоте показан пример из реальной жизни, где коэффициент дедупликации оказался примерно равен 50%, то есть можно сэкономить где-то половину дискового пространства при хранении ВМ виртуального датацентра.

Работает утилита достаточно быстро, а главное, что пользоваться ей очень просто - выбираете папку и нажимаете кнопку Scan. При этом Deduplication Analyzer не требует установки и работает сразу при запуске скачанного файла.

Загрузить StarWind Deduplication Analyzer можно по этой ссылке.


Таги: StarWind, Virtual SAN, Бесплатно, Storage

Вышел Veeam Backup & Replication 9.5 Update 3 - масса новых возможностей.


На днях компания Veeam выпустила обновление своего флагманского продукта Veeam Backup & Replication 9.5 Update 3 для резервного копирования и репликации виртуальных машин, в котором появилось немало новых возможностей. Напомним, что Veeam B&R 9.5 Update 2 вышел весной этого года, поэтому долгожданное обновление под Новый год окажется весьма кстати.

Теперь консоль Veeam Backup & Replication представляет собой не только сам продукт, но и в рамках Veeam Availability Suie интегрирует управление такими решениями, как Veeam Agent for Microsoft Windows и Veeam Agent for Linux. То есть вы теперь можете создавать задачи как для бэкапа виртуальных машин с помощью Veeam Backup and Replication, так и для бэкапа файлов/папок/дисков серверов с помощью агентов из одной консоли. Все эти задачи можно контролировать одновременно для всей своей физической и виртуальной ИТ-инфраструктуры.

Посмотрим на прочие новые возможности решения:

1. Группы защиты (protection groups).

Это объекты для Veeam Agents, которые объединяются по категориям - например, компьютеры, добавляемые по IP или DNS-имени, объекты Active Directory, такие как organizational units (OUs), группы или компьютеры, а также списки хостов из CSV-файла.

Также появилась логика исключений - если вы защищаете, например, системы с помощью Veeam Agent на неподдерживаемом Veeam B&R гипервизоре, то нужно снять галочку "All virtual machines":

Также теперь можно исключить из бэкапа ВМ, которые находятся в офлайне более 30 дней, чтобы Veem B&R не пытался туда установить агентов. Ну и, кроме того, в исключения можно добавить отдельные объекты.

Удобство таких групп в отличие от статически определенных списков в том, что, например, в OU Active Directory компьютеры могут добавляться и удаляться - и Veeam B&R будет регулярно обновлять эти данные.

2. Политика резервного копирования Managed by Agent для десктопов и серверов.

Она используется для тех рабочих станций, режим работы пользователей которых непредсказуем, а также для удаленных серверов с нестабильным соединением. В этом случае нужно выбирать опцию Managed by Agent:

Агент сам решит, в какое время удобнее всего сделать резервную копию системы, чтобы не пытаться, например, пропихнуть бэкап в узкий канал, который сейчас является таковым из-за высокой нагрузки на внутреннюю сеть, где находится резервируемая система.

Если вы выберете Managed by backup server - то уже сервер резервного копирования будет определять окно, в рамках которого будет проходить бэкап.

3. Поддержка новых систем и продуктов.

Теперь Veeam Backup & Replication 9.5 Update 3 поддерживает Microsoft Windows Server 2016 версии 1709, VMware vCloud Director 9 и Microsoft SQL Server 2017. Кроме того, поддерживаются диски 4 ТБ в Microsoft Azure, а также регионы Azure Germany и China.

Ну и поддерживаются ленточные устройства LTO-8.

4. Поддержка VMware Cloud on AWS.

Эта поддержка была анонсирована Veeam еще на прошедшем VMworld 2017. Теперь решение от Veeam можно использовать для резервного копирования внутри облачных сред, а также для репликации онпремизных виртуальных машин в облако.

5. "Корзина" для сервис-провайдеров Cloud Connect.

Теперь сервис-провайдеры могут установить число дней, в течение которых будут храниться удаленные объекты резервного копирования. Зачем? Все просто - если какое malware поудаляет сами машины и бэкапы у сервис-провайдера, их можно будет хотя бы восстановить из корзины.

6. Data location logging.

Теперь с помощью тэгов можно помечать продакшен и бэкап инфраструктуру, чтобы ориентироваться, что где находится. Это позволит соблюсти стандарты General Data Protection Regulation (GDPR).

7. Интеграция со снапшотами IBM Spectrum Virtualize и Lenovo Storage V Series.

Теперь в Veeam Backup & Replication 9.5 Update 3 есть интеграция с массивами IBM Spectrum Virtualize семейств IBM SAN Volume Controller (SVC) и IBM Storwize, а также интеграция с Lenovo Storage V Series (массивы на основе IBM Spectrum Virtualize). Интеграция доступна как для Veeam Explorer for Storage Snapshots, так и для Backup from Storage Snapshots.

Загрузить Veeam Backup & Replication 9.5 U3 можно по этой ссылке. Скоро там же будут доступны обновления Veeam Agent for Microsoft Windows 2.1 и Veeam Agent for Linux v2.


Таги: Veeam, Backup, Update, Storage, Agent

Как расходуется дисковое пространство в кластере VMware vSAN при удалении файлов?


Cormac Hogan написал занимательный пост о об использовании дискового пространства в кластере VMware vSAN. Всех интересует - умеет ли vSAN возвращать дисковое пространство хранилищу при удалении файлов в гостевой ОС виртуальной машины? Ответ - пока нет, но над этим работают.

Cormac провел вот какой эксперимент: взял виртуальную машину в кластере vSAN с гостевой ОС Windows Server 2012 R2, у которой было 386.7 ГБ занятого места (сама ВМ была развернута на тонких дисках):

Затем он скопировал туда данные на 800 МБ, после чего увидел, что занятое место увеличилось до 388.37 ГБ, то есть выросло на 1,6 ГБ. Это логично, так как vSAN работал в режиме RAID-1 (зеркалированные VMDK-диски):

Далее он удалил только что скопированные файлы и убедился, что занятое дисковое пространство осталось тем же самым (то есть, в vSAN нет поддержки UNMAP/TRIM изнутри гостевой системы):

Между тем, он снова скопировал те же 800 МБ и к радости администраторов заметил, что дисковое пространство увеличилось лишь на 20 МБ (в совокупности на 40 МБ с учетом RAID-1).

То есть занятые после прошлого копирования блоки были использованы повторно:

Такая штука есть у Windows Server, но у Linux в файловой системе ext4 такой трюк не прокатит - все равно при повторном копировании блоки разместятся в другом месте, и пространство будет использовано повторно. Но это особенность файловой системы ext4, об этом подробно написано тут и тут. Для ФС ext3 и XFS это не актуально, там блоки тоже будут переиспользоваться.

Ну и помните, что описанное применимо только для удаления файлов изнутри гостевой ОС, если же вы удалите на хранилище vSAN виртуальную машину или другой объект - пространство сразу же вернется в общий пул хранения.


Таги: VMware, vSAN, Storage, vSphere, VMachines

Предотвращение создания виртуальных машин на определенных датасторах в VMware vSphere Storage Policy Based Management (SPBM).


Довольно давно мы уже рассказывали о механизме применения политик для хранилищ при развертывании виртуальных машин - VMware vSphere Storage Policy Based Management (SPBM). А недавно Кормак Хоган опубликовал интересную заметку, касающуюся возможности выбора политик SPBM конкретным пользователем во время развертывания новой виртуальной машины.

Прежде всего, в vSphere нет механизма назначения прав доступа пользователей на конкретную политику SPBM - все пользователи видят все политики. Но сам механизм разграничения прав существует - его можно реализовать на уровне прав доступа к хранилищам.

Например, пользователю ben мы даем доступ Read-only к хранилищу VVols1, то есть создавать виртуальные машины он на нем не может:

А на хранилище VVols2 делаем его администратором:

В итоге, при развертываниии виртуальной машины пользователь ben видит оба хранилища - VVols1 и VVols2 и все доступные политики хранилищ (комбобокс VM storage policy):

Однако, обратите внимание, что при выборе хранилища VVols1 в разделе Compatibility написано о том, что пользователь не имеет достаточных привилегий, чтобы создать машину на этом датасторе.

You do not hold the privilege to allocate space on the selected datastore

Между тем, кнопка Next активна. Но если нажать ее, мастер все равно дальше не пустит:

Вверху мы увидим:

Specify a valid location

Ну а если выбрать VVols2, то все проверки пройдут успешно, и пользователь сможет там создать виртуальную машину:


Таги: VMware, Storage, Security, SPBM, vSphere

Кто использует VVols в качестве хранилищ VMware vSphere?


Мы много пишем о технологии Virtual Volumes (VVols), которая сравнительно недавно появилась в платформе виртуализации VMware vSphere. Совсем недавно мы писали о том, что будет в следующих версиях VVols, а сегодня давайте посмотрим на текущее положение дел.

Eric Siebert написал интересный пост о том, сколько компаний использует VVols сейчас в производственно среде. На данный момент VVols применяется примерно у 2% клиентов VMware, что весьма и весьма мало. Связано это, в первую очередь, с ограничениями технологии и небольшим количеством партнеров ее поддерживающих.

Между тем, подвижки в этом направлении уже есть. Вот какие факторы будут способствовать развитию VVols в ближайшем будущем (Эрик считает, что более половины всех пользователей vSphere будут применять эту технологию):

  • Все больше клиентов переходят с vSphere 5.5 на vSphere 6.x, где VVols полностью поддерживаются.
  • В vSphere 6.5 поддерживается функциональность аппаратной репликации томов VVol, что является очень важной и нужной фичей.
  • Партнеры расширяют поддержку этой технологии в своих новых массивах.
  • Клиенты все больше узнают о технологии, в том числе через этот пост:)

Если посмотреть на статистику использования VVols администраторами vSphere в различных компаниях, то во времени она выглядит так:

Категория Январь 2016 Январь 2017 Сентябрь 2017
Общее число систем с использованием VVols 46 258 361
Системы, где до 10 томов VVol 36 111 165
Системы, где 11-50 томов VVol 5 51 71
Системы, где 51-100 томов VVol 3 11 35
Системы, где более 100 томов VVol 2 43 90
Самый большой клиент (по числу томов VVol) N/A 1 457 VVols / 576 машин 2 656 VVols / 727 машин
10-й по величине клиент VVol (по числу томов) N/A 477 VVols / 169 машин 944 VVols / 216 машин

В принципе, прогресс за этот период выглядит неплохо (особенно в категории 100+), но в абсолютном выражении это, все-таки, очень мало. Ну и вот небольшой августовский отчет IDC про данную технологию - "VVols Provides Powerful Application-Aware Management for vSphere Environments".

Пара интересных роликов, вышедших на днях:


Таги: VMware, VVols, Storage, vSphere

PowerCLI-сценарий для обнаружения логических дисков Windows в виртуальных дисках VMDK.


Allan Kjaer написал интересный скрипт PowerCLI, который позволит определить, какие логические тома Windows находятся в виртуальных дисках VMDK машин на платформе vSphere. Как-то я сталкивался с такой проблемой, поэтому может быть она не такая уж и редкая.

Скрипт соединяется с управляющим сервером VMware vCenter, запрашивает учетные данные к гостевой ОС Windows, после чего строит отчет о том, на каких дисках VMDK какие разделы были обнаружены. Отчет включает в себя индекс диска Windows, букву диска и метку тома.

Вот так он выглядит:

"vmName      vmHardDiskDatastore vmHardDiskVmdk           vmHardDiskName windowsDiskIndex windowsDiskSerialNumber          vmHardDiskUuid                   windowsDeviceID    drives   volumes
------ ------------------- -------------- -------------- ---------------- ----------------------- -------------- --------------- ------ -------
test-vm FC01 test-vm/test-vm.vmdk Hard disk 1 0 6000c29c481f32e9763fe6d2d8dc8f7b 6000C29c481f32e9763fe6d2d8dc8f7b \\.\PHYSICALDRIVE0 C:
test-vm FC01 test-vm/test-vm_1.vmdk Hard disk 2 1 6000c297d1a7352ed5ee1b870023f57d 6000C297d1a7352ed5ee1b870023f57d \\.\PHYSICALDRIVE1 D: Data
test-vm FC03 test-vm/test-vm.vmdk Hard disk 3 2 6000c290e36c2f3b641a56308551e998 6000C290e36c2f3b641a56308551e998 \\.\PHYSICALDRIVE2 {E:, F:} {New Volume, New Volume}

Скрипт не особо тестировался, поэтому запуская его, предварительно смотрите по коду, что именно он делает и как. Посмотреть данный PowerCLI-сценарий можно по этой ссылке.


Таги: VMware, PowerCLI, Storage, VMachines

Новая версия калькулятора VMware vSAN 6.5 и vSAN 6.6.1 Resource Calculator.


Летом мы писали о калькуляторе для сайзинга хранилищ инфраструктуры VMware vSAN 6.2. С тех пор вышли новые версии vSAN 6.5 и vSAN 6.6.1, в которых было реализовано несколько новых возможностей, соответственно, обновился и калькулятор - его новая версия доступна по этой ссылке. Новая версия построена на базе документов VMware vSAN Design and Sizing Guide 6.5 и 6.6.1 (глава 10.2 Capacity Sizing Example II).

Калькулятор представляет собой Excel-таблицу, в которой есть поля для ввода исходных данных (черные - это аппаратные параметры инфраструктуры и данные по консолидации ВМ, синие и зеленые - остальные параметры). Ранее этот калькулятор представлял собой Excel-документ в облаке OneDrive, но теперь любой может скачать его.

В верхней части таблицы черным шрифтом обозначаются ресурсы, которые рассчитываются только для того, чтобы можно было исполнять виртуальные машины в кластере Virtual SAN, а красным шрифтом выделен тот объем ресурсов, который вам потребуется, чтобы обеспечить требуемый уровень избыточности и отказоустойчивости.

В левой области таблицы данные параметры рассчитываются для All-Flash архитектуры кластера Virtual SAN, а правая часть предназначена для расчетов гибридной архитектуры (обычные HDD-диски для данных, а SSD-носители - для кэша).

Более подробно о калькуляторе написано вот тут.


Таги: VMware, vSAN, Calculator, Storage

Бесплатная книга "vSphere 6.5 Host Resources Deep Dive" (570 страниц!).


Автор известного технического блога о платформе VMware vSphere, Frank Denneman, совместно с одним из коллег выпустил весьма интересную книгу "vSphere 6.5 Host Resources Deep Dive".

В рамках 570-страничного талмуда авторы рассказывают все технические детали управления ресурсами на уровне хоста ESXi, такими как память, процессор, стек работы с хранилищами и сетевая архитектура. Довольно много содержимого книги посвящено архитектуре NUMA-узлов и оперативной памяти, механикам работы CPU и ядра VMkernel, а также прочим самым глубоким моментам программных и аппаратных компонентов хоста ESXi.

По уверению авторов книга покрывает, например, следующие технические вопросы:

  • Оптимизация рабочих нагрузок для систем Non-Uniform Memory Access (NUMA).
  • Объяснение того, как именно работает механика vSphere Balanced Power Management, чтобы получить преимущества функциональности CPU Turbo Boost.
  • Как настроить компоненты VMkernel для оптимизации производительности трафика VXLAN и окружений NFV.

В общем, книга очень крутая и мудрая. Скачать ее можно по этой ссылке.


Таги: VMware, Book, ESXi, Blogs, Storage, CPU, Memory

Как правильно вывести хост VMware ESXi из кластера vSAN.


Иногда администратору решения по организации отказоустойчивых кластеров VMware vSAN требуется вывести отдельный хост VMware ESXi из кластера, после чего использовать его диски для организации томов VMware VMFS виртуальных машин уже не в рамках кластера.

Правильно делать это следующим образом.

1. Проверяем, является ли хост членом кластера vSAN:

esxcli vsan cluster get

2. Выводим хост ESXi из кластера:

esxcli vsan cluster leave

3. Убедимся, что хост вышел из кластера:

esxcli vsan cluster get

мы должны получить сообщение:

Virtual SAN Clustering is not enabled on this host

4. После этого надо очистить конфигурацию vSAN для дисков на хосте.

Для начала найдем все диски командой:

esxcli vsan storage list

далее идентифицируем диски vSAN, выполнив команду:

partedUtil getptbl <путь к устройству>

Здесь мы видим, что один из разделов еще видит себя частью vSAN. Сначала надо снять лок с диска, отключив автоуправление со стороны кластера vSAN (то есть, разрешаем ручные операции с хранилищами vSAN):

esxcli vsan storage automode set --enabled false

Если этого не сделать, мы получим такую ошибку:

Unable to remove device: Can not destroy disk group for SSD naa.6000c29c581358c23dcd2ca6284eec79 : storage auto claim mode is enabled

5. После этого можно окончательно вывести диск из кластера vSAN следующей командой:

esxcli vsan storage remove -s naa.50026b724712194a

здесь опция -s значит SSD-диск (так отключаются устройства кэширования), а если мы хотим вывести обычный диск, то вместо -s надо использовать опцию -d.


Таги: VMware, vSAN, Обучение, Storage, ESXi

Несколько советов по дедупликации, компрессии и экономии дискового пространства в кластере VMware vSAN.


John Nicholson написал интересный пост с советами по экономии дискового пространства в кластере VMware vSAN, а также некоторыми рекомендациями по использованию техник дедупликации и сжатия данных.

Вот каким моментам следует уделить внимание:

1. Посмотрите на параметр политики хранения object space reservation (OSR) - если он установлен в 0, то виртуальные диски машин будут тонкими. Если же он будет больше 0, то пространство под диски будет резервироваться и vSAN не сможет эффективно использовать дедупликацию, так как будет вынужден поддерживать фиксированные резервы дискового пространства под ВМ.

2. Помните, что параметр резервирования свопа установлен в 100%, но это можно поменять, как мы писали в этой статье. Уменьшение параметра резервирования свопа оправдано, когда вы не собираетесь использовать memory overcommitment (то есть, ресурсов у вас с запасом), а значит виртуальным машинами не потребуется активно сбрасывать страницы в своп в случае недостатка физической памяти.

3. Помните, что отдельно развертываемые виртуальные машины c дисками типа "thick" или "Eager Zero Thick" (например, со старых клиентов vSphere Client или через консоль) могут перекрывать настройку политики OSR. Чтобы пофиксить это, вы можете переприменить политику хранения (storage policy) на эти хранилища. William Lam написал несколько скриптов, которые позволяют найти такие ВМ и накатить политики по-новой.

4. Убедитесь, что данные записываются на capacity tier - только там они будут дедуплицироваться и сжиматься. Если вы развернули всего 3-4 машины, они могут остаться в буффере (write buffer). Механизмы vSAN не тратят ресурсы на дедупликацию и сжатие объектов, которые долго не живут (то есть, находятся в буффере на запись). Например, 10 машин по 8 ГБ диска каждая тоже могут остаться на стейджинге и, пока не переместятся в постоянное хранилище, не будут дедуплицированы.

Вот тут можно посмотреть, как именно отрабатывает дедупликация, и сколько она экономит дискового пространства:

Ну и вот что Джон рекомендует в плане тестирования дедупликации и компрессии:

  • Самый простой способ организовать тестирование - запустить клонирование 200+ виртуальных машин, они сразу пойдут в capacity tier, и механизм дедупликации включится.
  • Надо помнить, что тестирование этих механизмов и реальное их применение дадут разные результаты, так как при тестировании вы последовательно пишете данные на хранилище и избегаете узких мест, связанных с дестэйджингом из кэша во время размеренного использования кластера vSAN в продакшене.
  • Тестирование алгоритма сжатия на данных, которые плохо сжимаются - плохая идея, так как в этом случае vSAN не будет тратить ресурсы на их сжатие, чтобы записать на хранилище. Это позволит быстрее читать их, а экономия с точки зрения диска будет небольшой (к тому же, алгоритм сжатия LZ4 не такой быстрый, как хотелось бы).
  • При резких всплесках объема записываемых данных и IOPS, которые не помещаются в кэш, видно, что механизмы сжатия и дедупликации приостанавливаются и теряют эффективность. Это связано с тем, что vSAN прежде всего должен обеспечить хороший показатель latency (то есть уровня сервиса), а уже во вторую очередь эффективность механизмов дедупликации и компрессии.

Ну и в довершение, интереснейший документ от VMware - "vSAN Space Efficiency Technologies".


Таги: VMware, Storage, vSAN

Как увеличить VM Guest Partition с помощью PowerCLI.


Как часто вам приходится увеличивать логические диски внутри гостевых ОС ВМ? Довольно часто, не так ли? Вам надо сначала найти вашу ВМ в vSphere Client, потом кликнуть Edit Settings и перво-наперво увеличить виртуальный диск ВМ. После вы должны будете открыть RDP к вашей ВМ, затем открыть Disk Management, выбрать Rescan Disks из контекстного меню и только после этого ещё один правый клик на нужном вам логическом диске и вот сейчас выбрать Extend Volume...


Таги: VMware, PowerCLI, Storage, PowerShell, VMachines, ESXi, vSphere

VMware vSphere APIs for I/O Filtering (VAIO) - как это работает.


Недавно компания VMware выпустила интересный документ VMware vSphere APIs for I/O Filtering (VAIO), в котором описываются основные принципы работы данной технологии. Ниже мы расскажем о них вкратце, а также затронем тему того, каким образом можно использовать VAIO в производственной среде.

VAIO - это технология и API, которые позволяют получать прямой доступ к потоку ввода-вывода (I/O Stream) гостевой ОС виртуальной машины. Механизм VAIO уже сейчас способствует созданию партнерских продуктов для решения самых разнообразных задач (например, кэширование write-back и write-through). VAIO основан на механике Storage Policy Based Management (SPBM), которая предназначена для управления правилами хранения виртуальных машин и их работой с хранилищами.

Техническая реализация данного механизма подразумевает использование драйвера VAIO (filter driver), который устанавливается на хосте VMware ESXi как пакет VIB и не требует установки никакого специального ПО в гостевой ОС виртуальной машины.

Посмотрим на эту картинку, на которой изображен путь данных от виртуальной машины к физическому устройству хранения. На ней представлены 2 компонента, относящиеся к VAIO. Первый - это VAIO фреймворк, работающий на уровне ядра VMkernel и определяющий действующую политику фильтра. Второй - это IO Filter, представляющий собой программное обеспечение, работающее на уровне пользовательской среды исполнения (User World) сервера ESXi. Этот драйвер фильтра исполняет свою функцию (например, кэширование данных или их репликация), после чего передает их на физическое устройство хранения для записи.

Такая архитектура позволяет драйверу IO-фильтра получать доступ к потоку ввода-вывода, не сильно не влияя на производительность исполнения SCSI-команд. Еще одна особенность IO-фильтра - это возможность иметь доступ к потоку ввода-вывода как в сторону записи (от ОС к хранилищу), так и в обратную сторону (квитанции о прохождении команд). Это полезно, например, при использовании IO-фильтра для технологии репликации, где очень важно получать квитанции о записи данных на диск.

Кстати, SCSI-команды попадают к IO-фильтру сразу после того, как они проходят слой эмуляции SCSI (он же vSCSI), что позволяет использовать VAIO для любых типов хранилищ - VMFS, NFS, SCSI и vSAN. Ну а перехват команд IO-фильтром перед их отсылкой в сетевой стек к хранилищу позволяет обеспечить целостность данных и безопасность.

Еще, если внимательно посмотреть на архитектуру прохождения потока ввода-вывода, можно заметить, что драйвер IO-фильтра работает на уровне User World, а значит в целом не влияет на стабильность работы сервера ESXi. Даже если он вдруг прекратит свою работу, основной стек прохождения SCSI-команд, расположенный в ядре, продолжит работать в нормальном режиме.

Работает IO Filter на уровне отдельных VMDK-дисков конкретных ВМ, что открывает широкие возможности для механизма политик Storage Policy Based Management (SPBM) и применения их к отдельным виртуальным машинам и сервисам.

Все вышеперечисленное позволяет применять VMware VAIO при решении следующих типов задач:

  • Encryption – стороннее ПО за счет использования механизма VAIO может на лету шифровать и расшифровывать поток данных от виртуальной машины. Таким образом на хранилище будут помещаться уже шифрованные данные. Гранулярность работы VAIO позволяет обслуживать данные, идущие даже не от всей виртуальной машины, а только от одного приложения.
  • De-duplication - этот механизм уже использует решение VMware Virtual SAN. В реальном времени можно дедуплицировать данные, проходящие через драйвер и в таком виде уже класть на хранилище в целях экономии дискового пространства. Эта техника доступна и партнерам VMware.
  • Tiering - данные различной степени важности, критичности или классифицированные по другим критериям теперь можно класть на хранилища с разными характеристиками производительности и доступности (ярусы). Механизм VAIO тут поможет проанализировать характер данных и определить конечное их место назначения.
  • Analytics - теперь можно анализировать непосредственно поток данных от конкретной виртуальной машины и на основе этого строить множество различных решений, включая решения по кэшированию (например, такой продукт как PrimaryIO, который можно напрямую подключить к гипервизору). Затем можно, например, искать в трафике данные определенных приложений, либо, использовать механизм write-back кэширования.

Технология VAIO работает, начиная с VMware vSphere 6.0 Update 1, поддерживает горячую миграцию vMotion (VAIO должна быть доступна на целевом хосте) и кластеры VMware DRS (должна быть доступна на всех хостах).

Давайте теперь посмотрим, как VAIO работает на практике на одном из примеров. Чтобы начать работать с VAIO, вам нужно установить IO Filter в виде VIB-пакета, который реализует функциональную составляющую партнерского продукта для VMware vSphere.

Как правило, вместе с фильтром идет и политика SPBM (аналогичная тем, которые есть для vSAN или VVols, например), которую можно назначать виртуальным машинам на уровне виртуальных дисков VMDK.

Эту политику можно назначить при создании виртуальной машины в разделе Select Storage (в данном случае это политика кэширования на SSD):

Пример политики, идущей вместе с фильтром, как правило включает в себя Common Rule - правила, которые реализуют Data Services (то есть основной функционал фильтра) и определяются через компоненты Storage Policy Components (путем добавления компонентов в разделе Common Rules).

Например, в данном случае это тип кэширования Write Through или Write Back, который мы задаем в разделе Common Rules при создании новой политики хранения:

По умолчанию эти компоненты устанавливаются вместе со встроенными фильтрами vSphere и другими продуктами, которые пополняют набор IO-фильтров, а соответственно и компонентов по мере их установки. За счет использования Storage Policy Components возможности IO-фильтров могут быть включены в любую из уже настроенных политик VM Storage Policies.

Это очень удобно, поскольку на данный момент виртуальная машина или VMDK-диск могут иметь только одну примененную к ним политику хранения, но к ним можно добавить компоненты от разных фильтров.

Ну а сами IO-фильтры от разных производителей вы можете найти в VMware Compatibility Guide по этому адресу - https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vaio.

Как видно из картинки, на данный момент не так много партнеров используют технологию VAIO для своих продуктов, а категорий решений всего две - репликация и кэширование. Но VMware активно работает в этом направлении, и в скором времени, возможно, мы увидим еще несколько продуктов, реализующих функционал IO-фильтров для решения новых задач.


Таги: VMware, vSphere, VAIO, Storage, API, SPBM, VMachines

Топ-4 рекомендаций к модернизации СХД.


Это гостевой пост компании ИТ-ГРАД - сервис-провайдера, предоставляющего виртуальные машины в аренду.

Если у вас есть система хранения данных, то рано или поздно она обязательно подвергнется модернизации, так как невозможно представить развивающийся бизнес без постоянного роста вычислительных ресурсов. Карло Велтен, генеральный директор Crisp Research, на первой конференции FlashForward, состоявшейся 1 июня 2017 года в Мюнхене, рассказал о четырех главных требованиях к модернизации систем хранения, которые сделают ИТ-инфраструктуру более надежной и современной.

Но рекомендации не имеют смысла без реализации на практике, поэтому остановимся на каждой из них применительно к новейшей системе хранения данных NetApp® All Flash FAS.

Масштабируемость (Skalierbarkeit)

NetApp® All Flash FAS обладает уникальной возможностью масштабирования среди продуктов компаний, представляющих на рынке решения с флэш-памятью. Все модели All Flash FAS могут быть расширены до 24 узлов. Это позволяет добиться невероятной «сырой» емкости в 7,3 Пб, что значительно больше, чем могут предложить конкуренты сегодня или в ближайшем будущем.

Но это еще не все! 5 июня этого года NetApp представила новую прошивку ONTAP® 9.2. С ее помощью клиенты могут масштабировать свою систему хранения почти до бесконечности, используя облачное хранилище. В версии 9.2 реализована новая технология FabricPool, которая позволяет осуществлять автоматический tiering между частными и публичными облаками, перемещая холодные данные с SSD-агрегата на более медленный объектный уровень (облако Amazon S3 или СХД NetApp StorageGRID). Это повышает эффективность использования мощностей и защиту инвестиций.

Хорошим примером использования масштабирования СХД от NetApp служит кейс Европейского космического агентства, ознакомиться с которыми вы можете по данной ссылке.

Производительность и доступность (Performance and Verf?gbarkeit)

Производительность системы хранения – очень важный параметр, так как потребности бизнеса очень быстро меняются, а ИТ-инфраструктура должна им соответствовать и быть гибкой. Поэтому создание вычислительных центров на базе самых мощных из представленных на рынке СХД, таких как All Flash FAS, является очень выгодным вложением. Результаты тестов SPC-1 показывают, что All Flash FAS входит в тройку самых быстрых систем хранения, доступных на текущий момент. Она также имеет отличный показатель соотношения цены и производительности – тот же рейтинг СХД доказал, что AFF 700s имеет лучшее соотношение $/IOPS из 10 протестированных систем.

Безопасность хранения данных (Datenhoheit and Sicherheit)

Сейчас набирают популярность решения гибридного облака, но безопасное перемещение данных между узлами внутри него все еще вызывает сомнения и опасения. Для решения этой проблемы NetApp предлагает Data Fabric. С помощью технологии Data Fabric вы можете безопасно перемещать данные в облаках (частных или публичных) и управлять ими, чтобы получить все преимущества гибридной модели. Модели NetApp серии All Flash FAS могут быть интегрированы в Data Fabric для репликации, создания резервных копий и распределения данных по различным уровням систем хранения в публичном или частном облаке.

Для того чтобы узнать больше об этой технологии, ознакомьтесь с нашим информационным буклетом.

Эффективность (Effizienz)

Для повышения эффективности системы хранения используют такие технологии, как сжатие, дедупликация и экономное распределение (thin provisioning), но ONTAP теперь также позволяет делать дедупликацию на уровне агрегата (aggregate level) и уменьшать передачу избыточных данных между томами, что повышает эффективность хранения на 30%. Это важно как клиентам крупных центров обработки данных, которые ищут способы занимать меньше пространства путем оптимизации инфраструктуры, так и небольшим поставщикам услуг для сервисных провайдеров, когда платить приходится за каждый отдельный юнит. Переход на эффективную технологию флэш-памяти дает значительную экономию для клиентов независимо от их размера. ИТ-организации, которые перешли на систему хранения All Flash FAS, сократили используемую площадь от 4 до 10 раз.

О примере повышения эффективности вы можете прочитать в кейсе факультета гражданского строительства (FCE) Чешского технического университета (CTU).

All Flash FAS от NetApp удовлетворяет всем требованиям к модернизации СХД и может быть рекомендована для компаний любого уровня и масштаба.

Для более детального знакомства с решением NetApp All Flash FAS и другими системами хранения данных NetApp, предоставляемыми компанией «ИТ-ГРАД», обращайтесь в центр компетенции. Здесь вы всегда сможете задать интересующие вас вопросы и обсудить различные варианты построения ИТ-инфраструктуры.

Ссылка на статью в блоге ИТ-ГРАД.


Таги: IT-Grad, Storage, Обучение, Enterprise, NetApp

Проблема с VMware vCenter Server Appliance (vCSA) - ошибка 503 Service Unavailable.


Как пишут многие, в последнее время с виртуальным модулем VMware vCenter Server Appliance (vCSA) часто случаются проблемы. Например, вот такая ошибка появляется время от времени:

503 Service Unavailable (Failed to connect to endpoint: [N7Vmacore4Http20NamedPipeServiceSpecE:0x0000559b1531ef80] _serverNamespace = 
/ action = Allow _pipeName =/var/run/vmware/vpxd-webserver-pipe)

Как пишет Anthony Spiteri, зачастую эта ошибка связана с тем, что Linux-система, на базе которой работает vCSA (а именно Photon OS в vCSA 6.5), пока еще имеет достаточно ненадежную реализацию стека работы с хранилищами (в отличие от того, который есть в Windows). Поэтому при некоторых неполадках со стораджем или появлении высокой задержки (latency) сервер vCSA может "выпадать".

Ведь vCSA 6.5 имеет аж 12 файлов виртуальных дисков VMDK (раньше их было два), с которыми что-нибудь да может иногда случиться. Один из вариантов решения - проверить диски утилитой e2fsck, которая может проблем в случае 503 ошибки. Также проблема может таиться в USB-устройствах, и тогда вам поможет вот эта статья. А еще можно заглянуть вот сюда.

Может еще помочь выполнение следующих команд в консоли vCSA для перезапуска vSphere Web Client (надо будет подождать 15 минут):

service-control --stop vsphere-client
service-control --start vsphere-client

Ну и не забудьте заглянуть в эту ветку форумов VMware.

Интересно, что совсем недавно компания VMware анонсировала ежемесячные обновления vCSA, что может постепенно уменьшить имеющиеся проблемы. Но пока надежность vCenter для Windows остается более проверенной штукой (по крайней мере, в плане хранилищ), поэтому пока все вокруг топят за vCSA, подумайте нужно ли именно сейчас на него переезжать.


Таги: VMware, vCSA, Bug, Storage, vSphere

Как конфигурировать SDRS Anti-Affinity правила с PowerCLI – Часть 3


Это Часть 3 в серии о Storage DRS. В предыдущей части мы говорили о том как создавать и удалять SDRS Anti-Affinity правила. Чтобы закрыть тему, нам осталось редактировать/реконфигурировать существующие правила. Логично предположить, что это будет функция Set-SdrsAntiAffinityRule.


Таги: SDRS, PowerCLI, vSphere, VMware, Storage

1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19    >   >>
Реклама







Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

11/09/2018:  Облака 2018: настало время PaaS
13/09/2018:  IDC Security Roadshow 2018
14/09/2018:  Big Data Conference 2018

Быстрый переход:
VMware IT-Grad Veeam 5nine Hardware Citrix StarWind VeeamON Nutanix vSphere RVTools Enterprise Security Code Offtopic Cisco vGate Microsoft Cloud SDRS Parallels IaaS HP VMFS PowerCLI VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo vRealize VirtualBox Symantec Gartner Softline EMC Login VSI Xen Teradici Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter VMachines Webinar View VKernel Events Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V Horizon vSAN Labs Tools SDDC Virtual Appliance Workstation Update Backup vCloud DRS App Volumes OpenStack Forum PowerShell SRM HA LSFS Lifecycle Client Workspace vCSA Datacenter vROPs Workspace ONE Visio NSX Intel Agent Networking esxtop VVols Book Photon VMworld Fusion Cloud Computing SSD Comparison Blast Performance Manager Nested AWS Log Insight XenDesktop VSA vNetwork SSO Host Client VMDK VTL iSCSI Whitepaper Appliance VUM V2V Cache Support Обучение Web Client Mobile Automation Replication Desktop Fault Tolerance DR Vanguard SaaS Connector Event Free SQL VSAN Sponsorship Finance FT Converter XenApp Snapshots VCP vGPU Auto Deploy SMB RDM Mirage XenClient MP Video Operations SC VMM Certification VDP Partners PCoIP RHEV vMA Award Network USB Licensing Logs Server Demo vCHS Calculator Бесплатно vExpert Beta SAN Exchange MAP ONE DaaS Monitoring VPLEX UCS SDK Poster VSPP Receiver vMotion VDI-in-a-Box Deduplication Reporter vShield ACE Go nworks iPad XCP Data Recovery Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V VirtualCenter NFS ThinPrint Upgrade Director API Troubleshooting Android Graphics Migration Diagram Bug Air CLI Plugin DPM Memory SIOC Flex Mac Open Source SSH VAAI Chargeback Heartbeat MSCS Ports SVMotion Storage DRS Bugs Composer
Интересные плакаты:

Постер VMware vSphere PowerCLI 6.3:

Постер VMware ESXi 5.1:

Постер VMware Hands-on Labs 2015:

Постер VMware Platform Services Controller 6.0:

Постер VMware vCloud Networking:

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Постер VMware vCenter Server Appliance:

Порты и соединения VMware vSphere 6:

Порты и соединения VMware Horizon 7:

Порты и соединения VMware NSX:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

Постер Veeam Backup & Replication v8 for VMware:

Постер Microsoft Windows Server 2012 Hyper-V R2:

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Сравнение Oracle VirtualBox и VMware Workstation.

Бесплатные утилиты для виртуальных машин на базе VMware ESX / ESXi.

Проектирование инфраструктуры виртуализации VMware vSphere 4.

Как использовать возможности VMware vSphere Management Assistant (vMA).

Как поднять программный iSCSI Target на Windows 2003 Server для ESX

Бесплатные программы для VMware ESX / ESXi в среде Virtual Infrastructure / vSphere (часть 2).

Новые возможности VMware vSphere 5.0 - официально.

Отличия VMware ESXi 4 free (бесплатного), ESXi 4 и ESX 4 в составе VMware vSphere.

Все ресурсы о виртуализации:
Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Купить:

VMware vSphere 6.5


Veeam Backup 9.5


Полезные ресурсы:


Видео компании VMware

Видео про Citrix Xen

Видео о виртуализации Microsoft

Утилиты для виртуальных машин Microsoft.

Книги на английском языке

Блоги на английском языке

Блоги на русском языке

Агрегация статей в твиттере VMC:


Copyright VM Guru 2006 - 2018, Александр Самойленко. Правила перепечатки материалов.