Новости Статьи VMware Veeam StarWind Microsoft ИТ-ГРАД Citrix Symantec 5nine События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Виртуализация vSphere, Hyper-V, XenServer и Red Hat

Более 4340 заметок о виртуализации и виртуальных машинах VMware, Microsoft, Citrix, Red Hat

VM Guru | Ссылка дня: Вышел VMware vCenter Server 6.5 Update 1b

Почему так долго висит вакантный баннер на VM Guru?

09/04/2020

Сразу за таким вопросом может логически последовать измышление о том, что рекламодатели не проявляют всеобъемлющего интереса к нашей площадке. Это не так по двум причинам. Во-первых, можно заглянуть сюда и узреть, что спонсоры у нас замечательные - были, есть и будут.

Во-вторых, творятся странные вещи. Реально странные. Вот пишет мне какой-нибудь менеджер, что, дескать, его компания хочет у нас разместиться. Мне его продукт или услуга нравится (если не нравится - отказываю сразу, без обиняков), договариваемся по цене, все чики-бамбони. Дальше он идет утрясать вопросы с руководителем. Говорит: все ок, сейчас только материалы подготовим и запустимся. Дальше у человека два пути:

  • Он просто тупо пропадает. Причем иногда уже после того, как выслал мне баннер к размещению. Не понимаю, зачем нужно тогда было делать баннер вообще. Может этих людей похищают?
  • Он говорит, что его компания не может работать с физиком*. Типа не выбить налички, налоги не заплатить, а самое смешное, что бюджет он делит с HP, поэтому туго с этим. Представляете, бюджет HP не может себе позволить рекламу на VM Guru, поэтому его приходится делить с другой конторой. И его все равно не хватает!

Вот такая у нас реклама. А вы всё - сколько, да сколько. Да ладно, менеджер, не бойся, не разорится твоя конторка. Договоримся.

*New! Теперь можно заключать договор и с юриком.

Сообщение "Customization of the guest operating system is not supported in this configuration" при развертывнии виртуальной машины на VMware vSphere.

24/11/2017

Бывает, что попытке развернуть виртуальную машину из шаблона (Template) вы получаете сообщение об ошибке "Customization of the guest operating system is not supported in this configuration":

Как правило, это происходит из-за того, что в машине не установлены VMware Tools. Просто сконвертируйте шаблон в ВМ, потом включите ее и установите тулзы, после чего конвертируйте машину опять в Template.

Также такая ситуация бывает, когда vCenter не поддерживает гостевую ОС виртуальной машины для кастомизации, либо когда развертывание происходит на NFS-хранилище, для которого не включена опция "no root squash".

Шифрование виртуальных машин VMware vSphere и обеспечение доступности KMS (Key Management Service).

23/11/2017

С момента выхода последнего мажорного релиза платформы виртуализации VMware vSphere 6.5 мы много писали о шифровании виртуальных машин (и, кроме того, затрагивали тему производительности этого процесса), а также техниках шифрования кластеров vSANнекоторых особенностях этого). Сегодня мы поговорим о самом важном компоненте инфраструктуры шифрования vSphere - Key Management Service (KMS).

Прежде всего, KMS - это сервисы шифрования не только для виртуальных машин, но и любых других объектов ИТ-инфраструктуры. Поэтому KMS уже может быть в вашей организации, при этом он может не быть прикрученным к VMware vSphere. Вы можете использовать любой KMS-сервер, но VMware сертифицировала лишь следующие системы из списка (см. вот этот документ VMware):

Если же у вас другой KMS-провайдер, не расстраивайтесь - он, скорее всего, будет работать, если поддерживает протокол управления ключами KMIP 1.1.

Начать надо с вопросов доступности KMS-сервера. Как вы понимаете, это самый важный сервер в вашей инфраструктуре, важнее DNS или контроллера домена. Если у вас недоступен DNS, все тоже не работает, как и в случае с KMS, но если оказались недоступными данные хранилища KMS - это катастрофа для организации. И нет абсолютно никакого пути восстановить их. Совершенно никакого. Обо всем этом рассказывает видео ниже:

Таким образом, KMS становится бизнес-критичной точкой не только инфраструктуры, но и бизнеса в целом. И вопросы бэкапа и его доступности - это вопросы номер 1. Давайте посмотрим на несколько базовых понятий KMS:

  • KMIP (Key Management Interoperability Protocol) - это стандарт, по которому клиент KMIP может общаться с серверами KMS. Каждый год он проходит серьезную проверку на конференции RSA.
  • DEK (Data Encryption Key). Это ключ, который хост ESXi генерирует, когда требуется зашифровать виртуальную машину. Этот ключ используется также и для расшифровывания данных ВМ, он записан в VMX/VM Advanced settings в зашифрованном виде.
  • KEK (Key Encryption Key). Это ключ, которым зашифрован DEK. KEK key ID также находится в VMX/VM Advanced settings.
  • Key Manager Cluster/Alias - это коллекция адресов FQDN/IP всех реплицируемых между собой серверов KMS. Она также хранится вместе с зашифрованной машиной в VMX/VM Advanced settings, чтобы после ее включения можно было обратиться к нужному кластеру KMS, получить KEK для cервера vCenter, который разлочит ВМ.
  • VM и vSAN encryption - это, на самом деле, с точки зрения реализации механизма шифрования одно и то же. То есть, для обоих типов шифрования используются одни и те же библиотеки, конфигурации и интерфейсы.

Когда мы говорим о кластере KMS - это всего лишь KMS-серверы, реплицирующие между собой хранилища ключей. Они не обеспечивают доступность друг друга, как, например, это делает VMware HA. Например, есть серверы KMS-A, KMS-B и KMS-C, в хранилищах которых при добавлении ключа новой ВМ он появляется мгновенно.

Если KMS-A недоступен как сервер, то сервер vCenter запрашивает ключи у хоста KMS-B. Если же KMS-A недоступен как сервис (то есть сервер работает, а служба KMS не отвечает), то vCenter ждет 60 секунд восстановления работоспособности сервиса и только потом переключается на KMS-B. Это поведение изменить нельзя.

Лучшие практики по использованию KMS таковы:

  • По возможности нужно делегировать обязанности по поддержке инфраструктуры KMS отдельной команде (Security Team) или человеку.
  • Не класть KMS-серверы в виртуальной машине в тот же кластер (например, vSAN), который также зашифрован. Иначе коробочка закроется (выключится кластер), а ключ от нее останется внутри нее же. То есть, необходимо держать хотя бы один из KMS-серверов за пределами такого домена отказа.
  • Предыдущий пункт относится и к серверам vCenter и PSC. Чтобы они могли расшифровать другие сервера, они должны быть доступны в случае сбоя.

Теперь надо сказать о катастрофоустойчивости серверов KMS. Типичный кластер в рамках одной площадки выглядит так:

Но если на этой площадке будет авария, которая затронет все 3 сервера - бизнесу может настать конец. Поэтому в идеале надо использовать конфигурацию с двумя площадками:

Понятное дело, что у малого и среднего бизнеса резервных площадок, как правило, нет. В этом случае помочь может публичное облако Amazon AWS или Microsoft Azure. Чтобы поддерживать там одну резервную машину, много денег не нужно.

Ну и если вы используете конфигурацию с несколькими площадками, то обязательно нужно учитывать в конфигурации порядок обращения к серверам KMS в рамках площадки. Если на первой площадке находятся сервера KMS-A, KMS-B и KMS-C, а на второй - KMS-D, KMS-E и KMS-F, то в первом случае порядок должен быть A,B,C,D,E,F, а во втором - D,E,F,A,B,C.

Если на второй площадке вы будете использовать конфигурацию аналогичную первой, сервер vCenter может ходить по серверам другой площадки, которая может быть недоступна, а только обойдя все ее серверы, начнет использовать локальные KMS.

Кто использует VVols в качестве хранилищ VMware vSphere?

22/11/2017

Мы много пишем о технологии Virtual Volumes (VVols), которая сравнительно недавно появилась в платформе виртуализации VMware vSphere. Совсем недавно мы писали о том, что будет в следующих версиях VVols, а сегодня давайте посмотрим на текущее положение дел.

Eric Siebert написал интересный пост о том, сколько компаний использует VVols сейчас в производственно среде. На данный момент VVols применяется примерно у 2% клиентов VMware, что весьма и весьма мало. Связано это, в первую очередь, с ограничениями технологии и небольшим количеством партнеров ее поддерживающих.

Между тем, подвижки в этом направлении уже есть. Вот какие факторы будут способствовать развитию VVols в ближайшем будущем (Эрик считает, что более половины всех пользователей vSphere будут применять эту технологию):

  • Все больше клиентов переходят с vSphere 5.5 на vSphere 6.x, где VVols полностью поддерживаются.
  • В vSphere 6.5 поддерживается функциональность аппаратной репликации томов VVol, что является очень важной и нужной фичей.
  • Партнеры расширяют поддержку этой технологии в своих новых массивах.
  • Клиенты все больше узнают о технологии, в том числе через этот пост:)

Если посмотреть на статистику использования VVols администраторами vSphere в различных компаниях, то во времени она выглядит так:

Категория Январь 2016 Январь 2017 Сентябрь 2017
Общее число систем с использованием VVols 46 258 361
Системы, где до 10 томов VVol 36 111 165
Системы, где 11-50 томов VVol 5 51 71
Системы, где 51-100 томов VVol 3 11 35
Системы, где более 100 томов VVol 2 43 90
Самый большой клиент (по числу томов VVol) N/A 1 457 VVols / 576 машин 2 656 VVols / 727 машин
10-й по величине клиент VVol (по числу томов) N/A 477 VVols / 169 машин 944 VVols / 216 машин

В принципе, прогресс за этот период выглядит неплохо (особенно в категории 100+), но в абсолютном выражении это, все-таки, очень мало. Ну и вот небольшой августовский отчет IDC про данную технологию - "VVols Provides Powerful Application-Aware Management for vSphere Environments".

Пара интересных роликов, вышедших на днях:

Несколько фактов о VMware Tools, которые должен знать каждый администратор vSphere.

20/11/2017

Не так давно мы публиковали несколько интересных заметок о VMware Tools (раз, два, три, четыре), которые объясняют множество моментов, касающихся развертывания и эксплуатации данного пакета, предназначенного для улучшения работы гостевых ОС в среде виртуализации VMware vSphere.

В этой заметке мы постараемся обобщить эти вещи и добавить еще несколько фактов о VMware Tools, которые должен знать каждый администратор платформы ESXi:

  • Пакет VMware Tools для основных гостевых ОС входит в состав ESXi, но остальные поставляются отдельно от дистрибутивов платформы, и их можно скачать отсюда.
  • Чтобы узнать версии тулзов для ОС Windows и Linux, идущие вместе с дистрибутивом ESXi или патчем, загляните по этой ссылке https://packages.vmware.com/tools/versions (а мы писали об этом вот тут).
  • Стандартные VMware Tools, которые подходят для большинства ОС Windows и Linux можно обновлять через VMware Update Manager (VUM). Они накатываются в виде VIB-пакетов под названием "tools-light".
  • Традиционный подход к обновлению VMware Tools на множестве хостов VMware ESXi - это использовать общий репозиторий для VMware Update Manager, который накатывает обновления на серверы. Более современный подход - это использовать механизм Auto Deploy для развертывания stateless-хостов, которые забирают актуальные версии VMware Tools прямо из онлайн-репозитория VMware.
  • Версии VMware Tools состоят из двух релизов - VMware Tools 10.1.x и VMware Tools 10.0.x (это два разных ISO-образа). Версия 10.1.x - это развивающаяся ветка для современных гостевых систем (сейчас актуальна 10.1.15), а 10.0.12 - замороженная, которая предназначена для устаревших ОС, которые уже не обновляются. То есть апгрейд с версии тулзов 10.0.9 происходит на 10.1. Подробнее об этом рассказано в KB 2015161.

  • Почти все Linux-дистрибутивы идут с интегрированной версией Open VM Tools.
  • ISO-файлы VMware Tools теперь идут с файлами контрольных сумм, по которым можно проверить соответствие пакетов на аутентичность их происхождения за счет сверки хэшей. Поэтому надо быть внимательным при распаковке составляющих пакета, и ничего оттуда не убирать.
  • Для VMware Tools, начиная с версии 10.1, доступна подробная документация.
  • Все новые версии VMware Tools обратно совместимы со всеми версиями VMware ESXi, которые моложе как минимум на одно поколение. В этом можно убедиться, посмотрев VMware Interoperability Matrix:

  • Для Linux существует 3 вида VMware Tools (подробнее тут):
    • Operating System Specific Packages (OSP) - пакеты, которые размещены на сайте VMware (их можно скачать/обновить без аутентификации), содержащие в себе те же самые компоненты, которые находятся в ISO-образах, идущих с дистрибутивами VMware ESXi. Этот метод поставки VMware Tools для Linux уже несколько устарел и используется для старых гостевых ОС.
    • Open VM Tools (OVT) - это пакеты VMware Tools с открытым исходным кодом, которые встраиваются в большинство современных Linux-дистрибутивов. Соответственно, при установке такой гостевой ОС в виртуальной машине, пакет VMware Tools будет там уже установлен. Исходный код OVT доступен для всех желающих в репозитории на GitHub, но официально поддерживаются только те OVT, которые идут вместе с дистрибутивами Linux. Если вы скомпилировали их самостоятельно - учтите, поддержки от VMware не будет.
    • TAR Tools - они предоставляются VMware и устанавливаются через сценарий. Но VMware рекомендует использовать OVT.
  • VMware Tools дают множество возможностей для виртуальной машины и гостевой ОС, обо всех них написано вот тут.
  • Виртуальные машины с Windows используют паравиртуализованные драйвера хранилищ и сетевых адаптеров, что улучшает взаимодействие гостевой ОС и соответствующих ресурсов. Вот почему после обновления тулзов машина хочет перезагрузиться.
  • Для унификации развертывания VMware Tools нужно настроить централизованный репозиторий и сконфигурировать хосты ESXi таким образом, чтобы они брали последние версии тулзов оттуда. Об этом мы подробно писали вот тут, также вкратце информация есть об этом здесь и здесь.

Если у вас есть еще интересные моменты на эту тему - пишите в каменты!

Обновился VMware ESXi Embedded Host Client до версии 1.24.

17/11/2017

С момента выпуска прошлой версии VMware ESXi Embedded Host Client 1.23 прошло довольно много времени (аж три месяца), и вот на днях компания VMware выпустила обновление - Host Client 1.24 (спасибо Илье за новость). Напомним, что это решение позволяет управлять отдельными хостами VMware ESXi через веб-интерфейс, построенный на базе HTML5. Для управления всей инфраструктурой vSphere используется vSphere Client.

Посмотрим на новые возможности VMware ESXi Embedded Host Client 1.24:

  • Пофикшена ошибка при развертывании образа OVF/OVA с дисками, привязанными к нескольким дисковым контроллерам.
  • Корректная обработка адресов (проблемы race condition) при добавлении сетевого адаптера виртуальной машине.
  • Возможность просматривать хранилища VVol из datastore browser.
  • Решена проблема с таймаутом, когда клиент получает от хоста неизвестный тип хранилища.
  • Решена проблем с автостартом ВМ.
  • Теперь можно загружать VMDK-файлы типа Flat через datastore browser.
  • Показ корректной строчки VMware Tools в свойствах VM summary.
  • Паджинация в VM editor, когда ВМ имеет много дисков.
  • Поддержка свойств OVF с предопределенными значениями и показ комбобоксов для них.
  • Возможность изменения пермиссий пользователя root.
  • Поддержка выбора зависимых PCI-устройств при включении режима проброса устройства (passthrough).
  • Минорные исправления ошибок.

Напомним, что для установки Host Client используется команда (также его можно обновить прямо из клиента, используя пункт Update):

ssh root@<esx ip or hostname> esxcli software vib install -v <URL>

где <URL> - это локальный путь или веб-адрес VIB-пакета.

Загрузить ESXi Embedded Host Client 1.24 можно по этой ссылке (там же можно скачать и VMware Remote Console, выбрав ее из списка объектов загрузки).

PowerCLI-сценарий для обнаружения логических дисков Windows в виртуальных дисках VMDK.

16/11/2017

Allan Kjaer написал интересный скрипт PowerCLI, который позволит определить, какие логические тома Windows находятся в виртуальных дисках VMDK машин на платформе vSphere. Как-то я сталкивался с такой проблемой, поэтому может быть она не такая уж и редкая.

Скрипт соединяется с управляющим сервером VMware vCenter, запрашивает учетные данные к гостевой ОС Windows, после чего строит отчет о том, на каких дисках VMDK какие разделы были обнаружены. Отчет включает в себя индекс диска Windows, букву диска и метку тома.

Вот так он выглядит:

"vmName      vmHardDiskDatastore vmHardDiskVmdk           vmHardDiskName windowsDiskIndex windowsDiskSerialNumber          vmHardDiskUuid                   windowsDeviceID    drives   volumes
------ ------------------- -------------- -------------- ---------------- ----------------------- -------------- --------------- ------ -------
test-vm FC01 test-vm/test-vm.vmdk Hard disk 1 0 6000c29c481f32e9763fe6d2d8dc8f7b 6000C29c481f32e9763fe6d2d8dc8f7b \\.\PHYSICALDRIVE0 C:
test-vm FC01 test-vm/test-vm_1.vmdk Hard disk 2 1 6000c297d1a7352ed5ee1b870023f57d 6000C297d1a7352ed5ee1b870023f57d \\.\PHYSICALDRIVE1 D: Data
test-vm FC03 test-vm/test-vm.vmdk Hard disk 3 2 6000c290e36c2f3b641a56308551e998 6000C290e36c2f3b641a56308551e998 \\.\PHYSICALDRIVE2 {E:, F:} {New Volume, New Volume}

Скрипт не особо тестировался, поэтому запуская его, предварительно смотрите по коду, что именно он делает и как. Посмотреть данный PowerCLI-сценарий можно по этой ссылке.

Вышла Veeam Availability Console - комплексное решение для сервис-провайдеров и их клиентов.

15/11/2017

Некоторое время назад мы писали про анонс решения Veeam Availability Console, которое представляет собой комплекс интегрированных средств для сервис-провайдеров и больших компаний, которые позволяют организовать инфраструктуру BaaS (Backup-as-a-Service) для гибридной среды предприятия (внутренние инфраструктуры + облачные). Ранее этот продукт был известен как Veeam Managed Backup Portal for Service Providers.

На днях Veeam объявила о доступности для загрузки Veeam Availability Console - эволюционировавшего бэкап-портала для IaaS-провайдеров. Давайте посмотрим на это бесплатное (да!) решение поближе.

У данного продукта 3 основных назначения:

  • Предоставляет крупным предприятиям средства для организации защиты как виртуальных машин основного датацентра, так и облачных ресурсов, а также удаленных офисов и мобильных пользователей.
  • Позволяет сервис-провайдерам предоставлять услуги по резервному копированию и репликации виртуальных машин для своих пользователей средствами единой консоли с возможностью разделения управления по клиентам.
  • Дает возможность партнерам и реселлерам запустить собственный бизнес для своих клиентов по организации хранения их резервных копий на своих площадках (и управления этим процессом), что увеличит возможности для зарабатывания денег партнерами, а клиентам позволит не заботиться о резервном копировании совсем.

Если суммаризовать основные нововведения решения, то можно выделить следующие моменты:

  • Простая установка - как в облаках сервис-провайдеров, так и на онпремизных площадках больших инфраструктур.
  • Удаленное управление и мониторинг агентов резервного копирования.
  • Удаленное обнаружение компонентов инфраструктуры и развертывание агентов с поддержкой Veeam Cloud Connect.
  • Веб-портал с возможностью разделения на нескольких клиентов.
  • Нативный биллинг.
  • Интерфейс RESTful API.

Сейчас более 16 тысяч сервис-провайдеров используют решение Veeam Cloud Connect для организации резервного копирования в облако. Делается это через компонент Veeam Cloud Gateway, где для соединения используется один порт TCP/UDP 6180 (это дает возможность просто обслуживать фаервол), а само соединение защищено TLS с SSL-сертификатом.

Veeam Availability Console легко интегрируется с этой инфраструктурой, образуя единую систему. При добавлении сервис-провайдера можно отметить чекбокс, разрешающий ему управлять бэкап-инфраструктурой на стороне клиента:

После этого и клиент, и сервис-провайдер в консоли Veeam Availability Console смогут в реальном времени видеть статус задач резервного копирования и бэкап-инфраструктуры в целом:

Обратите внимание, что если вы доверили сервис-провайдеру управление бэкап-инфраструктурой, он сможет удаленно запускать и останавливать задачи резервного копирования и репликации, которые выполняются на вашей площадке. Также он сможет загружать и логи в целях траблшутинга. Также можно еще удаленно подключиться к интерфейсу командной строки Veeam Shell.

В Veeam Availability Console есть расширенный механизм отчетности, который оповещает о состоянии инфраструктуры: какие задачи были выполнены или завершились неудачно, какие машины защищены, а какие нет, а также вас заранее предупредят о заканчивающейся емкости дискового пространства.

Всего мониторится около 30 преднастроенных алармов, а отчет падает в почтовый ящик администратору:

Не так давно мы писали о выходе Veeam Agent for Microsoft Windows 2.0. Решение Veeam Availability Console позволяет удаленно обнаруживать Windows-серверы на площадке заказчика и устанавливать туда этих агентов в целях резервного копирования содержимого серверов. Поддержка агентов для Linux ожидается в ближайших релизах.

При поиске серверов из мастер агента можно использовать 3 опции - диапазон IP-адресов, каталог Active Directory и CSV-файл с именами компьютеров:

Также администраторы портала могут определять политики - что бэкапить, как часто и т.п. При этом политик может быть сколько угодно, а определять их можно как на уровне клиентов, так и на уровне экземпляров.

Veeam Availability Console поддерживает RESTful API и обмен данными в JSON-формате, что позволяет интегрироваться с существующими портальными и биллинг-системами. Но для тех, у кого нет единой системы биллинга, Veeam Availability Console предоставляет свою систему учета потребленных ресурсов и инвойсинга.

Все это красиво визуализуется:

Сами пользователи могут получать инвойсы из веб-портала или по электронной почте.

Что касается поддержки нескольких клиентов, здесь Veeam сделала шаг вперед. Каждый клиент может самостоятельно заходить на портал, контролировать задачи резервного копирования, а главное управлять ключом шифрования (а точнее дешифрования) - это очень важно при бэкапе ВМ в облако.

Интересно, что интерфейсы оптимизированы под тач-девайсы (то есть, можно смотреть портал со своего iPad'а):

Ну и последняя приятная новость - Veeam сделала утилиту миграции для текущих пользователей Veeam Managed Backup Portal на Veeam Availability Console. Это действительно здорово, другие производители таким не балуют:

Помимо Veeam Availability Console для сервис провайдеров, есть еще и Veeam Availability Console for the Enterprise - версия портала, который можно использовать внутри большой корпоративной инфраструктуры. И главное, что это тоже БЕСПЛАТНО!

Загрузить Veeam Availability Console можно прямо сейчас по этой ссылке.

Новая версия калькулятора VMware vSAN 6.5 и vSAN 6.6.1 Resource Calculator.

14/11/2017

Летом мы писали о калькуляторе для сайзинга хранилищ инфраструктуры VMware vSAN 6.2. С тех пор вышли новые версии vSAN 6.5 и vSAN 6.6.1, в которых было реализовано несколько новых возможностей, соответственно, обновился и калькулятор - его новая версия доступна по этой ссылке. Новая версия построена на базе документов VMware vSAN Design and Sizing Guide 6.5 и 6.6.1 (глава 10.2 Capacity Sizing Example II).

Калькулятор представляет собой Excel-таблицу, в которой есть поля для ввода исходных данных (черные - это аппаратные параметры инфраструктуры и данные по консолидации ВМ, синие и зеленые - остальные параметры). Ранее этот калькулятор представлял собой Excel-документ в облаке OneDrive, но теперь любой может скачать его.

В верхней части таблицы черным шрифтом обозначаются ресурсы, которые рассчитываются только для того, чтобы можно было исполнять виртуальные машины в кластере Virtual SAN, а красным шрифтом выделен тот объем ресурсов, который вам потребуется, чтобы обеспечить требуемый уровень избыточности и отказоустойчивости.

В левой области таблицы данные параметры рассчитываются для All-Flash архитектуры кластера Virtual SAN, а правая часть предназначена для расчетов гибридной архитектуры (обычные HDD-диски для данных, а SSD-носители - для кэша).

Более подробно о калькуляторе написано вот тут.

Системы хранения данных NetApp в 2017 году.

13/11/2017

Это гостевой пост сервис-провайдера ИТ-ГРАД, предоставляющего виртуальные машины в аренду.

Системы хранения данных, являясь основой стабильного функционирования любого предприятия, должны соответствовать параметрам доступности, надежности, безопасности и удовлетворять потребности бизнеса компании. Благодаря таким важным характеристикам СХД, как унифицированность, производительность и масштабируемость, затраты на них сегодня занимают одно из центральных мест в бюджете и составляют в среднем 20–25 % всех расходов. В этой статье мы рассмотрим решения NetApp как наилучшей системы хранения данных для современной компании.

NetApp: более 20 лет инноваций

Для начала предлагаем вспомнить, как развивалась NetApp в исторической перспективе, уделив внимание наиболее значимым моментам.

1992 г. Компания вводит в индустрию систем хранения данных абсолютно новые технологии, представляющие в совокупности законченное решение по хранению данных Network Appliance. На тот момент это была всего лишь файловая шара для Linux, куда позже добавили RAID 4, оптимизацию записи, организацию хранения данных WAFL, поддержку технологии Redirect on Wright (ROW), которая позволяет создавать снимки, не влияя на производительность. С тех пор линейка развивается эволюционно.

1995–1996 гг. Компания выпускает первый мультипротокольный сторадж, представляя технологию файлового доступа для Linux- и Windows-серверов с использованием протоколов SMB и NFS. А после реализует репликацию и поддержку файлового доступа поверх блочного, представляя унифицированную систему хранения данных. С тех пор NetApp пропагандирует консолидацию различных нагрузок на одну СХД и инвестирует в разработку технологий, повышающих эффективность хранения данных.

2007 г. NetApp анонсирует ключевое решение для гибкого клонирования и впервые представляет унифицированную дедупликацию, доступную для всех слоев хранения данных. Таким образом, продуктивный, архивный и медленный слой работают на блочный и файловый доступ. А следующим шагом стала кластеризация...Читать статью далее->>

Последние обновления VMware vSphere 6.0 - ESXi и vCenter Update 3c.

13/11/2017

Наш читатель Стас обратил внимание на то, что в начале ноября компания VMware выпустила значительное обновление для шестой версии платформы виртуализации VMware vSphere 6.0. Были опубликованы апдейты и патчи для ESXi 6.0 - ESXi600-201711001.

В составе гипервизора и прочих компонентов были обновлены следующие пакеты ESXi 6.0:

  • VMware_bootbank_esx-base_6.0.0-3.79.6921384
  • VMware_bootbank_vsan_6.0.0-3.79.6766495
  • VMware_bootbank_vsanhealth_6.0.0-3000000.3.0.3.79.6769065
  • VMware_bootbank_esx-dvfilter-generic-fastpath_6.0.0-3.79.6921384
  • VMware_bootbank_misc-drivers_6.0.0-3.79.6921384
  • VMware_bootbank_ipmi-ipmi-devintf_39.1-5vmw.600.3.79.6921384
  • VMware_bootbank_ipmi-ipmi-msghandler_39.1-5vmw.600.3.79.6921384
  • VMware_locker_tools-light_6.0.0-3.76.6856897

Обновления коснулись новых возможностей, подсистемы безопасности и исправлений наиболее серьезных ошибок. Чтобы скачать апдейт, нужно пойти на VMware Patch Portal, выбрать ESXi 6.0 и ввести там номер билда (6921384).

Правильно устанавливать обновление нужно следующими командами (если, конечно, на хосте есть интернет):

esxcli network firewall ruleset set -e true -r httpClient
esxcli software profile update -p ESXi-6.0.0-20171104001-standard -d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
esxcli network firewall ruleset set -e false -r httpClient

Кроме того, на днях также было выпущено обновление VMware vCenter 6.0 Update 3c. Там появилось три основных новых улучшения:

  • Включенная поддержка SMB2 для виртуального модуля vCenter Server Appliance 6.0 Update 3c, чтобы избежать уязвимости протокола SMB1.
  • Совместимость с решениями VMware vSphere Replication 6.1.2.1 и VMware Site Recovery Manager 6.1.2.1.
  • Улучшения кластеров VMware Storage DRS.

Получить больше информации об обновлении VMware vCenter 6.0 Update 3c можно по этим ссылкам:

Скачать vCenter 6.0 u3c можно по этой ссылке.

Как работает изоляция хостов ESXi в кластере VMware vSAN и HA.

10/11/2017

Дункан написал интересный пост про работу кластера откзоустойчивых хранилищ VMware vSAN совместно с технологией отказоустойчивости хост-серверов VMware HA. Суть проблемы заключается в том, что кластер vSAN, как правило, организуется на базе обычной Ethernet-сети, которая не подразумевает наличие дополнительных хранилищ Heartbeat Datastores (на которых создаются специальные локи на файлы со стороны хостов).

А эти хранилища очень важны для кластеров VMware HA, так как по ним через сеть хранения данных (например, общие FC-хранилища) он определяет остались ли хосты работающими в случае отказа/разделения сети передачи данных, а также продолжают ли там работать виртуальные машины.

Если таких хранилищ в кластере vSAN нет (а их, скорее всего, нет), то могут возникнуть проблемы вот какого плана. В случае изоляции хоста (например, разделилась сеть или отказали порты коммутатора), сам кластер vSAN обрабатывает ситуацию корректно, но виртуальные машины продолжают быть запущены на изолированных хостах. В то же время, главная часть кластера HA (та, в которой остался Master) имеет копии этих же виртуальных машин и может запустить их, подумав, что они уже недоступны вместе с хостами, а это уже может привести к ситуации с дубликатами машин и их MAC/IP адресов, когда сеть восстановится.

Чтобы этого не происходило, на хостах ESXi нужно настроить реакцию на событие изоляции (isolation response). Хост декларирует себя изолированным при совместном наступлении двух событий:

  • Он не получает коммуникации от хоста Master
  • Он не может достучаться до isolation address

Если вы ничего не настраивали дополнительно в кластере HA, то ваш isolation address находится в Management network, которая и есть та сеть, в которой работает кластер vSAN (и которая, как мы помним, упала). И, на самом деле, это хорошо! Ведь если бы этот адрес продолжал быть доступен, то изолированная часть кластера не считала бы себя изолированной и случился бы split-brain с появлением возможных дубликатов машин.

Из этой всей ситуации можно сделать 3 вывода:

  • Используйте отдельные от кластера vSAN хранилища Heartbeat Datastores, работающие в другой сети или по другим интерфейсам (если это возможно, конечно, в вашей инфраструктуре). Для этого нужно выбрать опцию "Use datastore from only the specified list" в настройках HA и добавить расширенную настройку "das.ignoreInsufficientHbDatastore = true" в advanced HA settings.
  • Всегда ставьте действие isolation response в Power Off, чтобы машины выключились в случае изоляции хостов кластера HA, а главная часть кластера могла их перезапустить.
  • Делайте isolation address в той же сети, что и основная сеть vSAN (интерфейсы VMkernel хостов), чтобы в случае изоляции хост ESXi считал себя изолированным, а не продолжающим нормально пинговать какой-то сторонний адрес. Для этого можно использовать Switch Virtual Interface (SVI) на физическом коммутаторе (если у вас немаршрутизируемая сеть vSAN).

Ну и напомним тут нашу подробную статью о совместном существовании vSAN и HA.

Бесплатная книга "vSphere 6.5 Host Resources Deep Dive" (570 страниц!).

09/11/2017

Автор известного технического блога о платформе VMware vSphere, Frank Denneman, совместно с одним из коллег выпустил весьма интересную книгу "vSphere 6.5 Host Resources Deep Dive".

В рамках 570-страничного талмуда авторы рассказывают все технические детали управления ресурсами на уровне хоста ESXi, такими как память, процессор, стек работы с хранилищами и сетевая архитектура. Довольно много содержимого книги посвящено архитектуре NUMA-узлов и оперативной памяти, механикам работы CPU и ядра VMkernel, а также прочим самым глубоким моментам программных и аппаратных компонентов хоста ESXi.

По уверению авторов книга покрывает, например, следующие технические вопросы:

  • Оптимизация рабочих нагрузок для систем Non-Uniform Memory Access (NUMA).
  • Объяснение того, как именно работает механика vSphere Balanced Power Management, чтобы получить преимущества функциональности CPU Turbo Boost.
  • Как настроить компоненты VMkernel для оптимизации производительности трафика VXLAN и окружений NFV.

В общем, книга очень крутая и мудрая. Скачать ее можно по этой ссылке.

Как правильно вывести хост VMware ESXi из кластера vSAN.

08/11/2017

Иногда администратору решения по организации отказоустойчивых кластеров VMware vSAN требуется вывести отдельный хост VMware ESXi из кластера, после чего использовать его диски для организации томов VMware VMFS виртуальных машин уже не в рамках кластера.

Правильно делать это следующим образом.

1. Проверяем, является ли хост членом кластера vSAN:

esxcli vsan cluster get

2. Выводим хост ESXi из кластера:

esxcli vsan cluster leave

3. Убедимся, что хост вышел из кластера:

esxcli vsan cluster get

мы должны получить сообщение:

Virtual SAN Clustering is not enabled on this host

4. После этого надо очистить конфигурацию vSAN для дисков на хосте.

Для начала найдем все диски командой:

esxcli vsan storage list

далее идентифицируем диски vSAN, выполнив команду:

partedUtil getptbl <путь к устройству>

Здесь мы видим, что один из разделов еще видит себя частью vSAN. Сначала надо снять лок с диска, отключив автоуправление со стороны кластера vSAN (то есть, разрешаем ручные операции с хранилищами vSAN):

esxcli vsan storage automode set --enabled false

Если этого не сделать, мы получим такую ошибку:

Unable to remove device: Can not destroy disk group for SSD naa.6000c29c581358c23dcd2ca6284eec79 : storage auto claim mode is enabled

5. После этого можно окончательно вывести диск из кластера vSAN следующей командой:

esxcli vsan storage remove -s naa.50026b724712194a

здесь опция -s значит SSD-диск (так отключаются устройства кэширования), а если мы хотим вывести обычный диск, то вместо -s надо использовать опцию -d.

Новые возможности клиента для управления виртуальной инфраструктурой VMware vSphere Client 3.25-3.27.

07/11/2017

В середине октября мы писали о новых возможностях VMware vSphere Client версий 3.22-3.24. Напомним, что этот тонкий клиент на основе технологии HTML5 скоро заменит собой устаревающий Web Client на основе Adobe Flex. За последние 3 недели компания VMware успела выпустить целых три версии vSphere Client 3.25, 3.26 и 3.27.

Давайте посмотрим на новые возможности этих версий клиента:

  • Всплывающее окно файлового менеджера Datastore File browser. Также была улучшена его производительность и информативность окна загрузки (показаны файлы в очереди и общий объем загружаемого контента).
  • Добавление лицензии для хостов vSphere и возможность задания ее имени в рабочем процессе добавления. Также можно ее переименовывать и удалять.
  • Просмотр свойств лицензий (лицензированных продуктов и технологий на хостах).
  • Просмотр ассетов лицензии vCenter (в режиме read-only).
  • Редактирование свойств и политик для распределенных портов vDS.
  • Можно развернуть ВМ из шаблона, выбрав мастер создания новой ВМ, далее Deploy from template > вкладка Data center.
  • Операция Rescan теперь выполняется параллельно на уровне датацентра и кластера.
  • Группами Replication groups можно управлять через действие Edit VM Storage Policy.

Скачать VMware vSphere Client 3.27 можно по этой ссылке.

Вышла новая версия VMware Photon OS 2.0 - новые возможности.

03/11/2017

Компания VMware объявила о выпуске обновленной версии Open Source операционной Linux-системы Photon OS 2.0. Эта ОС является главной системой для контейнеров Docker, cloud-native приложений, публичных облачных платформ и инфраструктуры VMware (виртуальные модули). Напомним, что о релизе первой версии Photon OS мы писали в середине прошлого года.

Посмотрим на новые возможности VMware Photon OS 2.0:

  • Защищенное удаленное управление - новая служба Photon Management Daemon - это утилита на базе защищенного API, которая управляет фаерволом, сетью, пакетами и пользователями на удаленных машинах под управлением Photon OS. Эта утилита предоставляет три интерфейса администраторам: утилита командной строки, Python и REST.
  • Дополнительная защита - опционально можно сконфигурировать дополнительные опции ядра в соответствии со стандартами Kernel Self-Protection Project (KSPP).
  • Защищенная загрузка EFI - операционная система теперь валидируется перед загрузкой, в соответствии с лучшими практиками доверенной загрузки.
  • Интеграция с проектом Lightwave - эта open source платформа от VMware позволяет аутентифицировать и авторизовывать пользователей и группы с помощью AD и LDAP.
  • Нативные бинарники Kubernetes - они расположены в репозитории Photon, что позволяет создавать контейнеры Kubernetes в Photon OS.
  • Поддержка персистентных томов VMware vSAN, что позволяет хранить данных cloud-native приложений.
  • Совместимость NSX-T CNI c сетями Kubernetes.
  • Обновления ключевых компонентов, включая версию LTS ядра Linux Kernel 4.9 и systemd.
  • Новый образ, который готов к запуску на платформе Microsoft Azure (в дополнение к имеющимся Google Compute Engine (GCE), Amazon Elastic Compute Cloud (EC2) и VMware vSphere, Fusion, Workstation).
  • Поддержка Python 3 (при этом Python 2 больше не поддерживается).
  • В качестве сетевого окружения для контейнеров можно использовать Calico.
  • Опционально можно использовать Heapster для мониторинга контейнеров и анализа производительности.
  • nginx-ingress можно использовать для DNS разрешения имен.
  • RabbitMQ поддерживается для процессинга сообщений из очередей.
  • Для хранения ключей можно использовать распределенную систему ceph.
  • Поддержка Redis для кэширования.
  • Прокси-компонент от продукта Wavefront для мониторинга данных и метрик контейнеров и кластеров Kubernetes.

Скачать VMware Photon OS 2.0 можно по этой ссылке.

Несколько советов по дедупликации, компрессии и экономии дискового пространства в кластере VMware vSAN.

02/11/2017

John Nicholson написал интересный пост с советами по экономии дискового пространства в кластере VMware vSAN, а также некоторыми рекомендациями по использованию техник дедупликации и сжатия данных.

Вот каким моментам следует уделить внимание:

1. Посмотрите на параметр политики хранения object space reservation (OSR) - если он установлен в 0, то виртуальные диски машин будут тонкими. Если же он будет больше 0, то пространство под диски будет резервироваться и vSAN не сможет эффективно использовать дедупликацию, так как будет вынужден поддерживать фиксированные резервы дискового пространства под ВМ.

2. Помните, что параметр резервирования свопа установлен в 100%, но это можно поменять, как мы писали в этой статье. Уменьшение параметра резервирования свопа оправдано, когда вы не собираетесь использовать memory overcommitment (то есть, ресурсов у вас с запасом), а значит виртуальным машинами не потребуется активно сбрасывать страницы в своп в случае недостатка физической памяти.

3. Помните, что отдельно развертываемые виртуальные машины c дисками типа "thick" или "Eager Zero Thick" (например, со старых клиентов vSphere Client или через консоль) могут перекрывать настройку политики OSR. Чтобы пофиксить это, вы можете переприменить политику хранения (storage policy) на эти хранилища. William Lam написал несколько скриптов, которые позволяют найти такие ВМ и накатить политики по-новой.

4. Убедитесь, что данные записываются на capacity tier - только там они будут дедуплицироваться и сжиматься. Если вы развернули всего 3-4 машины, они могут остаться в буффере (write buffer). Механизмы vSAN не тратят ресурсы на дедупликацию и сжатие объектов, которые долго не живут (то есть, находятся в буффере на запись). Например, 10 машин по 8 ГБ диска каждая тоже могут остаться на стейджинге и, пока не переместятся в постоянное хранилище, не будут дедуплицированы.

Вот тут можно посмотреть, как именно отрабатывает дедупликация, и сколько она экономит дискового пространства:

Ну и вот что Джон рекомендует в плане тестирования дедупликации и компрессии:

  • Самый простой способ организовать тестирование - запустить клонирование 200+ виртуальных машин, они сразу пойдут в capacity tier, и механизм дедупликации включится.
  • Надо помнить, что тестирование этих механизмов и реальное их применение дадут разные результаты, так как при тестировании вы последовательно пишете данные на хранилище и избегаете узких мест, связанных с дестэйджингом из кэша во время размеренного использования кластера vSAN в продакшене.
  • Тестирование алгоритма сжатия на данных, которые плохо сжимаются - плохая идея, так как в этом случае vSAN не будет тратить ресурсы на их сжатие, чтобы записать на хранилище. Это позволит быстрее читать их, а экономия с точки зрения диска будет небольшой (к тому же, алгоритм сжатия LZ4 не такой быстрый, как хотелось бы).
  • При резких всплесках объема записываемых данных и IOPS, которые не помещаются в кэш, видно, что механизмы сжатия и дедупликации приостанавливаются и теряют эффективность. Это связано с тем, что vSAN прежде всего должен обеспечить хороший показатель latency (то есть уровня сервиса), а уже во вторую очередь эффективность механизмов дедупликации и компрессии.

Ну и в довершение, интереснейший документ от VMware - "vSAN Space Efficiency Technologies".

Интересная лабораторная работа (Hand-on Lab) - VMware vCloud on AWS.

01/11/2017

На прошедшем VMworld 2017 компании VMware и Amazon представили IaaS-решение публичного облака - VMware vCloud on AWS. Штука эта довольно дорогая, и чтобы попробовать ее, нужно заводить аккаунт на Amazon, платить за его сервисы и прочее.

Но есть и более простой путь, чтобы посмотреть, как это работает вживую - лабораторная работа "VMware Cloud on AWS Hands-on Lab". Зарегистрировавшись на портале MyVMware, в течение 60 дней вы будете иметь доступ к лабораторной работе, в рамках которой вы сможете поиграться с виртуальным датацентром VMware vSphere на стороне публичного облака AWS в рамках терминальной сессии.

На время выполнения лабы можно создать кластер из 4 хостов ESXi:

Ну и далее можно просматривать состояние датацентра, настраивать сетевое взаимодействие между компонентами и заходить на свою инфраструктуру через vCenter:

Сама лабораторная работа рассчитана на полчаса, за которые вы вполне поймете, как это выглядит и управляется. Ну и бонусом технический обзор облака VMware vCloud on AWS:

Также не забывайте про специальный Youtube-канал, посвященный решению VMware vCloud.

Всё-всё-всё с прошедших VMware VMworld 2017.

31/10/2017

Как многие из вас знают, в конце лета и начале осени прошли главные конференции по виртуализации этого года - VMworld 2017 и VMworld Europe 2017. Об основных анонсах мероприятий мы писали по этой ссылке, но в рамках этих ивентов было еще столько всего, что обо всем, конечно же, не напишешь.

Специально для тех, кто хочет узнать тонкости всех докладов, которые были представлены на конференциях, компания VMware создала репозиторий на GitHub, где содержатся вообще все ссылки на сессии, многие из которых дадут много новой информации и технических деталей о продуктах и технологиях виртуализации от VMware:

Сессии доступны как в виде роликов на Youtube, так и виде PDF-документов.

Ну а вот список самых популярных сессий (топ-10 по числу просмотров на Youtube):

  • [SER1143BU] - A Deep Dive into vSphere 6.5 Core Storage Features and Functionality [NET1152BU] - Introduction to VMware NSX
  • [SER1534BUR] - vSphere Performance Troubleshooting and Root Cause Analysis
  • [VIRT1309BU] - Monster VMs (Database Virtualization) with vSphere 6.5: Doing IT Right
  • [NET1345BU] - NSX in Small Data Centers for Small and Medium Businesses
  • [SER2724BU] - Extreme Performance Series: Performance Best Practices
  • [VIRT1430BU] - Performance Tuning and Monitoring for Virtualized Database Servers
  • [ADV1587BU] - NSX + VMware Horizon: A Security Architecture for Delivering Desktops and Applications with VMware
  • [SER2355BU] - Best Practices for All-Flash Arrays with VMware vSphere
  • [SER2965BU] - Advanced Troubleshooting of ESXi Server 6.x for vSphere Gurus
  • [SER2077BU] - Achieve Maximum vSphere Stability with PowerCLI Assisted Documentation: From Buildout to Daily Administration

VMware Weathervane - open source утилита для бенчмаркинга производительности в виртуальных средах.

30/10/2017

Оказывается, у VMware есть интересная утилита с открытым исходным кодом - Weathervane. Это бенчмаркинг-тул, предназначенный для запуска тестов производительности в виртуальных средах VMware vSphere (как онпремизных, так и облачных), с учетом симуляции реальной нагрузки различных приложений. Утилита доступна в открытом репозитории на GitHub.

Weathervane позволяет, например, снять метрики с двух различных окружений или его конфигураций, что позволит выбрать наиболее производительную конфигурацию виртуального окружения и выставить самые эффективные настройки виртуальной среды. Также с помощью Weathervane компания VMware сама делает различные тесты, к примеру, вот документ о производительности контейнеров Docker в виртуальной среде VMware vSphere - "Performance of enterprise web applications in Docker containers on VMware vSphere 6.5".

Weathervane имеет возможности по развертыванию нескольких независимых экземпляров приложения и его отдельных сервисов в контейнерах Docker, запуску различных нагрузок и конфигурации параметров их исполнения для измерения необходимых метрик производительности. То есть, это утилита для бенчмаркинга производительности именно на уровне приложений.

Weathervane состоит из трех основных компонентов:

  • Приложение (Auction application), которое развертывается в среде тестирования.
  • Драйвер рабочей нагрузки (Workload driver), который выдает реалистичную нагрузку для приложения с учетом заданных параметров тестирования.
  • Компонент исполнения (Run harness), который автоматизирует процесс исполнения тестовых запусков приложения и собирает результаты, логи и, собственно, данные о производительности.

Также в составе Weathervane есть Supporting tools, которые включают в себя скрипты для настройки экземпляра операционной системы со всем необходимым для запуска утилиты, создания образов Docker и подготовки приложения для запуска в среде тестирования.

При проведении тестирования вы можете изменять следующие параметры:

  • Число экземпляров на уровне каждого сервиса. Например, может быть любое число балансировщиков нагрузки, серверов приложений или узлов веб-серверов. Это позволяет создавать конфигурации любого масштаба.
  • Число ярусов целевой архитектуры. Например, вы можете не использовать некоторые компоненты, такие как балансировщики и веб-сервера, если вам нужно протестировать небольшую по объему среду.
  • Вариант развертывания среды. Например, Weathervane сейчас поддерживает PostgreSQL и MySQL в качестве транзакционной БД, а также Apache Httpd и Nginx в качестве веб-серверов. Ну и надо помнить, что это open source проект, а значит вы сами можете расширять его.
  • Конфигурацию сервисов. В настроечном файле можно изменять параметры для каждого из ярусов, которые будут применяться компонентом run harness перед началом каждого прогона бенчмарка.

Для больших инфраструктур и тестовых сред Enterprise-приложений Weathervane предоставляет следующие средства:

  • Вы можете запускать экземпляры приложения напрямую в ОС, неважно в физической или виртуальной машине, а также в контейнерах Docker (это позволит сравнить эти варианты развертывания между собой по производительности). Как мы писали выше, Weathervane содержит скрипты для создания образов Docker для всех сервисов приложений.
  • Вы можете задать пользовательскую нагрузку для экземпляров приложения, которая позволит оценить поведение приложения при критических нагрузках, циклических паттернах нагрузки и поведение сервиса в плане эластичности.
  • Поддерживается изменение числа экземпляров приложения прямо во время исполнения теста, что позволит снять метрики, относящиеся к эластичности сервиса (то есть его способности динамически выделять и освобождать ресурсы при изменении нагрузки). В будущем будет также добавлен мониторинг поведения среды в реальном времени, чтобы оперативно оценивать эластичность и инертность сервиса по отношению к нагрузке.

Руководство по использованию VMware Weathervane доступно по этой ссылке. Ну а сам проект Weathervane на GitHub доступен тут: https://github.com/vmware/weathervane.

Книга о VMware Horizon Cloud.

27/10/2017

На днях компания VMware выпустила не просто whitepaper, а целую книгу о своем публичном облаке VMware Horizon Cloud. Напомним, что данное решение представляет собой инфраструктуру виртуальных десктопов Horizon View, работающую на стороне IaaS-облака с возможностью интеграции с онпремизной инфраструктурой VMware Horizon.

Собственно, сама книга Horizon Cloud Overview Bootcamp eBook на 83 страницах:

Основные темы, которые раскрываются в книге:

  • Общее описание архитектуры и назначения Horizon Cloud.
  • Развертывание решения Horizon Cloud.
  • Архитектура Horizon Cloud Hosted и On-Premises.
  • Управление образами ВМ в инфраструктурах Horizon Cloud Hosted и On-Premises.
  • Интеграция со службами каталога Active Directory в облаках Horizon Cloud Hosted и On-Premises.
  • Платформа Just-in-Time Management.

Вышла новая версия VMware vCloud Availability for vCloud Director 2.0.

26/10/2017

На днях компания VMware выпустила обновленную версию решения vCloud Availability for vCloud Director 2.0, предназначенного предназначенного для создания резервной инфраструктуры в одном из публичных облаков сервис-провайдеров на основе VMware vCloud Director (так называемая услуга Disaster-Recovery-as-a-Service, DRaaS). Напомним, что о первой версии данного продукта мы писали вот тут.

Это решение, работающее на площадках IaaS-провайдеров, построено на базе технологии vSphere Replication и используется у тысяч клиентов по всему миру.

Посмотрим на новые возможности vCloud Availability for vCloud Director 2.0:

1. Five-minute Recovery Point Objective.

Теперь показатель RPO (требования к контрольной точке восстановления) уменьшен до 5 минут, что позволяет защищать приложения уровня Tier 1.  Совместно с технологией Multi Point in Time Recovery Snapshots (MPIT) это позволит обеспечить постоянную защиту бизнес-критичных систем.

2. vSphere 6.5 Support.

Последняя версия платформы виртуализации vSphere 6.5 теперь полностью поддерживается. Долговато конечно ждали этого релиза, но по уверениям VMware большинство сервис-провайдеров еще только начало апгрейд на новую версию платформы.

3. Enhancements to Service Provider Portal.

Для клиентов сервис-провайдера теперь предоставляется отдельный интерфейс по управлению и мониторингу процесса репликации. Например, клиент сам может отрегулировать параметр RPO для своих виртуальных сервисов, реплицируемых в облако, или посмотреть статус реплицируемых виртуальных машин. Кроме того, была существенно улучшена производительность, а также появилась функция impersonation, которая позволяет сервис-провайдеру войти в панель управления инфраструктурой как клиент и видеть то же, что и он, в целях поддержки и решения проблем.

4. Seamless upgrades.

Обновления продукта теперь бесшовны и теперь не представляют собой болезненный для сервис-провайдера процесс.

Полезные ссылки по продукту:

Диаграмма компонентов, соединений и портов vRealize Operations Manager 6.6.

25/10/2017

Компания VMware выпустила полезную администраторам VMware vSphere диаграмму компонентов, соединений и портов, посвященную решению vRealize Operations Manager 6.6. Напомним, что о самом продукте vROPs 6.6, выпущенном летом этого года, мы писали вот тут.

Коммуникации, обозначенные на диаграмме рассматриваются как на уровне кластера, так и в рамках компонентов одного узла. Слева на плашках приведены комментарии для различных уровней - на зеленом фоне пояснение принципов взаимодействия между компонентами и требования продукта (например, необходимость обеспечения 5 ms latency между узлами или пояснения к механизму HA), а на синем фоне детально рассказывается об устройстве ноды, ее компонентах - сервисах, базе данных, адаптерах и прочем.

На странице KB о диаграмме vRealize Operations Manager 6.6 есть ссылка на загрузку файла в формате PDF.

Новое на VMware Labs - Blockchain on vSphere.

24/10/2017

На сайте VMware Labs появилась очередная интересная утилита - Blockchain on vSphere. О блокчейне сейчас говорят все, но немногие знают, что эти решения уже используются не только в криптовалютах, но и в самых различных областях - медицине, экономике, а также есть даже такие необычные кейсы, как пресечение торговли людьми и отслеживание сбыта "кровавых" алмазов.

Компания VMware также не осталась в стороне и запустила вспомогательный проект Blockchain on vSphere, который помогает администраторам развернуть блокчейн-платформу для разработчиков на основе гипервизора ESXi. Эта утилита представляет собой средство развертывание решения Hyperledger Fabric v1.0 на платформе vSphere.

Hyperledger - это open source проект сообщества Linux Foundation и основа Hyperledger Fabric, которая предоставляет разработчикам возможности сделать свой блокчейн-проект с необходимой бизнес логикой. Blockchain on vSphere позволяет просто развернуть узлы кластера Hyperledger Fabric (Pods), так как это довольно сложная процедура, которую и упрощает VMware.

Целевая архитектура развернутого решения выглядит следующим образом:

Hyperledger Fabric - это распределенная система на основе технологии контейнеров. Она может быть развернута на платформе, которая поддерживает стандарт OCI (VMware его поддерживает). Решение Kubernetes используется для управления контейнерами Hyperledger Fabric.

Чтобы понять, как именно Blockchain on vSphere облегчает построение блокчейн-платформы на основе vSphere, посмотрите видео ниже:

Также при скачивании Blockchain on vSphere по этой ссылке, в комбо-боксе над кнопкой Download можно выбрать whitepaper о продукте, в котором подробно описывается весь процесс развертывания Hyperledger Fabric с помощью BoV.

Новое на VMware Labs - утилита Desktop Watermark для наложения водяных знаков на сессию виртуального ПК.

23/10/2017

На сайте проекта VMware Labs появилась утилита Desktop Watermark, которая может пригодиться администраторам инфраструктур виртуальных ПК VMware Horizon View, когда требуется пометить сессию десктопа "водяным знаком". Такое может быть полезным, например, для целей демонстрации какого-либо продукта или для наложения копирайта на содержимое показываемого контента.

Утилита накладывает на удаленную сессию виртуального ПК вотермарк, который может быть виден явно (Visible) или спрятан в изображении (Invisible) при снятии снимка экрана. "Проявить" водяной знак на скриншоте можно также с помощью Desktop Watermark (для этого в папке с программой есть утилита Reveal.exe).

Вот так выглядит видимый водяной знак на скриншоте сессии:

А вот так выглядит конфигурация самой утилиты:

Как видно из настроек, вотермарк можно поместить в выбранной части экрана (подойдет для вебинара, например), либо заполнить им весь экран. Также можно написать текст любого цвета и размера, повернуть его под нужным углом, а также регулировать прозрачность итогового знака. Кроме того, в составе выводимого текста можно использовать переменные окружения (имя компьютера, текущая дата, домен и т.п.).

Desktop Watermark поставляется как обычное Windows-приложение в виде MSI-пакета. Скачать утилиту можно по этой ссылке.

VMware vSphere APIs for I/O Filtering (VAIO) - как это работает.

20/10/2017

Недавно компания VMware выпустила интересный документ VMware vSphere APIs for I/O Filtering (VAIO), в котором описываются основные принципы работы данной технологии. Ниже мы расскажем о них вкратце, а также затронем тему того, каким образом можно использовать VAIO в производственной среде.

VAIO - это технология и API, которые позволяют получать прямой доступ к потоку ввода-вывода (I/O Stream) гостевой ОС виртуальной машины. Механизм VAIO уже сейчас способствует созданию партнерских продуктов для решения самых разнообразных задач (например, кэширование write-back и write-through). VAIO основан на механике Storage Policy Based Management (SPBM), которая предназначена для управления правилами хранения виртуальных машин и их работой с хранилищами.

Техническая реализация данного механизма подразумевает использование драйвера VAIO (filter driver), который устанавливается на хосте VMware ESXi как пакет VIB и не требует установки никакого специального ПО в гостевой ОС виртуальной машины.

Посмотрим на эту картинку, на которой изображен путь данных от виртуальной машины к физическому устройству хранения. На ней представлены 2 компонента, относящиеся к VAIO. Первый - это VAIO фреймворк, работающий на уровне ядра VMkernel и определяющий действующую политику фильтра. Второй - это IO Filter, представляющий собой программное обеспечение, работающее на уровне пользовательской среды исполнения (User World) сервера ESXi. Этот драйвер фильтра исполняет свою функцию (например, кэширование данных или их репликация), после чего передает их на физическое устройство хранения для записи.

Такая архитектура позволяет драйверу IO-фильтра получать доступ к потоку ввода-вывода, не сильно не влияя на производительность исполнения SCSI-команд. Еще одна особенность IO-фильтра - это возможность иметь доступ к потоку ввода-вывода как в сторону записи (от ОС к хранилищу), так и в обратную сторону (квитанции о прохождении команд). Это полезно, например, при использовании IO-фильтра для технологии репликации, где очень важно получать квитанции о записи данных на диск.

Кстати, SCSI-команды попадают к IO-фильтру сразу после того, как они проходят слой эмуляции SCSI (он же vSCSI), что позволяет использовать VAIO для любых типов хранилищ - VMFS, NFS, SCSI и vSAN. Ну а перехват команд IO-фильтром перед их отсылкой в сетевой стек к хранилищу позволяет обеспечить целостность данных и безопасность.

Еще, если внимательно посмотреть на архитектуру прохождения потока ввода-вывода, можно заметить, что драйвер IO-фильтра работает на уровне User World, а значит в целом не влияет на стабильность работы сервера ESXi. Даже если он вдруг прекратит свою работу, основной стек прохождения SCSI-команд, расположенный в ядре, продолжит работать в нормальном режиме.

Работает IO Filter на уровне отдельных VMDK-дисков конкретных ВМ, что открывает широкие возможности для механизма политик Storage Policy Based Management (SPBM) и применения их к отдельным виртуальным машинам и сервисам.

Все вышеперечисленное позволяет применять VMware VAIO при решении следующих типов задач:

  • Encryption – стороннее ПО за счет использования механизма VAIO может на лету шифровать и расшифровывать поток данных от виртуальной машины. Таким образом на хранилище будут помещаться уже шифрованные данные. Гранулярность работы VAIO позволяет обслуживать данные, идущие даже не от всей виртуальной машины, а только от одного приложения.
  • De-duplication - этот механизм уже использует решение VMware Virtual SAN. В реальном времени можно дедуплицировать данные, проходящие через драйвер и в таком виде уже класть на хранилище в целях экономии дискового пространства. Эта техника доступна и партнерам VMware.
  • Tiering - данные различной степени важности, критичности или классифицированные по другим критериям теперь можно класть на хранилища с разными характеристиками производительности и доступности (ярусы). Механизм VAIO тут поможет проанализировать характер данных и определить конечное их место назначения.
  • Analytics - теперь можно анализировать непосредственно поток данных от конкретной виртуальной машины и на основе этого строить множество различных решений, включая решения по кэшированию (например, такой продукт как PrimaryIO, который можно напрямую подключить к гипервизору). Затем можно, например, искать в трафике данные определенных приложений, либо, использовать механизм write-back кэширования.

Технология VAIO работает, начиная с VMware vSphere 6.0 Update 1, поддерживает горячую миграцию vMotion (VAIO должна быть доступна на целевом хосте) и кластеры VMware DRS (должна быть доступна на всех хостах).

Давайте теперь посмотрим, как VAIO работает на практике на одном из примеров. Чтобы начать работать с VAIO, вам нужно установить IO Filter в виде VIB-пакета, который реализует функциональную составляющую партнерского продукта для VMware vSphere.

Как правило, вместе с фильтром идет и политика SPBM (аналогичная тем, которые есть для vSAN или VVols, например), которую можно назначать виртуальным машинам на уровне виртуальных дисков VMDK.

Эту политику можно назначить при создании виртуальной машины в разделе Select Storage (в данном случае это политика кэширования на SSD):

Пример политики, идущей вместе с фильтром, как правило включает в себя Common Rule - правила, которые реализуют Data Services (то есть основной функционал фильтра) и определяются через компоненты Storage Policy Components (путем добавления компонентов в разделе Common Rules).

Например, в данном случае это тип кэширования Write Through или Write Back, который мы задаем в разделе Common Rules при создании новой политики хранения:

По умолчанию эти компоненты устанавливаются вместе со встроенными фильтрами vSphere и другими продуктами, которые пополняют набор IO-фильтров, а соответственно и компонентов по мере их установки. За счет использования Storage Policy Components возможности IO-фильтров могут быть включены в любую из уже настроенных политик VM Storage Policies.

Это очень удобно, поскольку на данный момент виртуальная машина или VMDK-диск могут иметь только одну примененную к ним политику хранения, но к ним можно добавить компоненты от разных фильтров.

Ну а сами IO-фильтры от разных производителей вы можете найти в VMware Compatibility Guide по этому адресу - https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vaio.

Как видно из картинки, на данный момент не так много партнеров используют технологию VAIO для своих продуктов, а категорий решений всего две - репликация и кэширование. Но VMware активно работает в этом направлении, и в скором времени, возможно, мы увидим еще несколько продуктов, реализующих функционал IO-фильтров для решения новых задач.

Финальная версия VMware Horizon Cloud on Microsoft Azure доступна для использования.

19/10/2017

Этим летом мы писали о том, что компания VMware анонсировала платформу Horizon Cloud on Microsoft Azure, которая представляет собой инфраструктуру виртуальных десктопов Horizon View, работающую на стороне IaaS-облака Microsoft Azure с возможностью интеграции с онпремизной инфраструктурой VMware Horizon.

На днях Microsoft и VMware объявили о доступности VMware Horizon Cloud on Microsoft Azure для пользователей, и теперь в облаке Microsoft Azure доступна контрольная панель Horizon Cloud. Вот небольшой обзор того, как это работает:

Давайте посмотрим на основные возможности платформы Horizon Cloud on Microsoft Azure:

  • Multi-Cloud Deployments - теперь можно параллельно использовать онпремизное облако VMware Horizon и ресурсы публичного облака Azure, в любом из 36 регионов.
  • Low-Cost, Hourly Billing for Microsoft Azure Capacity - можно связать текущий биллинг Azure по модели IaaS с подпиской Horizon Cloud.
  • Easy Deployment - пользователям доступны средства автоматизации развертывания компонентов Horizon Cloud. Интеграция с Microsoft Azure Marketplace позволяет развернуть образ Windows Server, на который сразу устанавливаются все необходимые компоненты.
  • Simplified Management - в облаке Azure всегда поддерживается последняя версия обновлений Horizon Cloud (апгрейд можно провести самостоятельно за 5 минут). Кроме того, для отдельных компонентов доступна методика Blue-Green (то есть одна копия окружения апгрейдится, а вторая продолжает работать на прошлой версии в продакшене).
  • Superior Architecture - архитектура Horizon Cloud on Microsoft Azure изначально заточена под нескольких клиентов облака, а управляющие компоненты отделены от компонентов, обрабатывающих потоки данных, что позволяет не влиять на производительность. Ну а Unified Access Gateway автоматически развертывается в облаке Azure.
  • Simple Offer - компоненты VMware Unified Access Gateway и VMware User Environment Manager включены в рамках одного предложения продукта для пользователей. Они позволят обслуживать удаленные десктопы и приложения в публичном облаке.

Стоимость лицензий на представлена на картинке ниже:

Более подробно об облачных сервисах VMware Horizon Cloud on Microsoft Azure можно узнать на этой странице.

План тестирования виртуальной инфраструктуры VMware vSphere.

18/10/2017

Один из блоггеров, пишущих о платформе VMware vSphere (у него есть кстати симулятор экзамена VCDX), выложил на GitHub интересный документ, который может оказаться полезным администраторам больших виртуальных инфраструктур и сотрудникам системных интеграторов - vTestPlans.

Это документ, доступный в форматах Microsoft Word и PDF, представляет собой план тестирования виртуальной инфраструктуры VMware vSphere. Да, пока он еще весьма небольшой и очень приблизительный, но автор уверяет, что будет развивать и расширять его, в том числе за счет помощи от участников сообщества VMware.

Штука эта на самом деле полезная, когда вы в какой-нибудь компании внедряете VMware vSphere и хотите проверить работоспособность программно-аппаратного комплекса в целом после развертывания.

И снова баг: VMware vSphere Web Client не работает в браузере Google Chrome.

17/10/2017

На днях некоторые пользователи VMware vSphere заметили, что их браузер Google Chrome крашится при попытке доступа через VMware vSphere Web Client на базе технологии Adobe Flex к серверу vCenter. Баг обнаружил William Lam и другие пользователи vSphere.

В этом случае Хром вываливается вот с такой ошибкой:

Shockwave Flash has crashed

При этом ни перезапуск хрома, ни перезапуск системы не помогает избавиться от ошибки.

Вся фишка в том, что Google выпустила обновление библиотеки Flash (27.0.0.170) вместе с последним обновлением браузера Chrome (61.0.3163.100), которое имеет ошибки при работе с флешем, причем не только для продуктов VMware. Одним из временных решений проблемы было бы использование браузера Firefox, но и там используется такая же библиотека Flash.

Ну а чтобы вылечить Google Chrome нужно сделать вот что:

1. Найти старую библиотеку pepperflashplayer.dll для Google Chrome (например, для Windows она выложена здесь) и положить ее в папку 27.0.0.170 вашей директории Chrome.

Находится эта папка вот тут:

  • Windows - %LocalAppData%\Google\Chrome\User Data\PepperFlash
  • Mac OS - ~/Library/Application Support/Google/Chrome/PepperFlash

2. Отключить функции автоматического обновления Google Chrome. Для этого в ключе реестра:

HKLM\SOFTWARE\Policies\Google\Update\AutoUpdateCheckPeriodMinutes

нужно выставить значение 0. После этого Chrome должен заработать с vSphere Web Client:

На Mac OS, кстати, старая версия библиотеки сохраняется в папке 27.0.0.159, поэтому вы просто можете скопировать ее в новую папку 27.0.0.170 и залогиниться в vSphere Web Client.

Баг этот очень неприятный, но в этот раз VMware не виновата. Накосячили в Гугл и Адоби. Флеш умирает сам:)

Следить за обновлениями о баге можно по этой ссылке.

Новые возможности последних версий VMware vSphere Client 3.22-3.24.

16/10/2017

В сентябре мы писали о новых возможностях тонкого клиента vSphere Client 3.21, предназначенного для управления виртуальной инфраструктурой через браузер на базе технологии HTML5. За прошедший месяц вышли обновленные версии VMware vSphere Client 3.22, 3.23 и 3.24, о новых возможностях которых мы расскажем ниже.

Итак, что нового появилось в vSphere Client (на картинке выше, кстати, скрин кастомизации ОС):

  • Возможность кастомизации всех сетевых настроек, включая шлюз по умолчанию, при применении спецификации кастомизации гостевой ОС виртуальной машины (при клонировании или кастомизации существующей ВМ).
  • Добавление контроллера NVMe для новой или существующей ВМ.
  • Улучшенное представление просмотра деталей о совместимости в мастере развертываниия новой ВМ.
  • Возможность загрузки папки из файлового браузера.
  • Группы DRS могут быть отфильтрованы по их составляющим хостам.
  • В портлете VM Storage Policy отображаются Replication groups.
  • Можно посмотреть список установленных VIB-пакетов (на vSphere 6.5).
  • Редактирование информации о видеокарте для виртуальной машины.
  • Пофикшено множество багов, в том числе касающихся снапшотов.

Скачать VMware vSphere Client 3.24 можно по этой ссылке.

1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104    >   >>
Реклама





Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

02/12/2017:  AZURE DAY 2017 (Минск)
06/03/2018:  ИТ-стратегия 2018
24/05/2018:  IT&SECURITY FORUM (Казань)

Быстрый переход:
VMware StarWind Veeam IT-Grad vGate Microsoft Cloud SDRS Parallels IaaS Citrix 5nine HP VeeamON VMFS RVTools PowerCLI VM Guru Oracle Red Hat Azure KVM VeeamOn Security Code 1cloud Docker Storage Offtopic NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo Nutanix vRealize VirtualBox Symantec Gartner Softline EMC Login VSI Xen Enterprise Teradici Amazon NetApp VDI Linux Hyper-V IBM Cisco Google VSI Security Windows vCenter VMachines Webinar View VKernel Events Hardware Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs Sun VMC Xtravirt Novell vSphere IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V VVols HA Tools Backup vSAN Book Photon vCloud VMworld Horizon vROPs Labs Fusion Cloud Computing vCSA SSD Client DRS OpenStack Comparison Workstation Blast SRM App Volumes Performance Manager Nested AWS Log Insight XenDesktop VSA vNetwork SSO LSFS Workspace Host Client VMDK VTL Update iSCSI SDDC NSX Agent Virtual Appliance Whitepaper PowerShell Appliance VUM V2V Cache Support Обучение Web Client Mobile Automation Replication Desktop Fault Tolerance DR Vanguard SaaS Connector Event Free Datacenter SQL VSAN Lifecycle Sponsorship Finance FT Converter XenApp esxtop Snapshots VCP Auto Deploy SMB RDM Mirage XenClient MP Video Operations SC VMM Certification VDP Partners PCoIP RHEV vMA Award Network USB Licensing Logs Server Demo Visio Intel vCHS Calculator Бесплатно vExpert Beta SAN Exchange MAP ONE DaaS Networking Monitoring VPLEX UCS SDK Poster VSPP Receiver vMotion VDI-in-a-Box Deduplication Forum Reporter vShield ACE Go nworks iPad XCP Data Recovery Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V VirtualCenter NFS ThinPrint Director Diagram Bug Troubleshooting Air API CLI Plugin DPM Memory Upgrade SIOC Flex Mac Open Source SSH VAAI Chargeback Heartbeat Android MSCS Ports SVMotion Storage DRS Bugs Composer
Интересные плакаты:

Постер VMware vSphere PowerCLI 6.3:

Постер VMware ESXi 5.1:

Постер VMware Hands-on Labs 2015:

Постер VMware Platform Services Controller 6.0:

Постер VMware vCloud Networking:

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Постер VMware vCenter Server Appliance:

Порты и соединения VMware vSphere 6:

Порты и соединения VMware Horizon 7:

Порты и соединения VMware NSX:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

Постер Veeam Backup & Replication v8 for VMware:

Постер Microsoft Windows Server 2012 Hyper-V R2:

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Бесплатные утилиты для виртуальных машин на базе VMware ESX / ESXi.

Сравнение Oracle VirtualBox и VMware Workstation.

Проектирование инфраструктуры виртуализации VMware vSphere 4.

Как поднять программный iSCSI Target на Windows 2003 Server для ESX

Как использовать возможности VMware vSphere Management Assistant (vMA).

Бесплатные программы для VMware ESX / ESXi в среде Virtual Infrastructure / vSphere (часть 2).

Отличия VMware ESXi 4 free (бесплатного), ESXi 4 и ESX 4 в составе VMware vSphere.

Новые возможности VMware vSphere 5.0 - официально.

Все ресурсы о виртуализации:
Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Купить:

VMware vSphere 6.5


Veeam Backup 9.5


Полезные ресурсы:


Видео компании VMware

Видео про Citrix Xen

Видео о виртуализации Microsoft

Утилиты для виртуальных машин Microsoft.

Книги на английском языке

Блоги на английском языке

Блоги на русском языке

Агрегация статей в твиттере VMC:


Copyright VM Guru 2006 - 2017, Александр Самойленко. Правила перепечатки материалов.