Новости Статьи VMware Veeam StarWind Microsoft ИТ-ГРАД Citrix Symantec 5nine События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Виртуализация vSphere, Hyper-V, XenServer и Red Hat

Более 4460 заметок о виртуализации и виртуальных машинах VMware, Microsoft, Citrix, Red Hat

VM Guru / Articles / Технические подробности о файловой системе LSFS (Log-Structured File System) в решении StarWind Virtual SAN.

Технические подробности о файловой системе LSFS (Log-Structured File System) в решении StarWind Virtual SAN.

Технические подробности о файловой системе LSFS (Log-Structured File System) в решении StarWind Virtual SAN.

Автор: Александр Самойленко
Дата: 10/04/2018

Мы часто пишем о продукте StarWind Virtual SAN, который позволяет организовать кластеры отказоустойчивых хранилищ на базе серверов для виртуальных машин VMware vSphere и Microsoft Hyper-V. В связи с большим интересом к тому, как именно работает это решение с технической точки зрения, постараемся писать об этом побольше. Сегодня мы расскажем об опциональной файловой системе LSFS (Log-Structured File System), которая повышает производительность операций записи и срок службы накопителей.

Если вкратце, то файловая система LSFS преобразовывает небольшие операции записи от виртуальных машин хост-сервера, которые смешиваются и идут в случайном порядке (small random writes) в большие последовательные операции записи, что также существенно увеличивает производительность. Это так называемая ликвидация эффекта I/O Blender.

LSFS изначально работает с большими блоками данных, что положительно сказывается на сроке службы флеш-накопителей (SSD), на которых размещаются виртуальные машины, так число операций записи существенно уменьшается.

Помимо этого, LSFS имеет следующие полезные функции:

  • Встроенная поддержка снапшотов и точек восстановления хранилищ (автоматически они делаются каждые 5 минут).
  • Поддержка непрерывной дефрагментации (она идет в фоне).
  • Дедупликация данных "на лету" (то есть, перед записью на диск).
  • Улучшения производительности за счет комбинирования операций записи.
  • Поддержка overprovisioning.
  • Использование технологии снапшотов и техник отслеживания изменений при синхронизации HA-узлов.

LSFS - это журналируемая файловая система, которая отслеживает изменения в журнале, при этом сами данные в LSFS не хранятся, хранятся только изменения. Журнал разделен на файловые сегменты. Минимальный размер сегмента - это 128 МБ, максимальный - 512 МБ. LSFS всегда держит один пустой файловый сегмент.

Начальный размер LSFS-устройства равен одному файловому сегменту, вне зависимости от размера самого устройства. Когда данные записываются на устройство, файловая система растет автоматически, по мере внесения изменений в данные.

Старые данные сохраняются в файловой системе до момента, пока дефрагментация не вычистит их.

Как работает дефрагментация

Многие пользователи задаются вопросом - как ведет себя файловая система LSFS с точки зрения дефрагментации? Ответ прост - она упорядоченно сохраняет логические блоки с близкими адресами в рамках страниц (размером 4-8-16 МБ), при этом процесс организации блоков происходит непрерывно. То есть, LSFS - это файловая система с "автоматической" дефрагментацией. Данные фрагментированных сегментов помещаются в пустой файловый сегмент, а старый сегмент удаляется. Также можно производить дефрагментацию и в ручном режиме.

Автоматическая дефрагментация срабатывает, когда процент junk-сегментов достигает значения 60% (кстати, это значение можно поменять в контекстном меню устройства). При этом, когда на устройстве остается совсем мало места, LSFS включает агрессивную дефрагментацию, что замедляет работу дискового устройства в целом и негативно сказывается на качестве обслуживания пользователей. Если же места на диске физически совсем не остается - LSFS переходит в режим "read-only".

Как работают снапшоты

LSFS - это файловая система с изначальной поддержкой снапшотов. Каждый снапшот увеличивает занимаемое место на объем изменений, сделанных с момента последнего базового состояния. Снапшоты по умолчанию делаются автоматически каждые 5 минут и затем удаляются. Также можно сделать снапшот и вручную.

Во время нормального функционирования LSFS создает контрольные точки восстановления. Это последние консистентные части журнала, которые будут использованы при восстановлении в случае сбоя. Снапшоты можно посмотреть в Snapshot Manager в разделе Device Recovery Mode.

Как работает дедупликация

Уникальные блоки данных складываются на хранение и постоянно анализируются. Если среди новых блоков находится уже существующий блок, он заменяется на ссылку на уже сохраненный блок. У похожих виртуальных машин таких блоков может быть сотни и тысячи, а значит коэффициент дедупликации будет большим.

С другой стороны, файлы подкачки этих ВМ сильно уменьшат этот коэффициент, так как сбрасываемые в них страницы памяти достаточно уникальны. Таким образом, для 10 одинаковых виртуальных машин по 12 ГБ каждая и файлом подкачки 2 ГБ объем хранения будет составлять, например: (12-2)+2*10=30 ГБ

Как работает механизм ускорения производительности подсистемы хранения

При операциях записи, создания снапшотов и других используется технология Redirect-on-Write. Она позволяет записывать каждый новый блок последовательно на следующее доступное место на диске, организуя последовательную цепочку. Вне зависимости от того, какой механизм доступа используется, нижний уровень хранилища всегда получает унифицированные блоки размером 4 МБ.

LSFS собирает маленькие операции записи, которые идут в случайном порядке от нескольких виртуальных машин, в большую операцию ввода-вывода. Это иногда увеличивает производительность до 90% на запись по сравнению с использованием традиционных файловых систем, таких NTFS и ZFS.

Конечно, у этого позитивного процесса есть и обратная сторона - оверхэд на использование дискового пространства за счет высокого коэффициента фрагментации. Именно поэтому, как было сказано выше, дефрагментация работает постоянно, начиная с какого-то момента.

LSFS растет постоянно и может вырасти до коэффициента фрагментации 60%, что означает, что она будет занимать на диске 2,5X от начального объема (overprovisioning). Если прибавить сюда еще 20% затрат на метаданные LSFS (это максимальное значение), то вам понадобится до 3x начальной емкости хранилища (это только в моменте - как предельное максимальное значение). Это будет плата за высокую производительность и меньший износ накопителей, особенно SSD (вследствие меньшего числа операций записи). Подробную информацию о занимаемом LSFS пространстве можно получить в StarWind Management Console.

Синхронизация HA-устройств с поддержкой LSFS

Устройства HA на базе LSFS используют снапшоты в процессе синхронизации и синхронизируют только последние изменения.

Соответственно, в случае сбоя вам не потребуется полной синхронизации, а нужно будет только передать на резервный узел данные с момента последнего снапшота. Полная синхронизация идет только во время создания первоначальной реплики (при этом нулевые блоки не копируются, чтобы не передавать мусорный трафик).

Требования LSFS

Основными требованиями LSFS являются:

  • 4.6 ГБ оперативной памяти сервера на 1 ТБ хранилища LSFS начального объема (при отключенной дедупликации).
  • 7.6 ГБ оперативной памяти сервера на 1 ТБ хранилища LSFS начального объема (дедупликация включена).
  • Возможность обеспечить до 3X первоначального хранилища на overprovisioning, описанный выше.
  • Совместимость физических дисков и ОС на работу с 4K блоками. Hyper-V выравнивает корректно блоки VHDX (но VHD могут быть не выровнены), тома VMFS также могут быть выровнены на 4K блоки. Вы можете также использовать и универсальные 512-байтные блоки.

В итоге, тома LSFS выгодно использовать, когда вам требуется повышенная производительность операций записи, а также меньшая изнашиваемость дисковых накопителей. LSFS дает хороший эффект, когда она используется в средах с большим коэффициентом дедупликации, так как файловая система сама по себе также потребляет дисковое пространство за счет фрагментации и метаданных.

Реклама







Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

24/05/2018:  IT&SECURITY FORUM (Казань)
05/06/2018:  VeeamON Forum Russia 2018

Быстрый переход:
VMware IT-Grad StarWind vSphere Veeam RVTools 5nine Enterprise Citrix Security Code Offtopic Cisco vGate Microsoft Cloud SDRS Parallels IaaS HP VeeamON VMFS PowerCLI VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo Nutanix vRealize VirtualBox Symantec Gartner Softline EMC Login VSI Xen Teradici Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter VMachines Webinar View VKernel Events Hardware Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V HA LSFS Lifecycle Tools Client Workspace vSAN vCloud Update vCSA Datacenter vROPs Horizon DRS Visio NSX Intel OpenStack Agent Backup Networking esxtop VVols Book Photon VMworld Labs Fusion Cloud Computing SSD Comparison Workstation Blast SRM App Volumes Performance Manager Nested AWS Log Insight XenDesktop VSA vNetwork SSO Host Client VMDK VTL iSCSI SDDC Virtual Appliance Whitepaper PowerShell Appliance VUM V2V Cache Support Обучение Web Client Mobile Automation Replication Desktop Fault Tolerance DR Vanguard SaaS Connector Event Free SQL VSAN Sponsorship Finance FT Converter XenApp Snapshots VCP Auto Deploy SMB RDM Mirage XenClient MP Video Operations SC VMM Certification VDP Partners PCoIP RHEV vMA Award Network USB Licensing Logs Server Demo vCHS Calculator Бесплатно vExpert Beta SAN Exchange MAP ONE DaaS Monitoring VPLEX UCS SDK Poster VSPP Receiver vMotion VDI-in-a-Box Deduplication Forum Reporter vShield ACE Go nworks iPad XCP Data Recovery Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V VirtualCenter NFS ThinPrint Troubleshooting Upgrade Director Android Graphics Migration Diagram Bug Air API CLI Plugin DPM Memory SIOC Flex Mac Open Source SSH VAAI Chargeback Heartbeat MSCS Ports SVMotion Storage DRS Bugs Composer
Интересные плакаты:

Постер VMware vSphere PowerCLI 6.3:

Постер VMware ESXi 5.1:

Постер VMware Hands-on Labs 2015:

Постер VMware Platform Services Controller 6.0:

Постер VMware vCloud Networking:

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Постер VMware vCenter Server Appliance:

Порты и соединения VMware vSphere 6:

Порты и соединения VMware Horizon 7:

Порты и соединения VMware NSX:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

Постер Veeam Backup & Replication v8 for VMware:

Постер Microsoft Windows Server 2012 Hyper-V R2:

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Сравнение Oracle VirtualBox и VMware Workstation.

Бесплатные утилиты для виртуальных машин на базе VMware ESX / ESXi.

Проектирование инфраструктуры виртуализации VMware vSphere 4.

Как поднять программный iSCSI Target на Windows 2003 Server для ESX

Как использовать возможности VMware vSphere Management Assistant (vMA).

Бесплатные программы для VMware ESX / ESXi в среде Virtual Infrastructure / vSphere (часть 2).

Отличия VMware ESXi 4 free (бесплатного), ESXi 4 и ESX 4 в составе VMware vSphere.

Новые возможности VMware vSphere 5.0 - официально.

Все ресурсы о виртуализации:
Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Купить:

VMware vSphere 6.5


Veeam Backup 9.5


Полезные ресурсы:


Видео компании VMware

Видео про Citrix Xen

Видео о виртуализации Microsoft

Утилиты для виртуальных машин Microsoft.

Книги на английском языке

Блоги на английском языке

Блоги на русском языке

Агрегация статей в твиттере VMC:


Copyright VM Guru 2006 - 2018, Александр Самойленко. Правила перепечатки материалов.