Определите производительность своей виртуальной среды с помощью первого подобного средства для тестирования в данной отрасли

VMmark — это первый тест производительности, специально созданный для оценки и измерения производительности виртуальных сред. В нем реализована оригинальная схема на основе сегментов, которая обеспечивает согласованную методологию измерения совокупной масштабируемости и производительности отдельных приложений.

В основе теста VMmark лежит опыт, накопленный VMware в области производительности виртуализации. Он содержит рабочие нагрузки из тех категорий приложений, которые чаще всего используются в центрах обработки данных клиентов.

Традиционные тесты серверной производительности, доступные на сегодняшний день, разрабатывались без учета существования виртуальных машин и консолидации серверов, они рассчитаны на схему «один сервер — одна рабочая нагрузка». Эти тесты не учитывают поведение системы, обусловленное одновременной работой многих виртуальных машин, и не могут дать адекватную картину масштабируемости виртуальной среды, поддерживающей одновременную работу нескольких рабочих нагрузок на одном сервере.

Организации, которые внедряют платформы виртуализации или рассматривают возможность их использования, нуждаются в более точном и специализированном эталонном тесте, предоставляющем возможность сравнивать производительность и масштабируемость различных платформ виртуализации, выбирать наиболее подходящее оборудование и постоянно оценивать производительность платформы.

Очевидно, для численной оценки производительности виртуализованной среды и получения четких, осмысленных результатов необходим более сложный подход, предоставляющий возможность эффективно сравнивать применимость и производительность различных аппаратных платформ для виртуальных сред. Кроме того, для оценки производительности виртуализованных систем необходимо использование наиболее распространенных рабочих нагрузок и стандартизованных методик — только в этом случае результаты эталонного тестирования различных платформ виртуализации можно будет сравнивать между собой.

Кроме успешного определения ключевых характеристик производительности виртуальных систем, адекватный эталонный тест производительности должен также использовать реалистичные рабочие нагрузки, которые выполняются под управлением различных операционных систем. Более того, целью теста является единственное понятное численное значение производительности, и в то же время при тестировании должны учитываться показатели различных пользовательских сред. Спецификация эталонного теста не должна зависеть от платформы, а также должна включать методику определения масштабируемости, чтобы один и тот же тест мог использоваться как для малых, так и для больших серверов от различных поставщиков оборудования.

Компания VMware давно осознавала необходимость создания эталонного теста производительности виртуализации, так как все большее количество клиентов интересовалось сравнительными показателями производительности различных аппаратных платформ и конфигураций при их использовании для развертывания виртуализованных сред.

VMmark обеспечивает стандартизованный способ сравнения платформ, на которые пользователи вправе рассчитывать для программного обеспечения корпоративного класса.

VMware активно работает над созданием открытых стандартов в области тестов производительности виртуализации. В октябре 2006 года комитет SPEC создал рабочую группу по разработке стандартного эталонного теста для измерения производительности виртуализации. Эта рабочая группа была создана по запросу VMware. К марту 2007 года рабочая группа согласовала цели разработки и план проекта, после чего получила статус подкомитета. Подкомитет возглавила председатель рабочей группы Паула Смит (Paula Smith) из компании VMware. Мы активно участвуем в деятельности комитета совместно с некоторыми своими крупными партнерами, а также с некоторыми из конкурентов. На сегодняшний день состав участников включает: AMD, Dell, Fujitsu Siemens, Hewlett-Packard, Intel, IBM, Microsoft, Red Hat, Sun Microsystems, SWsoft и VMware. Дополнительные сведения о подкомитете можно получить, перейдя по ссылке: http://www.spec.org/specvirtualization/ (на английском)

Проектирование и разработка теста заняли почти два года напряженной работы, после чего в рамках обычного цикла создания продуктов VMware была выпущена закрытая бета-версия (в декабре 2006 года) и сегодняшняя, публичная бета-версия (в июле 2007 года).

Стремясь создать надежный и стабильный тест производительности, объективно отображающий характеристики клиентских сред, компания VMware учла при разработке обширные результаты опросов клиентов о приложениях и конфигурациях, используемых в виртуализованных средах. Во время проектирования и разработки теста компания VMware работала в тесном сотрудничестве с партнерами, стараясь обеспечить работу теста с различными программными и аппаратными платформами. При разработке были опробованы многочисленные рабочие нагрузки и проведены сотни экспериментов, чтобы обеспечить надежность и стабильность теста.

Сегмент — это набор из шести разнотипных рабочих нагрузок, в которых одновременно работает определенное программное обеспечение.  Каждая из рабочих нагрузок выполняется под управлением одной из двух возможных операционных систем в собственной виртуальной машине и содержит приложения, которые встречаются в каждом из существующих центров обработки данных.  В одном сегменте может содержаться веб-сервер, файловый сервер, почтовый сервер, базa данных, сервер Java или пустая машина.

Каждая виртуальная машина в сегменте настраивается таким образом, что она использует лишь часть общих ресурсов системы.  Все шесть рабочих нагрузок, входящих в сегмент, обычно не используют 100% мощности любого из современных серверов.  Поэтому для полной загрузки системных ресурсов и точного измерения производительности сервера с помощью VMmark требуется одновременное выполнение нескольких сегментов.

VMmark проектировался как сегментный тест, состоящий из неоднородного набора рабочих нагрузок, обычно встречающихся в центрах обработки данных — сервера баз данных, файлового сервера, веб-сервера и сервера Java. Рабочие нагрузки, входящие в каждый из сегментов, одновременно выполняются в отдельных виртуальных машинах при уровне нагрузки, типичном для виртуализованных сред. Измеряется производительность каждой из рабочих нагрузок, и полученные значения суммируются, образуя рейтинг данного сегмента. Для получения общего рейтинга могут быть одновременно запущены несколько сегментов.

Такой подход дает возможность связывать небольшие увеличения производительности системы с увеличением рейтинга отдельного сегмента, а большие соотносить с добавлением сегментов. B дальнейшем будет представлена информация, демонстрирующая возможность применения нескольких сегментов для измерения производительности больших многопроцессорных систем при использовании эталонного рейтинга.

Каждая рабочая нагрузка в сегменте VMmark ограничивается таким образом, чтобы ее выполнение не полностью загружало виртуальную машину, в которой она работает. Однако производительность каждой рабочей нагрузки может зависеть от скорости и мощности базовой системы. Например, рабочие нагрузки, интенсивно работающие с диском, могут отреагировать повышением рейтинга на добавление быстрого дискового массива. Такие вариации могут показать улучшения системы, не требуя добавления новых сегментов. Однако при регулировании рабочей нагрузки будут добавлены дополнительные сегменты, что даст возможность отобразить значительный прирост производительности системы. При добавлении сегмента показатели рабочих нагрузок в существующих тестовых элементах могут уменьшиться. Однако если система не перегружена, суммарный рейтинг, включающий и результат нового сегмента, должен возрасти. Полученный в результате гибкий показатель отражает как число рабочих нагрузок, выполнение которых обеспечивается данной системой, так и суммарный уровень производительности, доступный в виртуальных машинах.

VMmark разрабатывался как средство для поставщиков оборудования, системных интеграторов и клиентов, которым необходима оценка производительности своих систем. Многие заказчики не проводят эталонное тестирование самостоятельно, а полагаются на публикуемые поставщиками оборудования результаты VMmark, принимая на основе этих результатов решение о покупке и выборе конфигурации инфраструктуры виртуализации.

Обычная ситуация использования VMmark — это сравнение производительности различных аппаратных платформ и конфигураций. Организации, внедряющие виртуализацию или оценивающие возможность развертывания виртуальной инфраструктуры, будут пользоваться VMmark для сравнения производительности и масштабируемости различных платформ виртуализации, выбора подходящего оборудования и постоянного отслеживания производительности платформы.

Важно отметить, что VMmark не является ни средством планирования мощностей, ни средством масштабирования. Этот продукт не дает рекомендаций по развертыванию конкретных приложений. Скорее он предназначен для оценки производительности виртуализованной среды в целом. Конфигурации виртуальных машин и стеки программных продуктов в виртуальных машинах определены и зафиксированы как часть спецификации эталонного теста. Рекомендации, формулируемые по результатам тестов VMmark, охватывают множество распространенных случаев. Однако для особых сценариев, скорее всего, потребуются специализированные измерения.

VMmark дает возможность собой надежный и стабильный тест, отражающий ключевые характеристики производительности виртуальных систем и соответствующий производительности сред конечных пользователей, в которых работает несколько рабочих нагрузок. Этот тест не зависит от платформы и реализует методику измерения масштабируемости, которая позволяет применять его для различных аппаратных платформ.

Наконец, VMmark предоставляет организациям возможность реального измерения производительности виртуализации. Он дает возможность сравнить производительность и масштабируемость различных платформ виртуализации, выбрать подходящее оборудование и постоянно осуществлять мониторинг производительности виртуальных машин.

Для начала работы с VMmark необходимо выполнить следующие действия:

1. Загрузите последний комплект VMmark.
   Комплект VMmark содержит руководство пользователя, файлы конфигурации и большую часть программного обеспечения, необходимого для запуска VMmark.
2. Загрузите предварительно подготовленные шаблоны.
   На той же странице загрузки находятся ссылки на предварительно подготовленные шаблоны с тремя виртуальными машинами Linux, используемыми при тестировании производительности.
3. Распакуйте комплект VMmark.
   Распакуйте содержимое комплекта VMmark на диск C исходной клиентской системы Windows Server 2003.
4. Обратитесь к руководству пользователя теста производительности VMmark.
   Следуйте указаниям руководства пользователя VMmark (в каталоге docs комплекта VMmark) по настройке и выполнению теста производительности.
5. Внимательно прочитайте правила выполнения и создания отчетов.
   В документе «Правила VMmark» (в каталоге docs комплекта VMmark) приведены требования к созданию при помощи VMmark документа, пригодного для публикации. Он должен соответствовать правилам выполнения и создания отчета, содержащимся в комплекте теста производительности.

Рейтинг VMmark — это показатель производительности как аппаратного уровня, так и слоя виртуализации платформы виртуализации. Каждый рейтинг показывает производительность, определяемую относительно заданной эталонной платформы. Эталонная платформа представляет оборудование предыдущего поколения, что делает ее прямое сравнение с новыми системами малоинтересным. Однако ее использование дает возможность легко сравнивать различные современные платформы и конфигурации.

Рейтинг получают путем измерения суммарных показателей, полученных от нескольких рабочих нагрузок, одновременно выполняющихся на платформе виртуализации. Набор из шести определенных рабочих нагрузок выполняется в течение заданного времени, причем каждая в собственной виртуальной машине. В совокупности эти шесть рабочих нагрузок в виртуальных машинах представляют сегмент VMmark.

Во время запуска VMmark каждая отдельная рабочая нагрузка выдает «сырой» показатель производительности — например, производительность рабочей нагрузки базы данных измеряется в транзакциях в минуту. После завершения работы теста каждый из «сырых» показателей нормализуется относительно эталонной платформы, а затем рассчитывается геометрическое среднее нормализованных рейтингов. Результирующий рейтинг определяет производительность тестируемой платформы по сравнению с эталонной.

Помимо этого рейтинга, каждый результат содержит также число сегментов VMmark, применявшихся при запуске теста производительности.

При увеличении доступных системных ресурсов (например ядер ЦП) для полной загрузки платформы виртуализации может одновременно запускаться большее число сегментов VMmark (полных наборов из шести виртуальных машин с рабочими нагрузками).  После подсчета рейтинга каждого из сегментов они суммируются, определяя общий рейтинг VMmark.

Полный отчет по тесту VMmark содержит также «сырые» и нормализованные результаты по каждой из рабочих нагрузок, а также подробное описание конфигурации платформы виртуализации. В некоторых случаях изучение показателей отдельных рабочих нагрузок и конфигурации платформы может дать более детальное понимание характеристик производительности и масштабируемости системы.

Более подробное описание методологии расчета результатов тестирования производительности приведено в pуководстве по проведению тестирования VMmark.

Чем выше рейтинг VMmark, тем большую производительность способна поддерживать платформа виртуализации в среде разнообразных, консолидированных рабочих нагрузок. Чем больше число сегментов VMmark, использовавшихся при тестировании производительности, тем больше число виртуальных машин, выполнение которых смогла обеспечить платформа. Как правило, для более высокого рейтинга необходимо большее число сегментов.

Если две различные платформы виртуализации достигли сходных результатов теста VMmark
с различным количеством сегментов, то предпочтительнее результат, полученный с меньшим числом сегментов. Большое число сегментов может свидетельствовать о некорректной балансировке аппаратных ресурсов базовой системы. В этом случае рекомендуется изучить показатели отдельных рабочих нагрузок.