Открытые стандарты и независимость от платформы
VMmark не является коммерческой или частной закрытой разработкой. В этом продукте отражено наше стремление к развитию открытых стандартов в области определения производительности виртуализации. Само по себе программное обеспечение VMmark не зависит от конкретной аппаратной платформы и системы виртуализации, что дает пользователю возможность объективно определять производительность виртуализации.
VMware сотрудничает с компанией Standard Performance Evaluation Corporation (SPEC®) — некоммерческой организацией, которая определяет, поддерживает и утверждает стандартизованные тесты производительности, а также участвует в подкомитете по виртуализации SPEC, разрабатывающем стандартные методики сравнения производительности виртуализации для серверов в центрах обработки данных.
В этом подкомитете также участвуют AMD, Dell, Fujitsu Siemens, Hewlett-Packard, Intel, IBM, Microsoft, Red Hat, Sun Microsystems и SWsoft. Дополнительную информацию можно получить на веб-сайте подкомитета SPEC по виртуализации.
Тесты производительности, ориентированные на приложения из реальных рабочих нагрузок
VMmark использует в рабочих нагрузках приложения, которые чаще всего используются в центрах обработки данных: почтовые серверы, базы данных и т. д. Благодаря тесному сотрудничеству с партнерами в компании Vmware были разработаны тесты производительности для различных программных и аппаратных платформ, а многочисленные отзывы клиентов помогли определить типичные сценарии использования этих приложений в виртуализованной среде.
Для измерения производительности VMmark использует понятные, доступные тесты, с которыми пользователи уже хорошо знакомы.
Уникальная реализация, основанная на тестовых элементах
При измерении производительности в консолидированных виртуализованных средах логично определить единицу работы как набор виртуальных машин, на которых выполняется ряд разнообразных рабочих нагрузок. В тесте производительности VMmark такая единица работы называется тестовым элементом.
Общее количество тестовых элементов, которые могут обслуживаться системой, является грубым показателем возможностей консолидации для данной системы.
В основу этого метода положена та же идея, что используется в некоторых тестах производительности для серверов (например в TPC-C), где для повышения уровня загрузки системы рабочие нагрузки масштабируются последовательными скачками, а не непрерывно.
Точная методология определения показателей
VMmark объединяет показатели выполнения различных компонентов теста в общий результат. После завершения тестирования каждая из рабочих нагрузок сообщает тесту VMmark собственные результаты производительности. При тестировании постоянно определяются значения этих показателей. Тест VMmark должен выполняться в течение как минимум трех часов, при этом показатели производительности рабочих нагрузок определяются каждые 60 секунд.
После выполнения теста рассчитываются показатели рабочих нагрузок в каждом из тестовых элементов, затем они объединяются в общий результат для этого тестового элемента. При этом сначала различные показатели производительности (Мбайт/с, количество записей в базу данных за секунду и т. д.) нормализуются относительно эталонной системы. Затем рассчитывается среднее геометрическое нормализованных результатов — оно становится окончательным результатом для данного тестового элемента. Итоговый показатель является суммой результатов отдельных тестовых элементов.
Этот подход дает возможность определить потери производительности при виртуализации отдельных рабочих нагрузок — приложений, а также оценить масштабируемость системы в целом.