VMware VMmark

Offene Standards und Plattformneutralität

VMmark ist kein kommerzielles oder proprietäres Produkt, sondern ein Beleg für unser Engagement im Bereich der Entwicklung offener Standards für Virtualisierungs-Benchmarks. Aus diesem Grund macht die VMmark-Software keinen Unterschied zwischen verschiedenen Hardwareplattformen und Virtualisierungssoftwares, damit die Anwender eine objektive Messung der Virtualisierungs-Performance erhalten.

VMware arbeitet mit der Standard Performance Evaluation Corporation (SPEC®) zusammen. Hierbei handelt es sich um eine nicht auf Gewinn ausgerichtete Organisation, die standardisierte Benchmarks etabliert, pflegt und fördert. Die Zusammenarbeit umfasst auch das SPEC-Virtualisierungs-Subkomitee für die Entwicklung von Standardmethoden zum Vergleich der Virtualisierungs-Performance der Server in Rechenzentren.

Zu den weiteren Teilnehmern zählen AMD, Dell, Fujitsu Siemens, Hewlett-Packard, Intel, IBM, Microsoft, Red Hat, Sun Microsystems und SWsoft. Weitere Informationen finden Sie auf der Website des Virtualization-Subkommitees  der SPEC.

Anwendungsorientiertes Benchmarking realer Workloads

VMmark verwendet Workloads, die den häufig in Rechenzentren verwendeten Anwendungen entsprechen. Hierzu zählen beispielsweise E-Mail-Server, Datenbanken etc. VMware hat in enger Zusammenarbeit mit Partnern Benchmarks über mehrere Software- und Hardwareplattformen hinweg entwickelt und implementiert und außerdem umfassendes Kunden-Feedback gesammelt, um zu verstehen, wie diese Anwendungen in der Regel in virtualisierten Umgebungen eingesetzt werden.

Zur Messung der Performance greift VMmark auf verständliche, vorhandene Benchmarks zurück, mit denen die Kunden bereits vertraut sind.

Aufgrund der zunehmenden Verwendung von 64-Bit-Anwendungen und -Betriebssystemen umfasst VMmark auch drei Workloads in der 64-Bit-Version: Java-Server, Datenbank-Server und Web-Server

Einzigartige, „kachel“-basierte Implementierung

Die Arbeitseinheit für das Benchmarking virtualisierter Konsolidierungsumgebungen kann als Sammlung virtueller Maschinen definiert werden, die eine Reihe unterschiedlicher Workloads ausführen. Die VMmark-Benchmark bezeichnet diese Einheit als „Kachel“.

Die Anzahl der Kacheln, die ein System bewältigen kann, ist ein Maß für die Konsolidierungskapazität eines Systems. Dieses System ähnelt einigen Server-Benchmarks, wie z.B. TPC-C, die den Workload schrittweise skalieren, um die Systemauslastung zu steigern.

Präzise Bewertungsmethode

VMmark ermöglicht die Integration der verschiedenen Komponentenkriterien in eine Gesamtbewertung. Nach Abschluss eines VMmark-Tests gibt jeder einzelne Workload seine relevanten Performance-Kriterien weiter. Diese Kriterien werden in regelmäßigen Intervallen während eines Durchlaufs zusammengestellt. Ein VMmark-Benchmark-Test läuft mindestens drei Stunden lang, wobei die Workload-Kriterien alle 60 Sekunden gemeldet werden.

Nach einem Benchmark-Durchlauf werden die Workload-Kriterien eines Abschnitts verarbeitet, und es wird eine Bewertung für diesen Abschnitt erstellt. Diese Aggregation erfolgt durch Normalisierung der verschiedenen Performance-Kriterien, wie z. B. MB/s und Datenbankzugriffe/s unter Berücksichtigung eines Referenzsystems. Anschließend wird ein geometrischer Mittelwert der normalisierten Bewertungen als Gesamtbewertung des Abschnitts ermittelt. Die Bewertungen der einzelnen Abschnitte werden zur Gesamtbewertung addiert.

Dieser Ansatz unterstützt Anwender bei der Ermittlung des Virtualisierungsüberhangs der einzelnen Anwendungs-Workloads und der Skalierbarkeit des gesamten Systems.