VMware VMmark

VMmark ist die erste Benchmark-Lösung, die speziell zur Quantifizierung und Ermittlung der Performance virtualisierter Umgebungen entwickelt wurde. Sie bietet ein neues, auf Kacheln basierendes Schema zur Ermittlung der Skalierbarkeit konsolidierter Workloads sowie eine konsistente Methode, die sowohl die Skalierbarkeit insgesamt als auch die Performance einzelner Anwendungen berücksichtigt.

Die VMmark-Benchmark basiert auf unseren Erfahrungen mit Virtualisierungs-Performance und umfasst gängige Workloads aus Anwendungskategorien, die in der Regel in den Rechenzentren der Kunden vorhanden sind.

Die heute existierenden Server-Benchmarks wurden weder für virtuelle Maschinen noch für Server-Konsolidierung entwickelt und konzentrieren sich auf einen einzigen Workload je Server. Diese Benchmarks erfassen nicht das Systemverhalten aufgrund von mehreren virtuellen Maschinen und bieten keine Einblicke in die Skalierbarkeit virtueller Umgebungen, die auf dem gleichen Server mehrere gleichzeitige Workloads unterstützen.

Unternehmen, die heute Virtualisierungsplattformen implementieren oder evaluieren, benötigen auch eine realistischere und spezialisierte Benchmark-Lösung, die sie beim Vergleich der Performance und Skalierbarkeit verschiedener Virtualisierungsplattformen unterstützt, damit sie angemessene Hardware-Entscheidungen treffen und die Plattform-Performance fortlaufend messen können.

In diesem Bereich wird eindeutig ein besserer Ansatz benötigt, um die Performance einer Virtualisierungsumgebung besser quantifizieren und aussagekräftige sowie präzise Kriterien entwickeln zu können, die den effektiven Vergleich der Eignung und Performance verschiedener Hardwareplattformen für virtuelle Umgebungen ermöglichen. Außerdem besteht Bedarf an einem einheitlichen Workload und an Methoden für virtualisierte Systeme, so dass die Ergebnisse von Benchmarks über verschiedene Virtualisierungsplattformen hinweg verglichen werden können.

Neben dem Bedarf an der Erfassung wichtiger Performance-Merkmale virtueller Systeme muss eine angemessene Benchmark-Lösung für virtuelle Maschinen realistische, unterschiedliche Workloads für mehrere Betriebssysteme bieten. Außerdem besteht Bedarf an der Definition eines einzigen, leicht verständlichen Kriteriums, während sichergestellt werden muss, dass die Benchmark-Lösung verschiedene Anwenderumgebungen repräsentiert. Die Benchmark-Spezifikation muss plattformneutral sein und einen methodischen Ansatz für die Ermittlung der Skalierbarkeit bieten, so dass die Lösung für kleine und große Server verschiedener Anbieter verwendet werden kann.

VMware hat den Bedarf an einer Benchmark-Lösung für die Virtualisierung frühzeitig erkannt, da immer mehr Kunden nach der Möglichkeit zum Vergleich von Hardwareplattformen und Konfigurationen für virtualisierte Umgebungen fragten.

VMmark bietet eine standardisierte Möglichkeit zum Vergleich von Plattformen, die Kunden von Enterprise-Software erwarten.

VMware beteiligt sich aktiv an der Entwicklung offener Standards für Virtualisierungs-Benchmarks. Im Oktober 2006 bildete SPEC eine Arbeitsgruppe zur Entwicklung einer standardmäßigen Benchmark-Lösung zur Ermittlung der Virtualisierungs-Performance. Diese Arbeitsgruppe wurde auf Wunsch von VMware gebildet. Im März 2007 hatte die Arbeitsgruppe die Entwicklungsziele und den Projektplan verabschiedet und konnte ein Subkomitee ernennen. Paula Smith von VMware war die Leiterin der Arbeitsgruppe und hat den Vorsitz im Subkomitee. Wir sind ein aktives Mitglied des Subkomitees, so wie viele unserer großen Partner und einige Mitbewerber. Zu den aktuellen Teilnehmern zählen: AMD, Dell, Fujitsu Siemens, Hewlett-Packard, Intel, IBM, Microsoft, Red Hat, Sun Microsystems, SWsoft und VMware. Weitere Informationen zum Subkomitee finden Sie unter: http://www.spec.org/specvirtualization/

Die Benchmark-Lösung basiert auf rund zwei Jahren Entwicklung und wurde im Dezember 2006 als private Beta-Version und im Zuge des normalen Produktzyklus von VMware im Juli 2007 als öffentliche Beta-Version vorgestellt.

Im Streben nach einer zuverlässigen und robusten Benchmark-Lösung, die die Kundenumgebungen wirklich repräsentiert, hat VMware umfassende Umfragedaten seiner Kunden berücksichtigt, um ein Verständnis der Anwendungsarten und Konfigurationen in virtualisierten Umgebungen zu entwickeln. VMware hat außerdem eng mit Partnern zusammengearbeitet, um die Benchmark-Lösung über mehrere Hardware- und Softwareplattformen hinweg zu entwickeln und zu implementieren. Im Verlauf der Benchmark-Entwicklung hat VMware außerdem zahlreiche Workloads evaluiert und Hunderte von Experimenten durchgeführt, um sicherzustellen, dass diese Lösung zuverlässig und robust ist.

Eine Kachel ist eine Sammlung sechs verschiedener Workloads, die gleichzeitig bestimmte Software ausführen.  Auf einem von zwei separaten Betriebssystemen wird jeder Workload in seiner eigenen virtuellen Maschine ausgeführt und umfasst Anwendungen, die sich in einem normalen Rechenzentrum finden. Eine Kachel besteht aus einem Web-Server, einem Datei-Server, einem Mail-Server, einer Datenbank, einem Java-Server und einem System im Leerlauf.

Jede virtuelle Maschine in einer Kachel wird so optimiert, dass sie nur einen Bruchteil der Gesamtressourcen des Systems belegt. Als Kachel benötigen alle sechs Workloads insgesamt in der Regel nicht die volle Gesamtkapazität moderner Server. Aus diesem Grund erfordern die Sättigung der Systemressourcen sowie die genaue Messung der Server-Performance mit VMmark die gleichzeitige Ausführung mehrerer Kacheln.

VMmark ist als eine auf Kacheln basierende Benchmark-Lösung konzipiert, die aus mehreren Workloads besteht, die sich in einem normalen Rechenzentrum befinden. Hierzu zählen Datenbank-Server, Datei-Server, Web-Server und Java-Server. Die Workloads in einer Kachel werden gleichzeitig in separaten virtuellen Maschinen und mit einer Auslastung ausgeführt, die für virtuelle Umgebungen typisch ist. Die Performance jedes Workloads wird ermittelt und dann mit den Messungen der anderen Workloads kombiniert, um die Bewertung der Kachel zu bestimmen. Mehrere Kacheln können gleichzeitig ausgeführt werden, um die Gesamtbewertung zu steigern.

Dieser Ansatz ermöglicht die Wiedergabe kleinerer Steigerungen der System-Performance mithilfe höherer Bewertungen in einer Kachel. Außerdem können größere Zugewinne bei der Systemkapazität erfasst werden, um weitere Kacheln hinzufügen zu können. (Zukünftige Arbeiten präsentieren Daten zur Demonstration der Möglichkeit der Leistungsmessung bei größeren Mehrprozessorsystemen mithilfe definierter Referenzwerte und mehrerer Abschnitte).

Jeder Workload in einer VMmark-Kachel ist eingeschränkt, so dass er niemals mit der vollen Kapazität der betreffenden virtuellen Maschine ausgeführt wird. Die Performance eines Workloads kann jedoch je nach Geschwindigkeit und Möglichkeiten des zu Grunde liegenden Systems schwanken. Festplattenorientierte Workloads variieren beispielsweise, wenn ein schnelles Festplatten-Array mit einer besseren Bewertung hinzugefügt wird. Diese Variationen können Systemverbesserungen umfassen, die das Hinzufügen einer weiteren Kachel nicht rechtfertigen. Die Drosselung von Workloads erzwingt jedoch das Hinzufügen weiterer Kacheln aufgrund von großen Sprüngen in der System-Performance. Wird die Anzahl der Kacheln erhöht, können die Workloads in vorhandenen Kacheln eine geringere Performance ergeben. Wurde das System jedoch nicht übermäßig belastet, sollte die Gesamtbewertung einschließlich der neuen Kachel besser ausfallen. Das Ergebnis ist ein flexibles Benchmark-Kriterium, das ein relatives Maß für die Anzahl der Workloads bietet, die von einem bestimmten System unterstützt werden können. In gleicher Weise wird die Gesamt-Performance innerhalb der virtuellen Maschinen angegeben.

VMmark wurde als nützliches Tool für Hardwareanbieter, Systemintegratoren und Kunden zur Evaluierung der Performance ihrer Systeme entwickelt. Viele Kunden führen die Benchmarks nicht selbst durch, sondern verlassen sich auf veröffentlichte VMmark-Ergebnisse ihrer Hardwareanbieter, um Kauf- und Konfigurationsentscheidungen für ihre Virtualisierungsinfrastruktur zu treffen.

VMmark eignet sich vor allem zum Vergleichen der Performance verschiedener Hardwareplattformen und Konfigurationen. Unternehmen, die heute Virtualisierungsplattformen implementieren oder evaluieren, können VMmark zum Vergleich von Performance und Skalierbarkeit verschiedener Plattformen nutzen, um angemessene Hardware-Entscheidungen zu treffen und die Plattform-Performance fortlaufend zu ermitteln.

Außerdem ist zu beachten, dass VMmark weder ein Tool für die Kapazitätsplanung noch für die Dimensionierung ist. Es bietet keine Bereitstellungsrichtlinien für spezifische Anwendungen. VMmark soll der Repräsentation einer Allzweck-Virtualisierungsumgebung dienen. Die virtuellen Maschinenkonfigurationen und die Softwarestapel in den virtuellen Maschinen sind ein fester Bestandteil der Benchmark-Spezifikation. Die aus VMmark-Ergebnissen abgeleiteten Empfehlungen umfassen zahlreiche gängige Fälle. Dennoch ist für spezielle Szenarien wahrscheinlich eine individuelle Messung erforderlich.

Mit VMmark verfügen Unternehmen nun über eine robuste und zuverlässige Benchmark-Lösung, die die wichtigen Performance-Merkmale virtueller Systeme erfasst, Anwenderumgebungen mit mehreren Workloads darstellt, plattformneutral ist und eine methodische Möglichkeit zur Messung der Skalierbarkeit bietet, so dass die gleiche Benchmark-Lösung für verschiedene Hardwareplattformen verwendet werden kann.

Mit VMmark verfügen Unternehmen endlich über eine funktionierende Lösung für Virtualisierungs-Benchmarks. Mit VMmark können Unternehmen die Performance und Skalierbarkeit verschiedener Virtualisierungsplattformen vergleichen, angemessene Hardwareauswahlen treffen und die Performance virtueller Maschinen fortlaufend überwachen.

Die ersten Schritte mit VMmark gestalten sich wie folgt:

1. Laden Sie das neueste VMmark-Kit herunter.
   Das VMmark-Kit enthält das VMmark-Anwenderhandbuch, die Konfigurationsdateien und einen großen Teil der zur Ausführung von VMmark erforderlichen Software.
2. Laden Sie die vordefinierten Vorlagen herunter.
   Die gleiche Download-Seite enthält Links zu vordefinierten Vorlagen für die drei virtuellen Linux-Maschinen, die im Benchmarking-Verlauf verwendet werden.
3. Extrahieren Sie das VMmark-Kit.
   Extrahieren Sie den Inhalt des VMmark-Kits auf das Laufwerk C:/ auf Ihrem ersten Windows Server 2003-Client-System.
4. Lesen Sie das VMmark-Benchmark-Handbuch.
   Befolgen Sie die Anweisungen im VMmark-Benchmark-Handbuch (im Dokumentverzeichnis des VMmark-Kits). Hier finden Sie Anweisungen zur Einrichtung der Benchmarks.
5. Lesen Sie die Ausführungs- und Reporting-Richtlinien sorgfältig durch.
   Das Dokument zu VMmark-Richtlinien (im Dokumentverzeichnis des VMmark-Kits) beschreibt die Voraussetzungen für ein tragfähiges VMmark-Ergebnis. Jedes zur Veröffentlichung vorgesehene VMmark-Ergebnis muss den im Kit enthaltenen Ausführungs- und Reporting-Richtlinien entsprechen.

Eine VMmark-Bewertung (Score) ist ein Maß für die Leistung von Hardware und Virtualisierungsebene einer Virtualisierungsplattform. Jede Bewertung steht für die Leistung im Vergleich zu einer festen Referenzplattform. Obwohl die Referenzplattform aus einer früheren Hardwaregeneration stammt, so dass Vergleiche mit neueren Systemen nicht sehr aussagekräftig sind, ermöglicht sie dennoch den einfachen Vergleich aktueller Plattformen und Konfigurationen.

Die Bewertung wird ermittelt, indem der gesammelte Durchsatz bei gleichzeitiger Ausführung mehrerer Workloads auf der Virtualisierungsplattform ermittelt wird. Sechs bestimmte Workloads werden für eine bestimmte Zeit in separaten virtuellen Maschinen ausgeführt. Diese sechs virtuellen Maschinen werden zu einem VMmark-Abschnitt zusammengefasst.

Während eines VMmark-Laufs erzeugt jeder einzelne Workload ein Kriterium für den Rohdurchsatz. Der Durchsatz des Datenbank-Workload wird beispielsweise in Transaktionen pro Minute gemessen. Nach Abschluss eines Laufs werden diese Kriterien im Hinblick auf die Referenzplattform normalisiert. Anschließend wird der geometrische Mittelwert der einzelnen Berechnungen ermittelt. Das Ergebnis ist das Maß des Durchsatzes der getesteten Plattform relativ zur Referenzplattform.

Neben dieser Bewertung umfasst jedes VMmark-Ergebnis auch die Anzahl der VMmark-Kacheln im Benchmark-Lauf. Bei zunehmenden Systemressourcen (z.B. mehr CPU-Kernen) können mehrere VMmark-Kacheln (d.h. vollständige Sätze mit den sechs virtuellen Maschinen) gleichzeitig ausgeführt werden, um eine Virtualisierungsplattform vollständig zu nutzen.  Zur Ermittlung der Bewertung für alle Kacheln werden die einzelnen Abschnittsergebnisse addiert, um die VMmark-Bewertung zu erstellen.

Ein umfassender VMmark-Bericht enthält auch die unbearbeiteten und die normalisierten Ergebnisse je Workload sowie umfassende Details zur Konfiguration der Virtualisierungsplattform. In einigen Fällen kann das Studium der Workload-Kriterien zusammen mit der Plattformkonfiguration Einblicke in Systemleistung und Skalierung bieten.

Eine umfassende Beschreibung der Benchmark-Bewertungsmethoden finden Sie im VMmark Benchmarking-Handbuch.

Eine höhere VMmark-Bewertung weist darauf hin, dass eine Virtualisierungsplattform mehr Durchsatz in einer Konsolidierungsumgebung mit heterogenen Workloads unterstützen kann. Eine größere Anzahl von VMmark-Kacheln für das Erzeugen der Benchmark-Werte bedeutet, dass die Plattform während des Benchmark-Laufs mehr virtuelle Maschinen unterstützt hat. Typischerweise erfordert eine höhere Benchmark-Bewertung eine größere Anzahl von Kacheln.

Erreichen zwei verschiedene Virtualisierungsplattformen mit einer unterschiedlichen Anzahl von Kacheln ähnliche VMmark-Bewertungen, ist in der Regel die Bewertung mit der geringeren Kachelanzahl vorzuziehen. Eine höhere Kachelanzahl kann ein Zeichen dafür sein, dass die zu Grunde liegenden Hardwareressourcen nicht korrekt abgestimmt wurden. In diesen Fällen wird das Studium der einzelnen Workload-Kriterien empfohlen.

Aufgrund des vermehrten Einsatzes von 64-Bit-Anwendungen und -Betriebssystemen befinden sich die Java-Server-, Datenbank-Server- und Web-Server-Workloads innerhalb der Kachel in VMmark 1.1 im 64-Bit-Modus. Der Mail-Server, Datei-Server und Standby-Server sind wie in VMmark 1.0 weiterhin im 32-Bit-Modus.

Ja, die Ergebnisse sind direkt vergleichbar. Die zugrundeliegenden Definitionen für virtuelle Hardware und Arbeitslasten haben sich in VMmark 1.1 nicht geändert.