NVMe™ Flash as a Service is happening now. Are you on board?

NVMe™ Flash as a Service is happening now. Are you on board?

Kumoscale-Logo

Disaggregierte NVMe-oF™-Speicherverwaltung für Rechenzentren

Was ist KumoScale™?

Implementierung von NVMe™ over Fabrics (NVMe-oF™) durch die KumoScale™-Software. Das Produkt bietet einen schnellen, vernetzten Blockspeicherdienst zwischen Initiator und Ziel über eine High-Speed-Netzwerkverbindung. Die Software läuft auf Speicherknoten, die mit NVMe™ SSD bestückt sind, und sorgt für die Speicherdisaggregation. Die KumoScale-Software unterstützt sowohl RDMA als auch NVMe über TCP für den Netzwerktransport sowie einen gemeinsam genutzten, geclusterten Speicherpool, der eine logische Aufteilung nach NVMe-Namensraum auf einer Reihe von SSDs ermöglicht. Im Vergleich zu Direct Attached Storage (DAS) sorgt die Volumenmanagement-Funktion von KumoScale für mehr Flexibilität bei der Steuerung großer Speicherpools, die aus vielen einzelnen SSDs bestehen.

 

KIOXIA NVMe-oF Storage Solutions using NVMe SSDs and KumoScale Software
What is KumoScale™?

Highlights von KumoScale™ 3.20

Zusätzliche Bereitstellungsoptionen:
Neben der optimierten Installation der KumoScale-Software bietet die Version 3.20 der KumoScale-Software eine Option zur Bereitstellung auf allgemein verfügbaren kommerziellen Betriebssystemen. In großen Rechenzentren ist die Speicherinfrastruktur zwangsläufig eng an eine Vielzahl von Subsystemen wie Bereitstellung, Überwachung, Telemetrie und Netzwerk gekoppelt. Im „Managed Mode“ von KumoScale können Technik- und Sicherheitsadministratoren die Betriebssystemumgebung des Storage Layer völlig flexibel konfigurieren, integrieren und kontrollieren. Der „Appliance Mode“ wiederum bietet eine einfachere Installation und automatisierte Bereitstellung mit geringerer Komplexität für kleine und mittlere Unternehmen, jedoch mit eingeschränkter Konfigurierbarkeit des Betriebssystems.

NVIDIA GPUDirect® Speicherunterstützung:
Die Version 3.20 unterstützt nun auch NVIDIA GPUDirect Storage. GPUDirect Storage ist eine Technologie, die erstmals bei den „NVIDIA Kepler™“-Grafikprozessoren und NVIDIA CUDA™ 5.0 zum Einsatz gekommen ist. Sie ermöglicht einen Direktpfad für den Datenaustausch zwischen dem Grafikprozessor und einem Peer-Gerät eines Drittanbieters unter Verwendung der Standardfunktionen von PCI Express®. Zu den Geräten von Drittanbietern gehören beispielsweise Netzwerkschnittstellen, Videoerfassungsgeräte und Speicheradapter. Die KumoScale-Software fungiert als Speicheradapter für GPUDirect Storage.

Unterstützung für OpenID® Connect™:
Die Version 3.20 bietet Unterstützung für OpenID Connect 1.0 von Drittanbietern. OpenID Connect ist eine Authentifizierungsschicht, die auf dem „OAuth 2.0“-Protokoll aufbaut und es Clients ermöglicht, die Identität von Nutzern und Sessions auf Grundlage der von einem Autorisierungsserver durchgeführten Authentifizierung für Dienstkontoberechtigungen zu überprüfen. Dank der Unterstützung von OpenID Connect durch die KumoScale-Software wird die Sicherheitsintegration in CSP-Rechenzentrumsumgebungen vereinfacht.

Verbesserte Speichernutzung und höhere Flexibilität bei der Verwaltung von gepoolten und schnellen NVMe™-SSDs

Die Kapazität und Leistung der neuesten „PCIe ® Gen 4“-NVMe-SSD wird besser genutzt als die der PCIe Gen 3 und übersteigt bei weitem die Kapazität eines einzelnen Rechenknotens. Die gemeinsame Nutzung von SSDs durch verschiedene Benutzeranwendungen und Server/VMs stellt einen dringenden Bedarf dar. Bis zur Einführung und weiten Verbreitung von NVMe-oF™ war die vernetzte Speicherung entweder langsam oder teuer, oder beides. Mit NVMe-oF™ gehört dies der Vergangenheit an. Die KumoScale™-Software steigert die Speicherauslastung durch gemeinsame Nutzung der SSD, wobei die gemeinsam genutzten SSDs durch den NVMe-Namensraum geteilt werden, und bietet mehr Flexibilität bei der Bereitstellung der entsprechenden Kapazität aus dem Pool. Dies erfolgt über die Software und mit der Leistung einer NVMe™-SSD.

Unterstützung von RDMA und NVMe über das TCP-Protokoll

Die KumoScale-Software unterstützt RDMA und das TCP-Transportprotokoll. Wenn Sie auf der Suche nach einem schnelleren und latenzarmen Speicherservice durch KumoScale-Software sind, bietet sich RoCEv2 (RDMA over Converged Ethenet) an. Wenn für Sie hingegen die Netzwerkkompatibilität im bestehenden Rechenzentrumsnetzwerk im Vordergrund steht, kann TCP/IP für die KumoScale-Software verwendet werden. Weitere Informationen zu Netzwerkkarten, die mit der neuesten KumoScale-Software validiert wurden, finden Sie in der HCL (Hardware Compatibility List, zu Deutsch: Hardware-Kompatibilitätsliste).

Anpassung der Kundenbereitstellung und der Telemetriearchitektur

  • Für OpenStack® bietet die KumoScale™-Software einen „OpenStack Cynder®“-Treiber, der die Wallaby-Version und höhere Versionen unterstützt.

  • Für Kubernetes® werden containerisierte Anwendungen über den CSI-Treiber (Container Storage Interface) von KumoScale mit dem KumoScale™-Speicherknoten verbunden.

  • Für Bare-Metal-Umgebungen können Ansible™-Playbooks oder andere gängige Automatisierungstools für die Implementierungsautomatisierung und die Bereitstellung von Speicherplatz für Rechenknoten verwendet werden.

  • Zur Telemetrieintegration bietet die KumoScale™-Software eine Schnittstelle für den Push-/Pull-Datenaustausch für die bestehende Telemetrie- (Zeitreihenmetrik) und Protokollierungsinfrastruktur (asynchrone Ereignisse).

Datensicherheit und hohe Verfügbarkeit

Datensicherheit – CDDR (Cross Domain Data Replication)

Die KumoScale™-Software bietet Datensicherheit mithilfe einer Technik namens Cross Domain Data Replication (CDDR).  CDDR erstellt mehrere Replikate eines logischen Volume auf gepoolten SSDs und ordnet sie Speicherknoten zu, die sich in verschiedenen Ausfalldomänen befinden. Die Replikation erfolgt auf Basis des Initiators, wobei das Replikat auf einem zweiten oder dritten KumoScale™-Speicherknoten platziert werden kann. Bei der Replikation läuft der KumoScale-Agent auf dem Initiator, um die Verfügbarkeit des Volume zu prüfen. Sobald der Agent einen Volumefehler, unabhängig von dessen Ursachen, feststellt, wird das Volume automatisch wieder mit dem replizierten Volume auf einem anderen Speicherknoten verbunden. Sobald das ausfallsichere Volume wiederhergestellt ist, werden alle Daten automatisch auf dem neuen ausfallsicheren Volume wiederhergestellt.

 

> Wie die Datenausfallsicherheit der nächsten Generation bei NVMe-oF™ im Rechenzentrum erreicht werden kann

 

Hohe Verfügbarkeit sicherstellen

Der Speicherknoten von KumoScale™ unterstützt L3 BGP (Border Gate Protocol), sodass der Netzwerkpfad bei Problemen mit der Netzwerkverbindung automatisch auf einen verfügbaren Netzwerkpfad umgeleitet wird, basierend auf der vordefinierten optimalen Routing-Tabelle.

Anwendungsfälle

Typische Anwendungen und Anwendungsfälle

  • Hochleistungs-Speicherdienst für cloudnative Anwendungen
  • Persistenter Speicherdienst für OpenStack™ und Kubernetes®
  • High-Speed-Blockspeicherservice für HPC-Anwendungen und andere wissenschaftliche Anwendungen
  • Backend-Speicher für AI-/ML-/DL-Anwendungen
Die KumoScale™-Software sollte sowohl mit allgemein verfügbarer NVMe-oF™-Initiatorsoftware als auch mit standardbasierten NVMe-SSDs funktionieren. Proprietäre Softwaretreiber oder Hardware sind nicht erforderlich.

KumoScale™-Architektur

Die KumoScale™-Suite besteht aus mehreren Komponenten.

 

KumoScale-Architektur
  Beschreibung
KumoScale™ Storage Node Der KumoScale™ Storage Node akzeptiert NVMe-oF™-E/A-Befehle, die an virtuelle Volumes gerichtet sind, und übersetzt sie in NVMe™-Befehle, die an die im Speicherknoten installierten physischen SSDs gerichtet sind.
KumoScale™ Provisioner Der KumoScale™ Provisioner ist ein verteilter, belastbarer Dienst, der die Flotte von SSDs und KumoScale™-Speicherknoten verfolgt. Er verwaltet die Zuordnung von Benutzer-Volumes zu Knoten und zu physischen Laufwerken.
KumoScale™ CSI-Treiber Der KumoScale™ CSI-Treiber ist eine Implementierung des Container Storage Interface – einer standardbasierten Methode zur Anbindung von Speicher an orchestrierte Container. Er sorgt für eine API-Übersetzung zwischen einem Orchestrierungssystem und KumoScale™ Provisioner für containerisierte Bereitstellungen.
KumoScale™ Agent Der Agent ist ein Zustandsüberwachungs-Daemon, der Volume-Verbindungen, die aus irgendeinem Grund nicht mehr verfügbar sind, erkennt und repariert.
KumoScale™ Cinder-Treiber Der KumoScale™ Cinder-Treiber ermöglicht es der OpenStack™-Umgebung, nahtlos Speicher aus dem KumoScale™-Speicher auszugliedern und zu verbrauchen, indem er mit VMs und Containern verbunden wird.
KumoScale™ Analytics Service Der KumoScale™ Analytics Service sammelt und analysiert Telemetriedaten von den Speicherknoten zum Zweck der optimierten Datenplatzierung.

KumoScale™-Plattformanforderungen

Die KumoScale™-Software wurde sowohl im Rahmen von Bare-Metal- als auch von OpenStack- und Kubernetes®-Implementierungen auf einer Vielzahl von Industriestandardservern getestet. Jeder NVMe-oF™-konforme Initiator kann verwendet werden, darunter auch Linux® mit Kernelversion 4.8 oder höher. Die unterstützte Plattform ist unten dargestellt.

 

 

Komponenten Mindestanforderung
Speicher 64GB DDR4
System-Laufwerk 2 x 128GB SATA DOM
NIC MCX516A-CCAT oder MCX545A-CCAN ConnectX-5 EN Netzwerkkarte, 100GbE Dual/Single Port QSFP28, PCIe®3.0 x16 ROHS R6 MCX416A-CCAT ConnectX-4 EN Netzwerkkarte, 100GbE Dual/Single Port QSFP28, PCIe®3.0 x16 ROHS R6 Solarflare Communications XtremeScale SFC9250 10/25/40/50/100G Ethernet-Controller
Spannungsversorgung Duales Netzteil, im laufenden Betrieb austauschbar
Management-Schnittstelle Ein dedizierter Management-Port ist optional. KumoScale™ kann den Datenport für den Management-Datenverkehr verwenden oder einen dedizierten Management-Port nutzen.
KumoScale™ Provisioner Der KumoScale™ Provisioner benötigt weder zusätzliche Server noch einen Container.

Dokumente

Anfragen zu KumoScale

Bitte kontaktieren Sie uns über das Anfrageformular.

* Bevor Sie eine Anfrage abschicken, lesen Sie bitte die wichtigen Hinweise sorgfältig durch und akzeptieren Sie sie, dann wählen Sie „KumoScale“ im Dropdown-Menü „Produkte“ des Anfrageformulars.

*: 15 µs Latenzzuschlag bei 4KB Lesen im Vergleich zu DAS. Gemessen von KIOXIA im Juni 2020 mit einem von KIOXIA vorgegebenen Messwerkzeug. 15 µs ist der Unterschied der 4-KB-Lese-Latenz zwischen DAS- und NVMe-oF™-Speicherkonfiguration auf der gleichen Hardware.

  • NVMe und NVMe-oF sind Warenzeichen von NVM Express, Inc.
  • PCIe ist ein eingetragenes Warenzeichen der PCI-SIG.
  • Kubernetes ist ein eingetragenes Warenzeichen der Linux Foundation in den Vereinigten Staaten und/oder anderen Ländern.
  • Ansible ist ein eingetragenes Warenzeichen von Red Hat, Inc. in den Vereinigten Staaten und anderen Ländern.
  • Linux ist ein eingetragenes Warenzeichen von Linus Torvalds in den USA und anderen Ländern.
  • Die OpenStack-Wortmarke ist ein eingetragenes Warenzeichen der OpenStack Foundation, in den Vereinigten Staaten und anderen Ländern und wird mit Genehmigung der OpenStack Foundation verwendet. Wir sind weder mit der OpenStack Foundation noch mit der OpenStack-Community verbunden, noch werden wir von ihr unterstützt oder gefördert.
  • Prometheus ist ein eingetragenes Warenzeichen der The Linux Foundation.
  • Grafana und Loki sind Warenzeichen oder eingetragene Warenzeichen von Grafana Labs, Inc.
  • Alle Firmen-, Produkt- und Servicenamen können Marken der jeweiligen Unternehmen sein.