Eine Daten-Pipeline ist das Mittel, mit dem Daten innerhalb des Tech-Stacks einer Organisation von einem Ort zum anderen transportiert werden. Sie kann jeden Baustein oder Verarbeitungsblock umfassen, der die Übertragung von Daten von einem Ende zum anderen unterstützt.
Daten-Pipelines bestehen in der Regel aus:
Typische Anwendungsfälle für Daten-Pipelines sind:
Daten-Pipelines können zwar intern erstellt werden, werden aber aufgrund der damit verbundenen Elastizität und Flexibilität immer häufiger in der Cloud erstellt.
Eine Daten-Pipeline ermöglicht es Organisationen, ihre Daten zu optimieren und deren Wert zu maximieren, indem sie sie so bearbeiten, dass sie für die Organisation von Nutzen sind. Ein Unternehmen, das eine Anwendung zur Automatisierung von Ampeln in Großstädten entwickelt und vertreibt, könnte beispielsweise seine Daten-Pipeline nutzen, um Datensätze für maschinelles Lernen zu trainieren, damit die Anwendung dann optimal für die Städte funktioniert und die Ampeln für einen effizienten Verkehrsfluss auf den Straßen sorgen können.
Die wichtigsten Vorteile einer Daten-Pipeline sind:
Automatisierung und Orchestrierung sind entscheidende Aspekte von Daten-Pipelines. Die Automatisierung von Daten-Pipelines ermöglicht es, alle Komponenten der Daten-Pipeline zu dem Zeitpunkt und in der Geschwindigkeit auszuführen, die Sie benötigen. Die Daten-Pipeline-Orchestrierung ist der Prozess, bei dem alle Komponenten auf koordinierte Weise ausgeführt werden.
Die vollständige Automatisierung der Daten-Pipeline ermöglicht es Organisationen, Daten aus verschiedenen Quellen nahtlos zu integrieren, um Geschäftsanwendungen und Datenanalysen zu unterstützen, Echtzeitdaten schnell zu verarbeiten, um bessere Geschäftsentscheidungen zu treffen, und Cloud-basierte Lösungen einfach zu skalieren.
Orchestrierung ermöglicht es DataOps-Teams, die Verwaltung und Kontrolle von durchgängigen Daten-Pipelines zu zentralisieren. Es ermöglicht ihnen die Überwachung und Berichterstattung und sie erhalten proaktive Warnmeldungen.
Wie Daten-Pipelines bringen auch ETL-Systeme (Extract, Transform, Load), auch ETL-Pipelines genannt, Daten von einem Ort zum anderen.
Im Gegensatz zu Daten-Pipelines gilt für ETL-Pipelines jedoch per Definition:
ETL-Systeme sind in der Regel, aber nicht immer, Teilmengen von Daten-Pipelines.
Eine Daten-Pipeline ist nur so effizient und effektiv wie die einzelnen Bestandteile, aus denen sie besteht. Ein einziges schwaches oder defektes Glied kann Ihre gesamte Pipeline unterbrechen und zu großen Investitions- und Zeitverlusten führen.
Deshalb suchen Unternehmen heute nach Lösungen, die ihnen helfen, das Beste aus ihren Daten herauszuholen, ohne dass dadurch erhebliche Kosten entstehen.
Eine Daten-Storage-Lösung wie eine UFFO-Storage-Plattform (Unified Fast File and Object) konsolidiert alle Daten – sowohl strukturierte als auch unstrukturierte – in einer zentral zugänglichen Datenebene. Im Gegensatz zu einem Data Warehouse kann sie Betriebsdaten verarbeiten, und im Gegensatz zu einem Data Lake kann sie Daten in verschiedenen Formaten verarbeiten.
Eine UFFO-Storage-Plattform kann auch Data Lakes und Data Warehouses in einer einzigen Zugriffsebene konsolidieren und die Datenverwaltung bereitstellen, die für die Optimierung der Datenfreigabe zwischen einer Vielzahl von Endpunkten erforderlich ist. Mit einem Data Hub wird die Datenverarbeitung abstrahiert, sodass Ihre Organisation über einen zentralen Ort verfügt, von dem aus es BI-Einblicke (Business Intelligence) gewinnen kann.
Pure Storage® FlashBlade® ist die führende UFFO-Storage-Plattform der Branche. FlashBlade kann nicht nur die Analyse- und Berichterstattungs-Workloads eines Data Warehouse bewältigen, sondern auch Folgendes liefern:
Erste Schritte mit FlashBlade.
Keine Hardware, keine Einrichtung, keine Kosten – kein Problem. Erleben Sie eine Self-Service-Instanz von Pure1® zum Verwalten von Pure FlashBlade™ - der fortschrittlichsten Lösung der Branche, mit nativ skalierbarem File- und Object-Storage liefert.
Haben Sie eine Frage oder einen Kommentar zu Produkten oder Zertifizierungen von Pure? Wir helfen Ihnen gerne!
Vereinbaren Sie einen Termin für eine Live-Demo und sehen Sie selbst, wie Pure Ihnen helfen kann, Ihre Daten in überzeugende Ergebnisse zu verwandeln.
Rufen Sie uns an: +49 89 26200662
Presse: pr@purestorage.com
Pure Storage Germany GmbH
Mies-van-der-Rohe-Straße 6
80807 München
Deutschland