Pure Storage introduceert FlashBlade//EXA data storage platform voor AI en high performance computing

Brengt de prestaties, schaalbaarheid en kracht van FlashBlade-technologie naar next-gen, GPU-intensieve AI- en HPC-workloads

Pure Storage introduceert FlashBlade//EXA, een data storage platform dat kan voldoen aan de vereisten van AI en High-Performance Computing (HPC). Veel legacy storage oplossingen kunnen AI niet optimaal ondersteunen, omdat ze te maken krijgen met een ‘metadata bottleneck’. Hierbij kunnen systemen metadata niet snel genoeg verwerken, waardoor de prestaties negatief worden beïnvloed. FlashBlade//EXA voorkomt dit door gebruik te maken van een bewezen architectuur op basis van FlashBlade, die ontworpen is voor ‘high concurrency’ - het gelijktijdig verwerken van data - en voor de enorme hoeveelheid metadata-bewerkingen die typerend zijn voor AI- en HPC-workloads. In eerste tests levert FlashBlade//EXA meer dan 10 terabytes per seconde aan read prestaties binnen een enkele ‘namespace’. Daarmee is dit momenteel de best presterende storage-oplossing in de sector.

De FlashBlade//EXA-architectuur schaalt data en metadata onafhankelijk en biedt vrijwel onbeperkte schaalbaarheid met kant-en-klare, third-party data nodes. Deze nodes maken zeer schaalbare multi-dimensionale prestaties mogelijk. Daarnaast vermindert de nieuwe oplossing de complexiteit bij de implementatie, bij het beheer en bij het schalen, door gebruik te maken van standaard protocollen en netwerken.  

Een fundamentele verandering in de storage sector

Dankzij krachtigere GPU’s kunnen AI-modellen sneller en op grotere schaal worden getraind. De explosieve groei in de schaal en complexiteit van modellen zorgt voor een fundamentele verandering in de storage vereisten. Storage oplossingen moeten nu naadloos aansluiten op de rekenkracht-intensiteit en het volume en de variatie in datavereisten van AI en HPC.

Legacy storage systemen zijn niet ontworpen om te kunnen voldoen aan moderne AI-eisen. Als deze verouderende systemen worden gebruikt voor grootschalige AI en HPC, lopen ze tegen ernstige beperkingen aan, onder andere op het gebied van parallelle en gelijktijdige lees- en schrijfbewerkingen, metadata prestaties, ultra-lage latentie, asynchrone checkpointing en een voorspelbare, hoge doorvoersnelheid.  

Een moderne storage-oplossing moet een ‘massively parallel’, splitsbare architectuur bieden om op grote schaal flexibiliteit te kunnen bieden. Alleen zo kan storage ervoor zorgen dat AI-modellen sneller getraind kunnen worden.  

Een moderne storage-architectuur voor AI- en HPC workloads

Legacy high-performance storage-architecturen waren geoptimaliseerd voor traditionele HPC-omgevingen, met meer voorspelbare en regelmatige workloads en een focus op het schalen van de ruwe prestaties. De huidige AI-workloads zijn echter complex en multimodaal - inclusief tekst, afbeeldingen en video’s - en worden gelijktijdig verwerkt door tienduizenden GPU’s. Voor deze verschuiving is geavanceerde metadata-optimalisatie nodig en moet de storageoplossing schaalbare prestaties bieden om goed om te kunnen gaan met verschillende datatypes en om data op grote schaal gelijktijdig te kunnen verwerken. 

FlashBlade//EXA is speciaal ontworpen om deze uitdagingen van AI-workloads aan te kunnen, via hoge prestaties en metadata management. De opgesplitste, zeer parallelle architectuur biedt storage flexibiliteit op grote schaal. Enterprises kunnen zich zo aanpassen aan de alsmaar ontwikkelende multimodale modellen, de betrouwbaarheid verbeteren en de inactieve tijd terugdringen om de training en inferentie van AI-modellen te versnellen en tegelijkertijd GPU's beter te benutten. Enterprises kunnen daarnaast een goede prijs-prestatieverhouding krijgen door gebruik te maken van de combinatie van de metadata engine van Pure Storage en het Purity-besturingssysteem inclusief kostenefficiënte, off-the-shelf data nodes. 

FlashBlade//EXA is het resultaat van tien jaar innovatie van Pure Storage om innovatieve storage te bieden voor AI- en HPC-omgevingen. FlashBlade//EXA zal:

• Hoge prestaties op grote schaal bieden, waarbij gebruik wordt gemaakt van de metadata-mogelijkheden van Pure Storage om de efficiëntie van AI-pipelines te maximaliseren en vertragingen tijdens trainings- en inferentie workflows te minimaliseren.
• Multidimensionale prestaties worden mogelijk gemaakt met zeer parallelle verwerking en schaalbare metadata IOPS om high-speed AI te ondersteunen. Biedt  10+ terabytes per seconde in een enkele namespace - de hoogste prestaties in deze sector.
• De beheer complexiteit verminderen door bottlenecks in metadata weg te nemen
• Hierbij worden hoge metadata-prestaties, beschikbaarheid en veerkracht geboden om enorme AI-datasets te verwerken zonder handmatige optimalisatie of extra configuratie.
• AI-innovatie versnellen met een zeer configureerbare en opgesplitste  architectuur
• Ondersteuning voor het alsmaar ontwikkelende AI- en HPC-landschap met standaardprotocollen.
• Met high-speed NVIDIA ConnectX NICs, Spectrum switches, LinkX kabels en versnelde communicatie bibliotheken.

FlashBlade//EXA is naar verwachting beschikbaar in de zomer van 2025.

Voor meer informatie over FlashBlade//EXA:
website
blog