Databricks introduceert Delta Engine
Databricks, specialist in data en AI, kondigt de lancering van Delta Engine en de overname van Redash aan. Deze nieuwe mogelijkheden maken het voor datateams mogelijk om sneller én eenvoudiger met het Unified Data Analytics platform aan de slag te gaan voor data science, machine learning en andere gebruiksmogelijkheden van data analytics. Delta Engine is een hoogwaardige query engine voor data lakes in de cloud. Redash is een open source tool voor dashboarding en visualisatie voor datawetenschappers en analisten, om data mee te verkennen.
Delta Engine is ingericht voor gebruik met Delta Lake, de populaire open source transactielaag die de kwaliteit en betrouwbaarheid van data lakes verbetert. Organisaties kunnen nu gecureerde data lakes opzetten die zowel gestructureerde als semigestructureerd data bevatten en hun analyses vervolgens uitvoeren op data van hoge kwaliteit in de cloud. Databricks heeft Redash, het bedrijf achter het succesvolle Redash open source project, overgenomen om gebruiksvriendelijke mogelijkheden voor dashboarding en visualisatie aan deze data lakes toe te voegen. Dankzij Redash hoeven datawetenschappers en SQL-analisten hun data niet langer over te zetten naar andere systemen om analyses uit te kunnen voeren.
De combinatie van deze twee vernieuwingen zorgt ervoor dat bedrijven aan de slag kunnen met één vereenvoudigde cloudarchitectuur voor databeheer, waardoor ze de kosten en complexiteit drastisch verlagen en de productiviteit van datateams verhogen. Bovendien sluiten de ontwikkelingen aan op het ‘lakehouse’ design dat steeds populairder wordt. Steeds meer enterprise organisaties adopteren het lakehouse model om gestructureerde transacties en verbeterde kwaliteit en performance voor hun cloud data lakes mogelijk te maken.
“De meeste organisaties die aan de slag willen met datawetenschap en dataopslag maken gebruik van verschillende architecturen. Data zit vast in organisatorische silo’s binnen gesloten systemen. Daardoor worden bedrijven afgeremd en wordt het lastiger om kwalitatieve besluiten te nemen omdat informatie gefragmenteerd of achterhaald is”, zegt Ali Ghodsi, medeoprichter en CEO van Databricks. “Gecureerde cloud data lakes bieden organisaties de mogelijkheid om willekeurig welke analyse uit te voeren, ook datawetenschap en machine learning, op alle beschikbare meest recente data. De introductie van Delta Engine en de overname van Redash zijn onmisbare volgende stappen om organisaties te helpen bij de bouw van deze hoogwaardige, gecureerde data lakes, die ook wel ‘lakehouses’ genoemd worden.”
Delta Engine maakt snelle query’s op Delta Lake mogelijk
Traditionele data analyse op gestructureerde en semigestructureerde data vraagt om zeer snelle prestaties, om het tempo van het bedrijf bij te kunnen benen. Oorspronkelijk dupliceerden organisaties data in hun data lakes om deze in verschillende data warehouses op te slaan, omdat de tools voor de analyse van deze data niet geschikt zijn voor snelle uitvoering van query’s. Het beheer van zo’n complexe architectuur brengt verschillende uitdagingen met zich mee, waaronder het ontstaan van gefragmenteerde en inconsistente data silo’s en hoge kosten.
De nieuwe Delta Engine voor Delta Lake maakt zeer snelle uitvoering van query’s mogelijk, voor zowel data analyse als datawetenschap, zonder data uit het data lake gehaald hoeft te worden. De hoogwaardige query engine is vanaf de basis opgebouwd om te kunnen profiteren van moderne cloud hardware voor verbeterde query prestaties.
Dankzij deze verbeteringen kunnen Databricks klanten verhuizen naar een holistisch platform voor data analyse, dat iedere gebruiksmogelijkheid van data ondersteunt en uiteindelijk resulteert in kostenbesparingen en hogere efficiëntie.
Redash zorgt ervoor dat data makkelijker kan worden verwerkt
Het open source project Redash is opgezet om datateams te helpen wegwijs te worden in hun data. Datawetenschappers en SQL-analisten kunnen verschillende databronnen, waaronder operationele databases, data lakes en Delta Lake, in thematische dashboards verwerken. De resultaten kunnen vervolgens op talloze manieren gevisualiseerd worden, in bijvoorbeeld grafieken of cohorten. Deze zijn eenvoudig te delen met andere gebruikers, binnen of buiten de organisatie.
Miljoenen gebruikers bij duizenden organisaties maken al gebruik van Redash om inzichten te verkrijgen en data bruikbaar te maken. Het open source project is opgericht door een toegewijde developers community en is gebouwd door meer dan 300 deelnemers van over de hele wereld, sinds de lancering in 2013. Het open source Redash project kan met een gratis connector gebruikt worden met Databricks en Redash wordt de komende maanden volledig geïntegreerd in het Unified Data Analytics Platform van Databricks, en in de Databricks workspace.