MapR gaat Apache Drill en Apache Spark integreren

MapR Technologies heeft een initiatief bekendgemaakt om Apache Drill te integreren met Apache Spark. Apache Drill is een open source zelfservice query-engine voor meerdere databronnen (big data). Apache Spark is een open source toepassing voor in-memory data-analyses en tegelijkertijd ook een programmeertaal voor real-time dataverwerking.

Big Data analyseren

Apache Drill biedt de flexibiliteit om met minimale IT-inspanningen razendsnel complexe datasets te doorzoeken, waaronder ook niet-gestructureerde en geneste data. Omdat de SQL-queries rechtstreeks op de originele bestandsformaten zijn uit te voeren, is live-data al bij de ontvangst te doorzoeken. In vergelijking met eerst weken nodig te hebben voor het voorbereiden en managen van alle dataschema’s en opzet van de ETL-scripts. Omdat Apache Drill ANSI SQL ondersteunt, zijn zowel alle aanwezige SQL-kennis en –vaardigheden te benutten als ook bestaande business intelligence tools te gebruiken.

Integratie resulteert in krachtige combinatie

“Het initiatief van MapR om Apache Drill te integreren met Apache Spark’s snelle in-memory dataverwerking, levert een krachtige combinatie op”, zegt John Webster, senior partner en analist bij de Evaluator Group. “De ondersteuning van MapR voor de volledige Spark stack, biedt Drill gebruikers de kans om geavanceerde datapijplijnen te creëren en te analyseren met een mix van Drill’s flexibiliteit en Spark’s batchverwerking.”

Sneller waarde genereren uit Big Data

“Als drijvende kracht achter Spark, is Databricks blij met de voortdurend nieuwe innovaties rondom Spark”, zegt CEO Ion Stoica. “Dat helpt onze gebruikers namelijk om sneller waarde te genereren uit hun Big Data. “We kijken daarom met belangstelling uit naar de integratie van Drill met Spark, om organisaties meer verwerkingsmogelijkheden te bieden en betere inzichten in alle beschikbare data.” 

Innovatie versnellen

“Het integreren van Apache Drill en Spark vereenvoudigt de ontwikkeling van datapijplijnen en maakt Drill-gebaseerde ad-hoc SQL-queries mogelijk, op in-memory data”, zegt M.C. Srivas, CTO en medeoprichter van MapR Technologies. “Door te gaan samenwerken met Databricks verbreden en verdiepen wij onze gezamenlijke technische resources om de innovatie te kunnen versnellen en klanten daarvan te laten profiteren.”