CWI en Databricks gaan samenwerking aan

CWI en big data analyse- en data science software-bedrijf Databricks gaan een samenwerking aan. De samenwerking werd aangekondigd op de jaarlijkse technologiebeurs Hannover Messe in het bijzijn van minister Kamp van Economische Zaken.

Databricks opende eerder dit jaar speciaal voor de samenwerking met het CWI, en voor het database engineering-talent ter plekke een R&D-centrum in Amsterdam. Het bedrijf uit San Francisco leidt de ontwikkeling van de open-source software Apache Spark, een wereldwijd populaire softwaretool om grote hoeveelheden data te analyseren. Databricks biedt Spark aan als service in de cloud: met Spark kunnen bedrijven en organisaties hun data analyseren in een beheerde omgeving.

Onderzoek in Database Architectures-groep

Databricks financiert onderzoek in de Database Architectures-groep van CWI, de onderzoeksgroep die eerder de bekende databasesystemen VectorWise en MonetDB ontwikkelde. De CWI-onderzoekers werken aan database-technieken die voor Databricks interessant kunnen zijn. Het gaat om methoden waarmee gebruikers grote hoeveelheden data kunnen analyseren, waarbij het niet alleen om tabellen hoeft te gaan, maar ook om (sociale) netwerken met groeiende en veranderlijke gegevens.

Peter Boncz van CWI ziet duidelijke kansen voor het fundamentele CWI-onderzoek: “Voor CWI levert de samenwerking de kans op om achter de schermen mee te kijken bij Databricks. We krijgen inzicht in de grote diversiteit aan data-analyse-problemen waarmee gebruikers worstelen, en ontdekken zo de open vragen op het gebied van data-analyse. Daarnaast zijn bij Databricks professoren van Berkeley en Stanford betrokken, dus er ontstaan ook nieuwe wetenschappelijke samenwerkingen.”

Sneller en meer schaalbaar

Ram Sriharsha, interim vestigingsmanager van het nieuwe Amsterdamse R&D-center van Databricks, zegt ernaar uit te kijken haar R&D-aanwezigheid in Amsterdam te versterken: “De samenwerking met het CWI, en met name de expertise van het CWI op het gebied van high-performance databases, was doorslaggevend bij onze keuze voor Amsterdam. We hopen dat we dankzij deze samenwerking Spark en Databricks sneller en schaalbaarder kunnen maken.”