Apache Spark
Spark on Apache Software Foundationin avoimen lähdekoodin ohjelmisto yleiskäyttöiseen klusteripohjaiseen laskentaan.
| Spark | |
|---|---|
 |
|
| Kehittäjä | Apache Software Foundation |
| Kehityshistoria | |
| Vakaa versio | 3.5.1 ()[1] |
| Tiedot | |
| Lisenssi | Apache-lisenssi, versio 2.0 ja BSD-lisenssi |
| Aiheesta muualla | |
| Verkkosivusto | |
| Versiohallinta | |
Spark laajentaa ja yleistää MapReducen käyttöä ns. Big data käytössä ja mahdollistaa laajemman eri muotoisten tietolähteiden käytön (esimerkiksi tekstitiedostot ja SQL-kyselyt).
Spark tarjoaa ohjelmointirajapinnat muun muassa Java, Python, R ja Scala -kielille ja sitä voidaan käyttää Apache Hadoop ja Apache Mesos -klustereissa.[2] Spark on usein mukana Hadoopin kanssa, mutta on korvannut MapReducen käytön nopeusedun vuoksi.[2]
Spark käyttää RAM-muistia välimuistina eikä tiedostojärjestelmää kuten Hadoop, joka mahdollista Sparkille käsitellä käyttötapauksia joita Hadoopilla ei voi.[3] Pienissä kuormituksissa Spark voi olla sata kertaa nopeampi.[3]
Lähteet muokkaa
- ↑ Release 3.5.1, (viitattu ). Tieto on haettu Wikidatasta.
- ↑ a b Pointer, Ian: What is Apache Spark? The big data analytics platform explained 13.11.2017. Infoworld. Viitattu 31.3.2018.
- ↑ a b Hadoop vs. Spark: What's the Difference? ibm.com. 27.5.2021. Viitattu 27.9.2021. (englanniksi)
Kirjallisuutta muokkaa
- Learning Spark. O'Reilly. ISBN 978-1-449-35862-4.
Aiheesta muualla muokkaa
- Apache Spark Projektin kotisivut (englanniksi)