mi az Apache Spark?

az Apache Spark egy nyílt forráskódú klaszter számítástechnikai keretrendszer, amelyet eredetileg az UC Berkeley-ben fejlesztettek ki az AMPLab-ban.

a Hadoop lemezalapú, kétlépcsős MapReduce-jához képest a Spark akár 100-szor gyorsabb teljesítményt nyújt néhány memória-primitívekkel rendelkező alkalmazás számára.

Ez lehetővé teszi a gépi tanulási algoritmusok számára, mivel lehetővé teszi a programok számára, hogy adatokat töltsenek be egy klaszter memóriájába, és folyamatosan lekérdezzék az adatokat.

A Spark projekt különböző komponenseket tartalmaz, mint például a Spark Core és a rugalmasan elosztott adatkészletek vagy RDD-k, a Spark SQL, a Spark Streaming, a gépi tanulási könyvtár vagy az Mllib, valamint a GraphX.

az Apache Spark and Scala bemutató következő részében beszéljünk arról, hogy mi az Apache Spark.

mi az az Apache Scala?

A Scala egy modern és több paradigmájú programozási nyelv. Úgy tervezték, hogy kifejezze az általános programozási minták elegáns, pontos, típus-biztonságos módon. Az egyik legfontosabb jellemzője, hogy mind az objektumorientált, mind a funkcionális nyelvek jellemzőit zökkenőmentesen integrálja.

Ez egy tiszta objektumorientált nyelv, mivel minden értéke objektum. Az objektumok viselkedését és típusát jellemvonások és osztályok magyarázzák.

Ez is funkcionális nyelv, mivel minden funkció értéke. Azáltal, hogy egy könnyű szintaxis meghatározó anonim funkciók, támogatást nyújt a magasabb rendű funkciókat.

ezenkívül a nyelv lehetővé teszi a funkciók beágyazását is, valamint támogatja a hordozást. Olyan funkciókkal is rendelkezik, mint az esetosztályok és a mintaillesztési modell algebrai típusok támogatása.

A Scala statikusan gépelt, kifejező típusú rendszerrel van felhatalmazva. A rendszer koherens és biztonságos módon érvényesíti az absztrakciók alkalmazását. Különösen, ez a rendszer támogatja a különböző funkciók, mint annotációk, osztályok, nézetek, polimorf módszerek, összetett típusok, kifejezetten gépelt önhivatkozások, valamint a felső és alsó típusú határokat.

a tartományspecifikus alkalmazások fejlesztésekor általában domain-specifikus nyelvi kiterjesztésekre van szüksége. A Scala kiterjeszthető, a nyelvi mechanizmusok kivételes kombinációját biztosítja. Ennek köszönhetően, ez lesz könnyű felvenni az új nyelvi konstrukciók, mint könyvtárak

a következő részben az Apache Spark és Scala bemutató, megbeszéljük az előnyeit Apache Spark és Scala yo szakemberek és szervezetek.

az Apache Spark és a Scala előnyei a szakemberek és szervezetek számára

a következők az Apache Spark és Scala előnyei

• rendkívül megbízható gyors memória-számítást biztosít.

• hatékony interaktív lekérdezésekben és iteratív algoritmusokban.

• hibatűrési képességek az RDD nevű változhatatlan elsődleges absztrakció miatt.

• beépített gépi tanulási könyvtárak.

• feldolgozási platformot biztosít az adatok streamingjéhez a spark streaming használatával.

• rendkívül hatékony valós idejű elemzésben a spark streaming és a spark sql használatával.

• Graphx könyvtárak tetején spark mag grafikus megfigyelések.

• Kompatibilitás bármilyen api JAVA, SCALA, PYTHON, R teszi a programozás egyszerű.

az Apache Spark and Scala bemutató következő részében az apache spark és a scala előfeltételeit tárgyaljuk.

Apache Spark and Scala Tutorial előfeltételek

az Apache Spark and Scala Tutorial alapfeltétele minden programozási nyelv alapvető ismerete az oktatóprogram előfeltétele. A résztvevők elvárják, hogy alapvető megértése minden adatbázis, SQL, lekérdezési nyelv adatbázisok. A Linux vagy Unix alapú rendszerek működési ismerete, bár nem kötelező, további előnye ennek az oktatóanyagnak.

fedezzük fel az Apache Spark és a Scala bemutató célközönségét a következő részben.

célközönsége Apache Spark és Scala Tutorial

a bemutató célja a szakemberek törekvő karrier növekvő és igényes területeken valós idejű big data analytics. Elemzési szakemberek, kutatási szakemberek, informatikai fejlesztők, tesztelők, adatelemzők, adattudósok, BI és jelentéskészítő szakemberek, valamint a projektmenedzserek a legfontosabb haszonélvezői ennek a bemutatónak. Más aspiránsok, diákok, akik szeretnének szerezni egy alapos megértése Apache Spark is részesülhetnek ez a bemutató.

fedezzük fel az Apache Spark és a Scala bemutató áttekintését a következő részben.

Apache Spark and Scala Tutorial Overview

a Simplilearn által kínált Apache Spark and Scala oktatóanyag részletesen bemutatja a valós idejű analitika alapjait és az elosztott számítástechnikai platform szükségességét.

Ez a bemutató:

• magyarázza Scala és jellemzői.

• fokozza tudását az architektúra Apache Spark.

• ismertesse az alkalmazások telepítésének és futtatásának folyamatát az Apache Spark használatával.

• fokozza tudását teljesítő SQL, streaming, batch feldolgozás.

• magyarázza el a gépi tanulást és Gráfanalitikát a Hadoop adatokon.

a következő részben megvitatjuk az Apache Spark és a Scala bemutatójának célkitűzéseit.

célok

a bemutató befejezése után képes lesz:

• Magyarázni a folyamatot, hogy telepítse a Szikra

• Leírni a funkciók Scala

• beszéljétek meg, hogyan kell használni RDD létrehozása alkalmazásokhoz a Szikra

• Magyarázni, hogy hogy fut az SQL lekérdezések segítségével SparkSQL

• Beszéljétek meg a funkciók Szikra Streaming

• Elmagyarázza a funkciók Szikra ML Programozási

• Leírni a funkciók GraphX Programozási

fedezzük fel a leckéket tartozó Apache Szikra, valamint Scala Bemutató a következő szakaszban.

az Apache Spark és a Scala oktatóprogramban szereplő leckék

hét leckét tartalmaz ez a bemutató. Nézd meg a leckét, nevek, amelyek az alább felsorolt

Következtetés

ezzel már véget ért, mi ez a Apache Szikra, valamint Scala bemutató tartalmazza. A következő fejezetben megvitatjuk a Spark Tutorial bevezetését.