co to jest Apache Spark?

Apache Spark to otwarty framework obliczeniowy klastra, który został pierwotnie opracowany na Uniwersytecie Kalifornijskim w Berkeley w amlab.

w porównaniu do opartego na dysku, dwustopniowego MapReduce Hadoop, Spark zapewnia do 100 razy szybszą wydajność dla kilku aplikacji z prymitywami w pamięci.

To sprawia, że nadaje się do algorytmów uczenia maszynowego, ponieważ pozwala programom na ładowanie danych do pamięci klastra i ciągłe odpytywanie danych.

projekt Spark zawiera różne komponenty, takie jak Spark Core i Resilient Distributed Datasets lub RDD, Spark SQL, Spark Streaming, Machine Learning Library lub Mllib i GraphX.

w następnej części samouczka Apache Spark i Scala, porozmawiajmy o tym, czym jest Apache Spark.

co to jest Apache Scala?

Scala jest nowoczesnym i wieloparadygmatycznym językiem programowania. Został zaprojektowany do wyrażania ogólnych wzorców programowania w elegancki, precyzyjny i bezpieczny dla typu sposób. Jedną z głównych cech jest to, że integruje funkcje zarówno języków obiektowych, jak i funkcjonalnych płynnie.

jest to język czysto obiektowy, ponieważ każda wartość w nim jest obiektem. Zachowanie i typy obiektów są wyjaśnione za pomocą cech i klas.

jest to również język funkcjonalny, ponieważ każda funkcja w nim jest wartością. Zapewniając lekką składnię do definiowania funkcji anonimowych, zapewnia wsparcie dla funkcji wyższego rzędu.

ponadto język pozwala również na zagnieżdżanie funkcji i zapewnia obsługę przenoszenia. Posiada również funkcje, takie jak Klasy przypadków i pattern matching model algebraicznych typów wsparcia.

Scala jest typowana statycznie, jest wzmocniona systemem typów ekspresyjnych. System wymusza wykorzystanie abstrakcji w sposób spójny i bezpieczny. Aby być szczególnym, system ten obsługuje różne funkcje, takie jak adnotacje, klasy, widoki, metody polimorficzne, typy złożone, jawnie wpisane samo-referencje oraz górne i dolne granice typów.

jeśli chodzi o tworzenie aplikacji specyficznych dla domeny, na ogół potrzebuje rozszerzeń języka specyficznego dla domeny. Scala, będąc rozszerzalną, zapewnia wyjątkową kombinację mechanizmów językowych. W związku z tym, staje się łatwe do dodawania nowych konstrukcji językowych jako biblioteki

w następnej sekcji Apache Spark i Scala tutorial, omówimy korzyści z Apache Spark i Scala yo profesjonalistów i organizacji.

korzyści Apache Spark i Scala dla profesjonalistów i organizacji

oto korzyści Apache Spark i Scala

• zapewnia wysoce niezawodną szybkość obliczeń pamięci.

• wydajny w zapytaniach interaktywnych i algorytmach iteracyjnych.

• możliwości tolerancji błędów ze względu na niezmienną podstawową abstrakcję o nazwie RDD.

• wbudowane biblioteki uczenia maszynowego.

• zapewnia platformę przetwarzania strumieniowego danych za pomocą Spark streaming.

• Wysoce wydajna analityka w czasie rzeczywistym za pomocą Spark streaming i spark sql.

• Biblioteki Graphx na szczycie rdzenia spark do obserwacji graficznych.

• kompatybilność z dowolnym api JAVA, SCALA, PYTHON, R ułatwia programowanie.

w następnej części samouczka Apache Spark i Scala omówimy wymagania wstępne Apache spark i scala.

Apache Spark i Scala Tutorial wymagania wstępne

podstawowym warunkiem kursu Apache Spark i Scala jest podstawowa znajomość dowolnego języka programowania jest warunkiem wstępnym kursu. Oczekuje się, że uczestnicy będą mieli podstawową wiedzę na temat dowolnej bazy danych, języka SQL i języka zapytań dla baz danych. Praktyczna znajomość systemów Linux lub Unix, choć nie jest obowiązkowa, jest dodatkową zaletą tego samouczka.

pozwól nam zbadać grupę docelową Apache Spark i Scala Tutorial w następnej sekcji.

Grupa docelowa Apache Spark i Scala Tutorial

tutorial jest skierowany do profesjonalistów aspirujących do kariery w rozwijających się i wymagających dziedzinach analityki big data w czasie rzeczywistym. Specjaliści analitycy, specjaliści ds. badań, Programiści IT, testerzy, analitycy danych, analitycy danych, specjaliści ds. BI i raportowania oraz kierownicy projektów są kluczowymi beneficjentami tego poradnika. Inni aspiranci i studenci, którzy chcą uzyskać dokładne zrozumienie Apache Spark mogą również skorzystać z tego samouczka.

zapoznajmy się z przeglądem samouczka Apache Spark i Scala w następnej sekcji.

Apache Spark i Scala Tutorial przegląd

poradnik szkoleniowy Apache Spark i Scala oferowany przez Simplilearn zawiera szczegółowe informacje na temat podstaw analizy w czasie rzeczywistym i potrzeby rozproszonej platformy obliczeniowej.

Ten poradnik będzie:

• wyjaśnić Scala i jego funkcje.

• poszerz swoją wiedzę na temat architektury Apache Spark.

• wyjaśnij proces instalacji i uruchamiania aplikacji przy użyciu Apache Spark.

• Zwiększ swoją wiedzę na temat wykonywania SQL, przesyłania strumieniowego i przetwarzania wsadowego.

• wyjaśnij Uczenie maszynowe i analizę wykresów na danych Hadoop.

w następnej sekcji omówimy cele poradnika Apache Spark i Scala.

cele

Po ukończeniu tego kursu będziesz mógł:

• wyjaśnij proces instalacji Spark

• opisz funkcje Scali

• omów, jak używać RDD do tworzenia aplikacji w Spark

• wyjaśnij, jak uruchamiać zapytania SQL za pomocą sparksql

• omów funkcje przesyłania strumieniowego Spark

• wyjaśnij funkcje programowania Spark ml

• opis funkcji programowania GraphX

zapoznajmy się z lekcjami opisanymi w tutorialu Apache Spark i Scala w następnej sekcji.

lekcje zawarte w tym samouczku Apache Spark i Scala

w tym samouczku jest siedem lekcji. Poniżej znajdują się nazwy lekcji

wniosek

z tym, doszliśmy do końca o tym, co to Apache Spark i Scala tutorial obejmują. W następnym rozdziale omówimy Wprowadzenie do samouczka Spark.