Apache Spark 란 무엇입니까?

Apache Spark 는 처음에 AMPLab 의 UC Berkeley 에서 개발 된 오픈 소스 클러스터 컴퓨팅 프레임 워크입니다.

에 비하여 디스크-기반으로,두 가지 단계 MapReduce 의 하둡,불꽃 제공하는 최대 100 배 빠르게 성능에 대한 몇 가지 응용 프로그램에서 메모리를 프리미티브입니다.

이것은 적합한 기계 학습 알고리즘을 허용하기 때문에,프로그램으로 데이터를 로드 메모리의 클러스터 및 데이터 쿼리다.

스파크 프로젝트가 포함되어 다양한 구성 요소에 같은 스파크 코어와 탄력 분포 데이터 또는 http 요청에 대한 http 응답 수신,Spark SQL,스파크 스트리밍 기계 학습은 라이브러리 또는 Mllib 및 GraphX.

아파치 스파크와 스칼라 튜토리얼의 다음 섹션에서 아파치 스파크가 무엇인지에 대해 이야기합시다.

아파치 스칼라 란 무엇입니까?

Scala 는 현대적이고 다중 패러다임 프로그래밍 언어입니다. 우아하고 정확하며 유형 안전 방식으로 일반적인 프로그래밍 패턴을 표현하도록 설계되었습니다. 주요 기능 중 하나는 객체 지향 언어와 기능 언어 모두의 기능을 원활하게 통합한다는 것입니다.

그 안에있는 모든 값이 객체이기 때문에 순수한 객체 지향 언어입니다. 객체의 동작과 유형은 특성과 클래스를 통해 설명됩니다.그 안에있는 모든 함수는 값이기 때문에 함수 언어이기도합니다. 익명 함수를 정의하기위한 경량 구문을 제공함으로써 고차 함수에 대한 지원을 제공합니다.

또한 언어는 기능을 중첩 할 수 있으며 운반에 대한 지원을 제공합니다. 또한 케이스 클래스 및 패턴 일치 모델 대수 유형 지원과 같은 기능이 있습니다.

Scala 는 정적으로 형식화되어 표현 형 시스템으로 힘을 얻습니다. 시스템은 일관되고 안전한 방법으로 추상화의 사용을 시행합니다. 을 특정 시스템이 지원하는 다양한 기능과 같은 주석 클래스 전망,다형성 방법,화합물 형식을 명시적으로 입력한 자기는 참조하고 타습니다.도메인 별 응용 프로그램 개발에 관해서는 일반적으로 도메인 별 언어 확장이 필요합니다. 스칼라는 확장 가능하기 때문에 언어 메커니즘의 예외적 인 조합을 제공합니다. 이 때문에,그것은 쉽게 된를 추가하는 새로운 언어를 구문으로 라이브러리의

다음 섹션에서의 아파치 스파크와 스칼라에서는 우리가 논의하의 혜택은 아파치 스파크 및 스칼라 요 전문가 조직에 있습니다.

의 혜택을 아파치 스파크 및 스칼라를 전문가 조직

다음과 같은 이점은 아파치 스파크 및 스칼라.

• 을 제공합 매우 신뢰할 수 있는 빠른 메모리에 의존하고 있습니다.

• 대화식 쿼리 및 반복 알고리즘에서 효율적입니다.

• Rdd 라는 불변의 기본 추상화 때문에 내결함성 기능.

• 붙박이 기계 학습 라이브러리.

• 스파크 스트리밍을 사용하여 데이터를 스트리밍하기위한 처리 플랫폼을 제공합니다.

• 스파크 스트리밍 및 스파크 sql 을 사용하여 실시간 분석에서 매우 효율적입니다.

• 그래픽 관측을위한 spark core 상단의 Graphx 라이브러리.

• 모든 api JAVA,SCALA,PYTHON,R 과의 호환성으로 프로그래밍을 쉽게 할 수 있습니다.

다음 섹션에서의 아파치 스파크와 스칼라에서는 우리가 논의하는 필수 아파치 스파크 및 스칼라.

아파치 스파크 및 스칼라 자전 요구

기본 필수 아파치 스파크 및 스칼라는 튜토리얼은 기본적인 지식의 어떤 프로그래밍 언어를위한 필수 조건이 있습니다. 참가자는 데이터베이스에 대한 데이터베이스,SQL 및 쿼리 언어에 대한 기본적인 이해를 가질 것으로 예상됩니다. 필수는 아니지만 Linux 또는 Unix 기반 시스템에 대한 실무 지식은이 자습서의 추가 장점입니다.

다음 섹션에서 Apache Spark 및 Scala Tutorial 의 대상 고객을 살펴 보겠습니다.

대상 아파치 스파크 및 스칼라토

튜토리얼은 전문가를 대상으로 주목받는 경력에 대한 성장하고 까다로운 분야의 실시간 빅데이터 분석. 분석 전문가,연구 전문가,그것은 개발자,테스터 데이터 분석가,데이터 과학자,비즈니스 인텔리전스 및 보고 전문가,그리고 프로젝트 매니저는 키를 수혜자의 이습니다. 다른 지망자와 학생을 얻을하고자하는 철저한 이해의 아파치 스파크 혜택을 누릴 수 있습니다.

다음 섹션에서 Apache Spark 및 Scala 자습서 개요를 살펴 보겠습니다.

아파치 스파크 및 스칼라 자 개요

아파치 스파크 및 Scala 교육 튜토리얼에서 제공하 Simplilearn 에 대한 자세한 정보를 제공합의 기본을 실시간 분석하고 필요한 분산된 컴퓨팅 플랫폼입니다.

이 튜토리얼은 다음과 같습니다.

• 스칼라와 그 특징을 설명합니다.

• 아파치 스파크의 아키텍처에 대한 지식을 향상시킬 수 있습니다.

• Apache Spark 를 사용하여 응용 프로그램을 설치하고 실행하는 과정을 설명합니다.

• SQL 수행,스트리밍 및 일괄 처리에 대한 지식을 향상시킵니다.

• Hadoop 데이터에 대한 기계 학습 및 그래프 분석을 설명합니다.

다음 섹션에서는 Apache Spark 및 Scala 자습서의 목표에 대해 설명합니다.

목표

이 튜토리얼을 완료 한 후,당신은 할 수있을 것입니다:

• 설명 프로세스를 설치하 Spark

• 의 기능에 대해 설명합 Scala

• 를 사용하는 방법에 대해 설명합니 RDD 을 만들기 위한 응용 프로그램에서 불꽃

• 을 실행하는 방법에 대해 설명을 사용하여 SQL 쿼리를 SparkSQL

• 토론하는 기능의 스파크 스트리밍

• 기능을 설명하고의 불꽃 ML 프로그램

• 의 기능에 대해 설명합 GraphX 프로그램

측면에서 살펴보겠 수업에 덮여 아파치 스파크 및 스칼라는 튜토리얼에서는 다음 섹션입니다.

수업에 덮여 있는 이 아파치 스파크 및 스칼라토

있는 수업에 덮여 이습니다. 을 제 이름은 아래 나열된

결론

이,우리는 끝나는 것에 대해 이 아파치 스파크 및 스칼라는 튜토리얼을 포함합니다. 다음 장에서는 스파크 튜토리얼에 대한 소개를 논의 할 것입니다.