Apache Sparkは多数のコンピュータを並列で動かして高速処理を実現する技術です。大量データのバッチ処理や機械学習など、ビッグデータの分野での活用が期待されるOSS(Open Source Software)です。
Apache SparkはUCバークレイで提唱されたRDD(Resilient Distributed Dataset)というデータモデルを採用し、メモリを上手に活用した効率的な処理を実現します。これにより、並列分散処理において高いパフォーマンスが期待できます。また、分散処理フレームワークHadoopとの高い親和性を有しており、YARNやHDFSなどのHadoopシステムの枠組が利用できます。
本書はApache Sparkの概要からRDDによる処理の仕組み、導入やアプリケーション開発までを解説します。また、「SQLインターフェイス」「機械学習」「ストリーム処理」「グラフ」などApache Spark周辺のライブラリの活用についても説明します。
話題のApache Sparkの仕組みとその利用方法を理解することにより、データ処理の新しい潮流を知ることができます。
toiwata さん
2015-12-26
読み始めてからScalaの知識が要るのではと気がつく始末。非常に大きな生態系を形成しており、端のほうを少しばかりかじり取るわけにはいかないことを実感。Googleの論文で公表された実装に対し平気で別の実装を作って公開できる潤沢な資源に圧倒される。
ショウヤ さん
2016-12-11
Sparkを触る上での最初の1冊に良い感じ。Scalaの文法が前提知識として必要なので、あわせて他の書籍を読むとよい。