Sparkとは?
Sparkとは、分散した不変のデータ集合(RDD)に対する変換を積み重ねる形で処理を記述し、可能な限り主記憶上で実行する分散処理基盤。
スパーク
Sparkの意味
分散した不変のデータ集合(RDD)に対する変換を積み重ねる形で処理を記述し、可能な限り主記憶上で実行する分散処理基盤。
Sparkの具体例
機械学習のように同じデータへ何度も繰り返しアクセスする処理で効果が大きい。
Sparkは試験でどう引っ掛けられる?
MapReduceとの違いは中間結果をどこに置くか。工程ごとにディスクへ書くのがMapReduce、主記憶に保持して次の変換へ渡すのがSpark——だから反復処理で差が付く。またSparkはHadoopの置き換えではなく、HDFSやYARNの上でも動く(分散ファイルシステムまで自前で持つわけではない)。
Sparkと関連する用語
最終更新:2026-08-25/解説は資格暗記が独自に作成しています。 過去問の出典は各問題に記載のとおりです。