ビッグデータ処理基盤に利用され、オープンソースソフトウェアの一つであるApache Sparkの特徴はどれか。

選択肢

• アMapReduceの考え方に基づいたバッチ処理に特化している。
• イRDD(Resilient Distributed Dataset)と呼ばれるデータ集合に対して変換を行う。
• ウパブリッシュ/サブスクライブ(Publish/Subscribe)型のメッセージングモデルを採用している。
• エマスタノードをもたないキーバリューストアである。

正解と解説

正解：イ RDD(Resilient Distributed Dataset)と呼ばれるデータ集合に対して変換を行う。

Apache Sparkは、RDDと呼ばれる分散された不変のデータ集合を単位とし、それに変換を重ねて処理を組み立てる。中間結果をメモリ上に保持できるため、ディスク経由の反復処理より高速に扱えるのが特徴である。よってイが正しい。

選択肢ごとの解説

• アMapReduce型のバッチ処理に特化しているのはHadoopのMapReduceで、Sparkはそれ以外の処理形態も扱える。
• イ正解。RDDという分散データ集合に対する変換の連なりとして処理を記述する。
• ウ発行・購読型のメッセージングを担うのはApache Kafkaなどのメッセージ基盤の特徴。
• エマスタを持たない構成のキーバリューストアはApache Cassandraなどの特徴である。

同じ分野の他の問題

• データウェアハウスのメタデータに関する記述のうち、データリネージはどれか。2024年度 秋期 午前II 問18
• ビッグデータの処理に使用されるCEP（複合イベント処理）に関する記述として、適切なものはどれか。2024年度 秋期 午前II 問16
• データレイクの特徴はどれか。2022年度 秋期 午前II 問18
• 機械学習を用いたビッグデータ分析において使用されるJupyter Labの説明はどれか。2022年度 秋期 午前II 問17
• ビッグデータの処理に使用されるCEP(複合イベント処理)に関する記述として、適切なものはどれか。2020年度 10月試験 午前II 問15