Apache Spark — 遅いジョブの答えは実行計画とイベントログにある
ローカルモードのSparkでシャッフル・結合・偏りをイベントログで測る
중급 · レッスン 30 · ラボ 10
カリキュラム
ドライバーとジョブ
スキーマと壊れた行
- スキーマは推論に任せず、壊れた行は捨てずに選り分ける reading
- 取引先 CSV の壊れた行を三つのモードで読み込む lab
- クイズ: スキーマと壊れた行 quiz
DataFrame と SQL
実行計画を読む
シャッフルとパーティション数
結合戦略
- 結合は行の突き合わせ方でコストが十倍変わる reading
- 同じ結合を四つの戦略で実行し、実行計画で確かめる lab
- クイズ: 結合戦略 quiz
データの偏り
- タスク一つだけが終わらない理由はキー一つにある reading
- ボット一体がクリックの40%を占めるデータで偏りを測り、解消する lab
- クイズ: データの偏り quiz