spark的shuffle调优

shuffle调优

原理概述

image

Shuffle调优之合并map端输出文件

image

Shuffle调优之调节map端内存缓冲与reduce端内存占比

image

Shuffle调优之HashShuffleManager与SortShuffleManager

好复杂。。。