spark算子调优

算子调优

算子调优之MapPartitions提升Map类操作性能

image

算子调优之filter过后使用coalesce减少分区数量

印象不深
image

算子调优之使用foreachPartition优化写数据库性能

image

算子调优之使用repartition解决Spark SQL低并行度的性能问题

image
image

算子调优之reduceByKey本地聚合介绍

image