spark集群提交任务后worker宕机怎么办

2025-05-10 04:14:11
推荐回答(1个)
回答1:

部署这种模式,需要修改conf目录下的spark-env.sh文件。在其中新增如下配置选项:

export HADOOP_HOME= /home/hadoop/hadoop-2.0.0-cdh4.5.0

export HADOOP_CONF_DIR= $HADOOP_HOME/etc/hadoop

SPARK_EXECUTOR_INSTANCES=2

SPARK_EXECUTOR_CORES=1

SPARK_EXECUTOR_MEMORY=400M

SPARK_DRIVER_MEMORY=400M

SPARK_YARN_APP_NAME="Spark 1.0.0"