0

Estoy aprovisionando, spark-3.2.1-bin-hadoop3.2-scala2.13.

Se instala Java 11 y python 3.10.

Pero cuando se ejecuta spark-shell, sale el error "ERROR SparkContext: Error initializing SparkContext"

se probó con las siguientes versiones:

spark-3.0.3-bin-hadoop2.7

spark-3.1.2-bin-hadoop3.2

spark-3.1.3-bin-hadoop2.7

spark-3.1.3-bin-hadoop3.2

spark-3.2.1-bin-hadoop2.7

Las variables de entorno ya quedaron organizadas: JAVA_HOME, HADDOP_HOME, SPARK_HOME

Valide una solucion que esta sobre stackoverflow en el archivo spark-defaults.conf => spark.eventLog.enabled false.

se sigue presetando el mismo problema.

Gracias por las sugerencias que me puedan dar.

Type :help for more information.
22/03/07 14:45:35 ERROR SparkContext: Error initializing SparkContext.
java.lang.reflect.InvocationTargetException
        at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at java.base/jdk.internal.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.base/java.lang.reflect.Constructor.newInstance(Constructor.java:490)
        at org.apache.spark.executor.Executor.addReplClassLoaderIfNeeded(Executor.scala:909)
        at org.apache.spark.executor.Executor.<init>(Executor.scala:160)
        at org.apache.spark.scheduler.local.LocalEndpoint.<init>(LocalSchedulerBackend.scala:64)
        at org.apache.spark.scheduler.local.LocalSchedulerBackend.start(LocalSchedulerBackend.scala:132)
        at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:220)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:581)
        at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2690)
        at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:949)
        at scala.Option.getOrElse(Option.scala:201)
        at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:943)
        at org.apache.spark.repl.Main$.createSparkSession(Main.scala:114)
        at $line3.$read$$iw.<init>(<console>:5)
        at $line3.$read.<init>(<console>:4)
        at $line3.$read$.<clinit>(<console>)
        at $line3.$eval$.$print$lzycompute(<synthetic>:6)
.......

1 respuesta 1

0

Parece que tienes un error con la versión exacta de Java que utilizas.

Te dejo los pasos para instalar Spark 3.2.1 con Java 11 en una máquina de AWS con el sistema operativo Amazon Linux:

sudo yum instalar java-11-amazon-corretto-headless
export JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto.x86_64
wget https://dlcdn.apache.org/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz
tar xvf spark-3.2.1-bin-hadoop3.2.tgz
rm -f spark-3.2.1-bin-hadoop3.2.tgz
export SPARK_HOME=/home/ec2-user/spark-3.2.1-bin-hadoop3.2/

Y mediante el siguiente comando, se inicia correctamente spark-shell:

./spark-3.2.1-bin-hadoop3.2/bin/spark-shell

Asegurate de tener instalado Java JDK 11, para comprobar la versión instalada y la versión activa, puedes comprobarlo de la siguiente forma:

[ec2-user@ip-172-31-33-127 ~]$ java --version
openjdk 11.0.14.1 2022-02-08 LTS
OpenJDK Runtime Environment Corretto-11.0.14.10.1 (build 11.0.14.1+10-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.14.10.1 (build 11.0.14.1+10-LTS, mixed mode)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.