Estoy aprovisionando, spark-3.2.1-bin-hadoop3.2-scala2.13.
Se instala Java 11 y python 3.10.
Pero cuando se ejecuta spark-shell
, sale el error "ERROR SparkContext: Error initializing SparkContext"
se probó con las siguientes versiones:
spark-3.0.3-bin-hadoop2.7
spark-3.1.2-bin-hadoop3.2
spark-3.1.3-bin-hadoop2.7
spark-3.1.3-bin-hadoop3.2
spark-3.2.1-bin-hadoop2.7
Las variables de entorno ya quedaron organizadas: JAVA_HOME, HADDOP_HOME, SPARK_HOME
Valide una solucion que esta sobre stackoverflow en el archivo spark-defaults.conf => spark.eventLog.enabled false.
se sigue presetando el mismo problema.
Gracias por las sugerencias que me puedan dar.
Type :help for more information.
22/03/07 14:45:35 ERROR SparkContext: Error initializing SparkContext.
java.lang.reflect.InvocationTargetException
at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at java.base/jdk.internal.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.base/java.lang.reflect.Constructor.newInstance(Constructor.java:490)
at org.apache.spark.executor.Executor.addReplClassLoaderIfNeeded(Executor.scala:909)
at org.apache.spark.executor.Executor.<init>(Executor.scala:160)
at org.apache.spark.scheduler.local.LocalEndpoint.<init>(LocalSchedulerBackend.scala:64)
at org.apache.spark.scheduler.local.LocalSchedulerBackend.start(LocalSchedulerBackend.scala:132)
at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:220)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:581)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2690)
at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:949)
at scala.Option.getOrElse(Option.scala:201)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:943)
at org.apache.spark.repl.Main$.createSparkSession(Main.scala:114)
at $line3.$read$$iw.<init>(<console>:5)
at $line3.$read.<init>(<console>:4)
at $line3.$read$.<clinit>(<console>)
at $line3.$eval$.$print$lzycompute(<synthetic>:6)
.......