Tengo un proyecto mínimo que usa la librería spark-sql
.
Mi pom.xml
es el siguiente:
<project>
<modelVersion>4.0.0</modelVersion>
<groupId>malaga.indizen.com</groupId>
<artifactId>calles</artifactId>
<version>1.0</version>
<properties>
<maven.compiler.target>8</maven.compiler.target>
<maven.compiler.source>8</maven.compiler.source>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
<maven.test.skip>true</maven.test.skip>
</properties>
<dependencies>
<dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.12</artifactId>
<version>2.4.5</version>
<scope>compile</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<configuration>
<archive>
<manifest>
<mainClass>Calles</mainClass>
</manifest>
</archive>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-dependency-plugin</artifactId>
<executions>
<execution>
<id>copy-dependencies</id>
<phase>prepare-package</phase>
<goals>
<goal>copy-dependencies</goal>
</goals>
<configuration>
<outputDirectory>${project.build.directory}/libs</outputDirectory>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
Al ejecutar mvn package
, después de sus cositas, me genera lo siguiente:
root
+-target
| +-calles-1.0.jar
| +libs
+-spark-sql_2.12-2.4.5.jar
...
Una vez compilado, me sitúo en el directorio target
, e intento ejecutar:
>cd target
>CLASSPATH='/calles/target/libs' java -jar calles-1.0.jar
Pero parece que no le gusta:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession at Calles.main(Calles.java:10)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
... 1 more
También he intentado:
Indicando como
CLASSPATH
la ruta relativa>cd target >CLASSPATH='libs' java -jar calles-1.0.jar
Cambiando el
scope
de la dependencia en enpom.xml
. En este caso, me ha mostrado distintos errores de compilación, así que lo he dejado como indico,<scope>compile</scope>
.Colocando en
CLASSPATH
la lista de todos los.jar
, separados por:
(estoy en Linux):CLASSPATH=`find /root/calles/target/libs | paste -sd ':'` java -jar calles-1.0.jar
Y siempre he obtenido el mismo resultado.
No estoy usando ningún IDE; estoy dentro de un docker basado en Ubuntu 20.04 LTS, donde solo tengo un editor de texto.
- ¿ Que estoy haciendo mal ?
- ¿ Cómo lo soluciono ?
com.indizen.malaga.bla.Calles
<mainClass>Calles</mainClass>
es correcto. Lo primero que tengo en mimain( )
es unprintln( ... )
y eso si lo imprime. El problema no va por ahí, está en la carga de los.jar
con las dependencias.