1

Tengo un proyecto mínimo que usa la librería spark-sql.

Mi pom.xml es el siguiente:

<project>
  <modelVersion>4.0.0</modelVersion>
  <groupId>malaga.indizen.com</groupId>
  <artifactId>calles</artifactId>
  <version>1.0</version>

  <properties>
    <maven.compiler.target>8</maven.compiler.target>
    <maven.compiler.source>8</maven.compiler.source>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <maven.test.skip>true</maven.test.skip>     
  </properties>

  <dependencies>
    <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.12</artifactId>
      <version>2.4.5</version>
      <scope>compile</scope>
    </dependency>
  </dependencies>

  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <configuration>
          <archive>
            <manifest>
              <mainClass>Calles</mainClass>
            </manifest>
          </archive>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-dependency-plugin</artifactId>
        <executions>
          <execution>
            <id>copy-dependencies</id>
            <phase>prepare-package</phase>
            <goals>
              <goal>copy-dependencies</goal>
            </goals>
            <configuration>
              <outputDirectory>${project.build.directory}/libs</outputDirectory>
            </configuration>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>
</project>

Al ejecutar mvn package, después de sus cositas, me genera lo siguiente:

root
+-target
|  +-calles-1.0.jar
|  +libs
      +-spark-sql_2.12-2.4.5.jar
...

Una vez compilado, me sitúo en el directorio target, e intento ejecutar:

>cd target
>CLASSPATH='/calles/target/libs' java -jar calles-1.0.jar

Pero parece que no le gusta:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession at Calles.main(Calles.java:10)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession
  at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
  at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
  ... 1 more

También he intentado:

  • Indicando como CLASSPATH la ruta relativa

    >cd target
    >CLASSPATH='libs' java -jar calles-1.0.jar
    
  • Cambiando el scope de la dependencia en en pom.xml. En este caso, me ha mostrado distintos errores de compilación, así que lo he dejado como indico, <scope>compile</scope>.

  • Colocando en CLASSPATH la lista de todos los .jar, separados por : (estoy en Linux):

    CLASSPATH=`find /root/calles/target/libs | paste -sd ':'` java -jar calles-1.0.jar
    

Y siempre he obtenido el mismo resultado.

No estoy usando ningún IDE; estoy dentro de un docker basado en Ubuntu 20.04 LTS, donde solo tengo un editor de texto.

  • ¿ Que estoy haciendo mal ?
  • ¿ Cómo lo soluciono ?
5
  • Puede que este articuo de SOen te ayude
    – Marcos
    Commented el 28 abr. 2020 a las 12:08
  • En el maven-jar-plugin te está faltando indicar que incluya el class path e indicar cuál es la clase principal (la que tiene el main). Ver el primer caso de este tutorial: baeldung.com/executable-jar-with-maven. Luego no tenes que modificar la variable de CLASSPATH en OS.
    – Juan
    Commented el 28 abr. 2020 a las 12:09
  • El main class en el tag del plugin debe ser full qualified: com.indizen.malaga.bla.Calles
    – Juan
    Commented el 28 abr. 2020 a las 12:17
  • @Juan, el <mainClass>Calles</mainClass> es correcto. Lo primero que tengo en mi main( ) es un println( ... ) y eso si lo imprime. El problema no va por ahí, está en la carga de los .jar con las dependencias.
    – Trauma
    Commented el 28 abr. 2020 a las 12:36
  • Fijate el link que te mandé. Ahi hay un par de tags para declarar el class path. Y las veces que yo lo he hecho he tenido que poner el main class con el package completo. En el articulo, el caso tuyo es el primer ejemplo que da.
    – Juan
    Commented el 28 abr. 2020 a las 14:49

2 respuestas 2

1

El siguiente ejemplo lo hice siguiendo las lineas que planteaste: sin ide, solo con maven y un editor de texto. Use un ubunto 18.04 casi pelado, incluso para hacer el ejemplo tuve que instalar maven.

El ejemplo lo hice usando Gson como librería externa en lugar de spark.

En la pregunta no dice nada al respecto, pero use la estructura standard de directorios para un proyecto con maven.

Cuando terminé el ejemplo pude ejecutar el jar desde la carpeta target invocando java -jar calles-1-0.jar.

En el directorio target tenía tanto el jar como el directorio lib con el jar de Gson.

No fue necesario manipular ni el classpath en la linea de comando (-cp) ni modificar la variable de entorno.

Tomé el mismo pom que estabas usando y aparte de reemplazar las dependencias, hice los siguientes cambios en el maven-jar-plugin en la sección de manifest:

1) Agregar el tag <addClasspath>true</addClasspath>
2) Agregar el tag <classpathPrefix>libs/</classpathPrefix>
3) Colocar el nombre completo de la clase principal: <mainClass>com.indizen.malaga.Calles</mainClass>

El Pom

<project>
  <modelVersion>4.0.0</modelVersion>
  <groupId>malaga.indizen.com</groupId>
  <artifactId>calles</artifactId>
  <version>1.0</version>

  <properties>
    <maven.compiler.target>8</maven.compiler.target>
    <maven.compiler.source>8</maven.compiler.source>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <maven.test.skip>true</maven.test.skip>     
  </properties>
  <dependencies>
    <dependency>
          <!-- https://mvnrepository.com/artifact/com.google.code.gson/gson -->
          <groupId>com.google.code.gson</groupId>
          <artifactId>gson</artifactId>
          <version>2.8.5</version>
    </dependency>
  </dependencies>
  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <configuration>
          <archive>
            <manifest>
                <addClasspath>true</addClasspath>
                <classpathPrefix>libs/</classpathPrefix> 
                <mainClass>com.indizen.malaga.Calles</mainClass>
            </manifest>
          </archive>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-dependency-plugin</artifactId>
        <executions>
          <execution>
            <id>copy-dependencies</id>
            <phase>prepare-package</phase>
            <goals>
              <goal>copy-dependencies</goal>
            </goals>
            <configuration>
              <outputDirectory>${project.build.directory}/libs</outputDirectory>
            </configuration>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>
</project>

La Clase Principal

package com.indizen.malaga;

import com.google.gson.Gson;


public class Calles {
    public static void main(String [] args) {
        Calles calles = new Calles();

        calles.run(args);
    }

    public void run(String [] args) {
        UnaClaseSimple unaClaseSimple = new UnaClaseSimple();
        unaClaseSimple.setAtributo1("Hola");
        unaClaseSimple.setAtributo2("Todos");

        String json = new Gson().toJson(unaClaseSimple);
        System.out.println(json);

    }
}

Una auxiliar para que el programa haga algo usando la libreria

package com.indizen.malaga;

public class UnaClaseSimple {
    private String atributo1;
    private String atributo2;

    public String getAtributo1() {
        return this.atributo1;
    }

    public String getAtributo2() {
        return this.atributo2;
    }

    public void setAtributo1(final String s) {
        this.atributo1 = s;
    }

    public void setAtributo2(final String s) {
        this.atributo2 = s;
    }
}

Resultado de la ejecución:

[INFO] --- maven-install-plugin:2.4:install (default-install) @ calles ---
[INFO] Installing /home/jb007/Workspaces/java/ExecJar/target/calles-1.0.jar to /home/jb007/.m2/repository/malaga/indizen/com/calles/1.0/calles-1.0.jar
[INFO] Installing /home/jb007/Workspaces/java/ExecJar/pom.xml to /home/jb007/.m2/repository/malaga/indizen/com/calles/1.0/calles-1.0.pom
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  2.487 s
[INFO] Finished at: 2020-04-28T22:23:56-03:00
[INFO] ------------------------------------------------------------------------
jb007@ubuntu:~/Workspaces/java/ExecJar$ cd target
jb007@ubuntu:~/Workspaces/java/ExecJar/target$ java -jar calles-1.0.jar
{"atributo1":"Hola","atributo2":"Todos"}
0

creo que al hacer directamente mvn package, no has descargado en local, la libreria de spark, deberias hacer mvn install, antes de ejecutar: mvn package, para que pueda encontrar el jar de spark en tu máquina e incluirlo al empaquetarlo. Por esa razón no la encuentra.

2
  • En la pregunta indico la jerarquía de directorios que me resulta de mvn package, y, dentro de libs, si está spark-sql_2.12-2.4.5.jar
    – Trauma
    Commented el 28 abr. 2020 a las 10:07
  • ¿Puedes subir el proyecto, para que veamos el error y te comentamos? Commented el 28 abr. 2020 a las 16:04

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.