3

Muy buenas. Lo primero he de decir que soy usuario primerizo de Hive, por lo que mi error puede que sea un error de principiante. Mi problema es el siguiente:

Esto intentando crear una tabla con cinco columnas (game-clock, time, game-event, shot-clock, location) a partir de el siguiente XML de prueba:

<sequences period=”5″>
<moment game-clock=”300.00″ time=”1433732215737″ game-event-id=”” shot-clock=”24.00″ locations=”-1,-1,96.95182,1.98648,5.75987;9,173004,45.54661,17.35545,0;9,338365,24.04722,25.67399,0;9,457611,46.95292,27.93478,0;9,468895,48.59834,33.96586,0;9,552336,33.73381,24.05929,0;5,214152,59.26872,24.12006,0;5,253997,45.71551,17.41071,0;5,457186,48.59834,33.96586,0;5,531447,78.09629,34.24688,0;5,552806,47.79678,22.8155,0″ /> 
<moment game-clock=”300.00″ time=”1433732215794″ game-event-id=”” shot-clock=”24.00″ locations=”-1,-1,97.79683,.89407,3.67626;9,173004,45.62283,17.34854,0;9,338365,24.04248,25.6784,0;9,457611,46.84978,27.8463,0;9,468895,48.52017,33.89189,0;9,552336,33.74064,24.03493,0;5,214152,59.27282,24.07895,0;5,253997,45.87101,17.38532,0;5,457186,48.52017,33.89189,0;5,531447,78.06394,34.2155,0;5,552806,47.8269,22.81393,0″ /> 
<moment game-clock=”300.00″ time=”1433732215829″ game-event-id=”” shot-clock=”24.00″ locations=”-1,-1,97.78946,.91006,3.68332;9,173004,45.61995,17.35703,0;9,338365,24.03815,25.68402,0;9,457611,46.71077,27.71191,0;9,468895,48.37095,33.77756,0;9,552336,33.74769,24.00829,0;5,214152,59.27627,24.06055,0;5,253997,46.00077,17.36555,0;5,457186,48.37095,33.77756,0;5,531447,78.0439,34.20521,0;5,552806,47.84297,22.83292,0″ /> 
<moment game-clock=”300.00″ time=”1433732215856″ game-event-id=”” shot-clock=”24.00″ locations=”-1,-1,97.73786,1.02206,3.73271;9,173004,45.57851,17.34979,0;9,338365,24.04207,25.61049,0;9,457611,46.63871,27.56226,0;9,468895,48.2033,33.7142,0;9,552336,33.75497,23.97935,0;5,214152,59.27906,24.06485,0;5,253997,46.10481,17.35141,0;5,457186,48.29748,33.63262,0;5,531447,78.03618,34.216,0;5,552806,47.84498,22.87247,0″ /> 
<moment game-clock=”300.00″ time=”1433732215905″ game-event-id=”” shot-clock=”24.00″ locations=”-1,-1,97.59781,1.32606,3.8668;9,173004,45.57865,17.34643,0;9,338365,24.04224,25.61058,0;9,457611,46.56615,27.44014,0;9,468895,48.01722,33.7018,0;9,552336,33.76247,23.94813,0;5,214152,59.27976,24.07223,0;5,253997,46.26668,17.38672,0;5,457186,48.29974,33.45708,0;5,531447,78.02931,34.2208,0;5,552806,47.86752,22.85019,0 ″/>

Para ello, estoy utilizando el regex SerDe para crear la tabla. El CREATE TABLE que estoy utilizando es el siguiente:

CREATE EXTERNAL TABLE sample_xml (
 gameClock string,
 time string,
 gameEventId string,
 shotClock string, 
 locations string 
) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ('input.regex'='(\d+.\d+)″\stime=”(\d+)″\sgame-event-id=”[0-9]*”\sshot-clock=”(\d+.\d+)″\slocations=(”(-?\d,-?\d+,\d+\.\d+,\d*\.\d+,\d\.?\d*;?)+\s?″)') 
LOCATION '/tmp/pruebas/xml';

Al ejecutar el CREATE TABLE recibo el siguiente error:

org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: ParseException line 9:37 mismatched input '(' expecting StringLiteral near '=' in specifying key/value property

¿Alguna idea de qué estoy haciendo mal?

5
  • Estoy ofreciendo una recompensa en esta pregunta (en la que el autor probablemente no siga activo), por lo que por favor les pido no publicar respuestas a menos que estén completamente seguros de que es la solución definitiva, y que quede muy claro cómo se resuelve. Por favor, abstenerse de publicar respuestas del tipo "intenta esto" o similares (que obtendrían mi -1 automáticamente). Que quede claro que el error no es porque el texto no coincide con el regex, sino de algo específico de la implementación.
    – Mariano
    Commented el 15 feb. 2018 a las 1:59
  • No conozco mucho el tema, pero creo que hay un error con el uso de comillas dobles, si te fijas, hay comillas dobles normales y después otras que están como inclinadas, así que imagino que el problema será que la cadena está mal. Pero repito, ni idea, solo es para ayudar si es que es el caso.
    – track3r
    Commented el 16 feb. 2018 a las 9:58
  • "Error while compiling statement" que más indica??? @Jonzz
    – Jorgesys
    Commented el 20 feb. 2018 a las 1:28
  • @Mariano He encontrado esto: issues.apache.org/jira/browse/HIVE-9626. El punto y coma del final parece que podría ser la causa del problema, que se solucionaría al escaparlo Commented el 20 feb. 2018 a las 12:30
  • @PabloLozano Puede ser. No manejo el tema, por eso puse la recompensa para ver si se puede responder... Si lográs crear un ejemplo que demuestre que funciona, es tuya
    – Mariano
    Commented el 20 feb. 2018 a las 23:25

1 respuesta 1

0

NO RESUELVE EL PROBLEMA. Según lo expresado por el autor, esta respuesta no soluciona el problema que está teniendo (sigue mostrando el mismo error). Había eliminado esta respuesta, y luego puse una recompensa para buscar que se responda... sin éxito. Recupero la respuesta, en caso de que a alguien le sirva como guía para ayudarlo a responder correctamente, o si está teniendo un problema similar y algo de esto lo puede ayudar.
Mi recompensa sigue implícita para cualquiera que demuestre una solución probada (idealmente explicando generalidades de aplicar un regex en SERDEPROPERTIES). Sólo dejen un mensaje bajo esta respuesta para recibirla.

Agrego también una modificación sugerida por Pablo Lozano, escapando los ;, que el autor de la pregunta no llegó a evaluar (no parecería estar activo).

Sigue mi respuesta original (modificada con esto último)...


Nota: no tengo idea de Hive, pero me arriesgo con una respuesta

Según Row Formats & SerDe, los parámetros de SERDEPROPERTIES se deben pasar con comillas dobles.

Además, para corregir en tu regex:

  • Los punto y comas (;) sirven para separar propiedades de SERDE, por eso, dentro de la expresión se deben escapar como \;.
    Más info en Hive CREATE table failed using regular experssion serde.
  • como el regex es interpretado por la API de Java, se deben escapar las \ como \\.
  • Faltó escapar un punto como \\..
  • Faltaba crear un grupo (paréntesis) para game-event.
  • El último grupo no debería generar una captura. En vez de (grupo) se usa (?:grupo) para poder repetirlo, pero sin capturarlo.
  • Los paréntesis de locations deberían estar dentro de las comillas.
CREATE EXTERNAL TABLE sample_xml (
 gameClock string,
 time string,
 gameEventId string,
 shotClock string, 
 locations string 
) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ("input.regex"="(\\d+\\.\\d+)″\\stime=”(\\d+)″\\sgame-event-id=”([0-9]*)”\\sshot-clock=”(\\d+\\.\\d+)″\\slocations=”((?:-?\\d,-?\\d+,\\d+\\.\\d+,\\d*\\.\\d+,\\d+(?:\\.\\d+)?\;?)+)\\s?″") 
LOCATION '/tmp/pruebas/xml';
2
  • Gracias por responder @Mariano, pero sigo teniendo el mismo error. He hecho mas pruebas con un log de servidor y si he conseguido que funcionara. Las lineas del log son asi: May 3 11:52:54 cdh-dn03 init: tty (/dev/tty6) main process (1208) killed by TERM signal. Y la expresion regular que he utilizado ha sido la siguiente: "input.regex" = "(\\w+)\\s+(\\d+)\\s+(\\d+:\\d+:\\d+)\\s+(\\w+\\W*\\w*)\\s+(.*?\\:)\\s+(.*$)".¿Alguna idea de por que esta regex funciona y no la anterior?
    – Jonzz
    Commented el 9 mar. 2017 a las 8:37
  • @Jonzz lo intenté :\ ... Ahora elimino la respuesta... Desde el punto de vista de una expresión regular de Java, si estabas utilizando la doble barra, no existe ningún motivo para que falle. De hecho, funciona en Java
    – Mariano
    Commented el 9 mar. 2017 a las 8:47

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.