0

Buenos días, tengo un problema con el siguiente código:

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

case class Navegacion(fecha_local: String, idusuario: String, ip: String, pais_iso2: String, _F: String, idpageview: String,
                      dominio: String, url: String, idextension: String, extension_version: String, source: String,
                      partner: String, first: String, categoria: String, subcategoria: String, catWS: String)

val conf = new SparkConf().setAppName("Admin")
conf.setMaster("local[1]")
val sc = new SparkContext(conf)
val file = "C:/logs.txt"

val rddFile = sc.textFile(file)
rddFile.filter(row => row != rddFile.first()) //elimino la cabecera
rddFile.foreach(println)

val rddSplit = rddFile.map(line => {
    val arr = line.split(";")
    val catWS = "lo que sea" //Esta variable la calcularé con una función y será distinta cada vez
    new Navegacion(
      arr(0).replaceAll("\"", "").toString, //fecha_local
      arr(1).toString, //idusuario
      arr(2).toString, //ip
      arr(3).toString, //pais_iso2
      arr(4).toString, //_F
      arr(5).toString, //idpageview
      arr(6).toString, //dominio
      arr(7).toString, //url
      arr(8).toString, //idextension
      arr(9).toString, //extension_version
      arr(10).toString, //source
      arr(11).toString, //partner
      arr(12).toString, //first
      arr(13).toString, //categoria
      arr(14).replaceAll("\"", "").toString,
      catWS.toString) //categoriaWS)
  })

rddSplit.foreach(println)

El fichero logs.txt tiene la siguiente información:

fecha_local;idusuario;ip;pais_iso2;_F;idpageview;dominio;url;idextension;extension_version;source;partner;first;categoria;subcategoria 20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;009fe203badd9ef18ee5774183fcc1a6;sso.cmpc.com.mx;https://sso.cmpc.com.mx/SSOv2/processJespa;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;;; 20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;00e8c1d5a9b83d1d48c2be423d99b32a;facebook.com;https://www.facebook.com/;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 8; 95
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;00e8c1d5a9b83d1d48c2be423d99b32a;facebook.com;https://www.facebook.com/;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;39678c78aa1a570c04818e9f672375f3;mail.google.com;https://mail.google.com/mail/u/0/;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 8; 98
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;3ab94c00842c80193d9c2da3e01db9b6;google.com.mx;https://www.google.com.mx/webhp?ei=e2MUVbL-JMOmggT3qITgDw&ved=0CAQQqS4oAg;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;40f2aecb272af641e6bde1f0d7908a21;google.com.mx;https://www.google.com.mx/search?q=sillones+de+operacion&biw=1366&bih=643&site=webhp&source=lnms&tbm=isch&sa=X&ved=0ahUKEwiMhdqgsLzMAhVH_WMKHdedD1YQ_AUIBigB;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;43fdc4ae0aeb94c24930177e7bd4b9b5;facebook.com;https://www.facebook.com/;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 8; 95
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;43fdc4ae0aeb94c24930177e7bd4b9b5;facebook.com;https://www.facebook.com/;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;6677ad2493f3f3268e7961822d10173a;google.com.mx;https://www.google.com.mx/webhp?ei=e2MUVbL-JMOmggT3qITgDw&ved=0CAQQqS4oAg;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;7649abae513d74cd05327ca57aa31a78;google.com;https://www.google.com/a/empresascmpc.com/acs;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;7707fc1d9edd388450d926bc4b4c7405;google.com.mx;https://www.google.com.mx/webhp?ie=UTF-8&rct=j;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;7bc8b5662bd8e4c6a2054d6109f95f51;google.com.mx;https://www.google.com.mx/search?rls=aso&client=gmail&q=sci+ssi.proyectos%40hotmail.com+&authuser=0&gws_rd=cr&ei=9ZInV4-2O8vpjgSqm7vQDw;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;7cb60be10047a2d14b6f6291dd8ec7d9;;;jlbdpggcodceafgpkblhoelmoankanjh;80;ADSTRACT|{aff_id};ADSTRACT;;; 20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;90920eb7ffb8492b75687a456dc505c1;google.com.mx;https://www.google.com.mx/url?sa=f&rct=j&url=https://es-la.facebook.com/&q=&esrc=s&ei=DqsnV_XSKcbwjgT-wrfYAQ&usg=AFQjCNFQfedqb_gYW9wFdGVtA4-IjzGbVw;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;a3e58156e1ebc1688bef133d9cfaed2d;google.com.mx;https://www.google.com.mx/search?q=sillon+operativo&biw=1366&bih=643&site=webhp&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjz6JXjsLzMAhVK7mMKHR8WACwQ_AUIBigB;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;ab0c12c3c640e5066ff827abf79c1d4b;thenexttask.com;http://www.thenexttask.com/?utm_source=sf-home;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;;; 20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;b40825c5916911ff23562f0cf4e29796;google.com.mx;https://www.google.com.mx/url?sa=f&rct=j&url=https://es-la.facebook.com/&q=&esrc=s&ei=7MUnV5a_IqbbjgS7kquABQ&usg=AFQjCNH459aM5UmZ_IWh-zFbpddBwCXE6g;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;b84bbd8e135112e5e47bb62be5748ff5;portal.cmpc.com.mx;http://portal.cmpc.com.mx/;jlbdpggcodceafgpkblhoelmoankanjh;80;ADSTRACT|{aff_id};ADSTRACT;;; 20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;c8917341ca1aff1ad129c3684de5a2c1;google.com.mx;https://www.google.com.mx/webhp?ei=e2MUVbL-JMOmggT3qITgDw&ved=0CAQQqS4oAg;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;c89b1bf3ee94205584a2d2436999764e;facebook.com;https://www.facebook.com/;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 8; 95
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;c89b1bf3ee94205584a2d2436999764e;facebook.com;https://www.facebook.com/;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;f93b51cc8dfa9f86fadda49ce0a5e848;google.com.mx;https://www.google.com.mx/webhp?ei=e2MUVbL-JMOmggT3qITgDw&ved=0CAQQqS4oAg#q=sillones+de+operacion;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;; 31; 459
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;00bb3b83d1f7f9a1ce6a2aa815b953b8;oi.bankia.es;https://oi.bankia.es/es/login;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 13; 164
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;0903a3f56aa2f062f9004d08bd0cd5fe;paisdelosjuegos.es;http://www.paisdelosjuegos.es/juegos/dinosaurio?gclid=CJ6epaqHvMwCFfEV0wodt6YH_w;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 28; 357
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;094f88428bacbf123840763a5240c095;facebook.com;https://www.facebook.com/;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 8; 95
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;094f88428bacbf123840763a5240c095;facebook.com;https://www.facebook.com/;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 31; 459
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;0975b579655e757680311c2c6ec62b95;milanuncios.com;http://www.milanuncios.com/camiones-usados/camion-basculante-con-grua.htm?hasta=10000&demanda=n;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 29; 371
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;09ca50dda6debfc3010dcb4b1537e4c9;milanuncios.com;http://www.milanuncios.com/camiones-usados/scania-112.htm?hasta=10000&demanda=n;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 29; 371
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;1300ecd3136c73f81846351e70ce3abd;thenexttask.com;http://www.thenexttask.com/;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;;; 20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;16d930b1791eaf15a989689ab9018d42;oi.bankia.es;https://oi.bankia.es/es/login/;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 13; 164
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;17b0cde478d82bc0cf19f71c5f7cd7c6;paisdelosjuegos.es;http://www.paisdelosjuegos.es/juego/dinosaurio/dinosaur+dash.html;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 28; 357
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;188c0ad2ed48b7cb60cdb5f4f7e16ae0;pinterest.com;https://www.pinterest.com/pin/435160382714835560/?from_navigate=true;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 31; 459
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;1a84b17addf5b35217cc7fc3e71b5e57;amazon.es;http://www.amazon.es/gp/bit/apps/web/SERP/search/ref=bit_bds-p23_serp_cr_es?query=que+tipo+de+musica+cantan+Maria+Callas+y+Luciano+Pavaroti&ie=UTF8&tbrId=v1_abb-channel-23_96a65e4ff4b94b7292ea204e971d4125_39_1006_20140524_ES_cr_ds_es79win-pd&ascsubtag=1ba_0_spk_000-os-device-browser-localeTest-testApp-custom%3AA%7Ccustom%3AB&tag=bds-p23-serp-es-cr-21&tagbase=bds-p23;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 29; 371
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;1b79921d00d221adfe81e6c6c8cbfff2;youtube.com;https://www.youtube.com/watch?v=LGy_w6hCL7E;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 10; 127
20160502;000069be-2f9a-41a6-baae-730cd8780604;83.213.241.17;ES;100004945907632;1b79921d00d221adfe81e6c6c8cbfff2;youtube.com;https://www.youtube.com/watch?v=LGy_w6hCL7E;eikkoifbpgbfhomedpfcahpnghoencio;80;ADW|MEX_ES_00_P_Friv_IDE001_oo_oo_S_A;ADW;; 10; 127

Aparentemente y a mi modo de ver, debería funcionar, pero no consigo que me imprima el resultado del rdd. Algo debo estar haciendo mal, pero no soy capaz de verlo... A ver si podéis echarme una mano.

Muchas gracias de antemano!

1
  • que error tienes?
    – maasg
    el 24 oct. 2016 a las 9:28

2 respuestas 2

0

Los rdd son estructuras distribuidas. Creo que operaciones de entrada y salida no son tan triviales. Deberías tener los datos dentro de tu driver para poder imprimirlos, es decir:

rddSplit.collect.foreach(println)

Tienes que tener cuidado con este tipo de instrucciones porque te pueden desbordar la memoria.

Es muy diferente si escribes los resultados en un fichero. Esa forma debería ser más natural que imprimirlos.

-1

```fecha_local;idusuario;ip;pais_iso2;_F;idpageview;dominio;url;idextension;extension_version;source;partner;first;categoria;subcategoria 20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;009fe203badd9ef18ee5774183fcc1a6;sso.cmpc.com.mx;https://elite-autolavado.com/processJespa;oajabpccenjeimnmjcndiodkcndomfoh;80;ADSTRACT|{aff_id};ADSTRACT;;; 20160502;000064bd-ae88-4535-88bf-3352422799d0;207.248.58.83;MX;100009416501973;00e8c1d5a9b83d1d48c2be423d99b32a;facebook.com;https://www.facebook.com/````

Escribir los datos en un fichero seria mejor opcion

1
  • 3
    Que clase de respuesta es esta? No ayuda en nada ni proporciona ninguna informacion
    – Capt.Teach
    el 18 sep. 2019 a las 12:11

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.