0

cómo puedo cambiar todas las letras A por un 9 y todas las letras B por un 8 en un RDD con una función lambda. He intentado esto pero no funciona:

rdd.map(lambda a: 9 if a == "A" else a == a)
rdd.map(lambda a: 8 if a == 'B' else a == a)

Mi rdd de ejemplo:

[[u'55', u'A', u'433235', u'12', u'09'], [u'2017', u'B', u'24212', u'4', u'1']]

Y tendría que pasar a:

[[u'55', u'9', u'433235', u'12', u'09'], [u'2017', u'8', u'24212', u'4', u'1']]

Gracias de antemano por vuestra generosa ayuda.

5
  • Creo que la forma correcta sería así: lambda a: "9" if a == "A" else a el 22 jun. 2017 a las 18:55
  • Tampoco funciona. Alguna otra idea? Gracias Patricio
    – Rasha
    el 22 jun. 2017 a las 19:03
  • Sin conocer Spark, la función lambda única para hacer esto en Python sería lambda a: u"9" if a == u"A" else u"8" if a == u"B" else a. Ahora bien, al tratarse de elementos anidados si fuera una lista en Python podriamos hacer lambda a: [u"9" if i == u"A" else u"8" if i == u"B" else i for i in a]. Repito, esto sería en Python puro, no se como está implementado map en Spark
    – FJSevilla
    el 22 jun. 2017 a las 19:47
  • Te lo agradezco pero no me funciona ninguna de las dos maneras :( Gracias por tu ayuda. Espero ayuda de más gente, gracias de antemano!
    – Rasha
    el 22 jun. 2017 a las 19:53
  • Supongo que debes saberlo pero map no cambia los valores dentro de un RDD, de hecho estos son inmutables. map retorna otro RDD nuevo con la función aplicada. Literal de la documentación: "Return a new distributed dataset formed by passing each element of the source through a function func. "
    – FJSevilla
    el 23 jun. 2017 a las 18:23

1 respuesta 1

0

Como dice @FJSevilla, map retorna un RDD nuevo, solo tienes que guardarlo.
Además, el else no es a==a porque eso siempre devolverá True, es simplemente a.

Sería algo así:

rdd_nuevo = rdd.map(lambda a: '9' if a == 'A' else a)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.