Estoy haciendo nlp con pyspark sobre unas opiniones de clientes y quiero ocultar el nombre de la marca de la empresa, reemplazando todas las coincidencias en el texto, por un valor fijo (p.e. "marca"). He intentado creando una función y usando regexp_replace
, pero al tener muchas formas de escribir la marca, no resulta muy práctico, además me parece un poco chapuza lo que estoy usando.
La función que tengo es algo como esto:
def anonimization(column):
col=regexp_replace(column,'las tres hermanas','marca')
col=regexp_replace(col,'treshermanas','marca')
col=regexp_replace(col,'tres hermanas','marca')
col=regexp_replace(col,'la tres hermana','marca')
col=regexp_replace(col,'3hermanas','marca'
col=regexp_replace(col,'las tres herman','marca')
return col
y la llamada es esta:
cleaned_text=cleaned_text.select('ID','Year',anonimization(col('text')).alias('text'),'TypeComment')
Para empezar, no está reemplazando bien las coincidencias y en segundo lugar creo que no es la mejor forma de hacerlo ya que ante cualquier pequeña variación (p.e. un error tipográfico) ya no la identificaría, lo cual implica que la lista en la función puede crecer mucho.
Me gustaría encontrar una forma más eficiente de usar regex_replace
para resolver este problema, o si existe otro método para resolver mi problema.
El texto de entrada ya está pasado a minúscula y se han borrado caracteres extraños.
Estoy usando pyspark sobre spark 2.4.5.