0

Estoy haciendo nlp con pyspark sobre unas opiniones de clientes y quiero ocultar el nombre de la marca de la empresa, reemplazando todas las coincidencias en el texto, por un valor fijo (p.e. "marca"). He intentado creando una función y usando regexp_replace, pero al tener muchas formas de escribir la marca, no resulta muy práctico, además me parece un poco chapuza lo que estoy usando.

La función que tengo es algo como esto:

def anonimization(column):
    col=regexp_replace(column,'las tres hermanas','marca')
    col=regexp_replace(col,'treshermanas','marca')
    col=regexp_replace(col,'tres hermanas','marca')
    col=regexp_replace(col,'la tres hermana','marca')
    col=regexp_replace(col,'3hermanas','marca'
    col=regexp_replace(col,'las tres herman','marca')
                         
    return col

y la llamada es esta:

cleaned_text=cleaned_text.select('ID','Year',anonimization(col('text')).alias('text'),'TypeComment')

Para empezar, no está reemplazando bien las coincidencias y en segundo lugar creo que no es la mejor forma de hacerlo ya que ante cualquier pequeña variación (p.e. un error tipográfico) ya no la identificaría, lo cual implica que la lista en la función puede crecer mucho.

Me gustaría encontrar una forma más eficiente de usar regex_replace para resolver este problema, o si existe otro método para resolver mi problema.

El texto de entrada ya está pasado a minúscula y se han borrado caracteres extraños.

Estoy usando pyspark sobre spark 2.4.5.

1 respuesta 1

1

Para lo que vos estás pidiendo creo que antes de tratar de hacer que todos las palabras coincidan trataría de evaluar la similitud entre las dos cadenas de string y en base a eso filtrarlo. Me voy a valer para la solución de la distancia de Levenshtein y lo voy a filtrar por un número fijo.

Cambié la función agregando como parámetro el DataFrame y la marca a filtrar. Mi código a la solución con un DataFrame de ejemplo:

from pyspark.sql import SparkSession
from pyspark.sql.functions import lower, col, regexp_replace, udf, levenshtein, lit, expr, when
from pyspark.sql.types import *

spark = SparkSession.builder.master("local").appName("String Distance").getOrCreate()

df = spark.createDataFrame(
    [(1, 33, 'las tres hermanas'),
    (2, 45, 'treshermanas'),
    (3, 12, 'tres hermanas'),
    (4, 14, 'la tres hermana'),
    (5, 73, '3hermanas'),
    (6, 62, 'las tres herman'),
    (7, 14, 'la tres HERMANAS'),
    (8, 14, 'son todas diferntes'),
    (10, 12, 'tres tristes tigres'),], ['id', 'cantidad', 'marca'])

df.show()
"""
+---+--------+-------------------+
| id|cantidad|              marca|
+---+--------+-------------------+
|  1|      33|  las tres hermanas|
|  2|      45|       treshermanas|
|  3|      12|      tres hermanas|
|  4|      14|    la tres hermana|
|  5|      73|          3hermanas|
|  6|      62|    las tres herman|
|  7|      14|   la tres HERMANAS|
|  8|      14|son todas diferntes|
| 10|      12|tres tristes tigres|
+---+--------+-------------------+
"""

def anonimization(dataframe, marca):
    marca_control = marca.lower().replace(" ", "")
    stringDistanceDf = dataframe.\
        withColumn("marca_limpia", regexp_replace(lower(col("marca")), " ", "")).\
        withColumn("control_str", lit(marca_control)).\
        withColumn("string_distance", levenshtein(col("marca_limpia"), col("control_str")))

    new_column_2 = when(col("string_distance") <= 7 , lit("marca")).otherwise(lit("desconocido"))
    finalDf = stringDistanceDf.\
        withColumn("marca_anom", new_column_2).\
        drop("marca","marca_limpia","control_str","string_distance")
    return finalDf

marca = "LAS TRES HERMANAS"
testDf = anonimization(df, marca)
testDf.show()
"""
+---+--------+-----------+
| id|cantidad| marca_anom|
+---+--------+-----------+
|  1|      33|      marca|
|  2|      45|      marca|
|  3|      12|      marca|
|  4|      14|      marca|
|  5|      73|      marca|
|  6|      62|      marca|
|  7|      14|      marca|
|  8|      14|desconocido|
| 10|      12|desconocido|
+---+--------+-----------+
"""

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.