0

Estoy tratando de crear una rutina que permita importar archivos cuyos nombres están contenidos en una lista. He revisado varios foros y las sugerencias no me han funcionado. Les describo las diferentes actividades con mis códigos:

#Definición de una función para cargar los registros, todos poseen la misma estructura 
def import_files(file_name):
    df = pd.read_csv(file_name, header=None, delimiter=r"\s+")
    df.columns = ['Tiempo','Este', 'Norte', 'Vertical']

Hay un archivo que contiene un listado, donde aparece parte del nombre de los archivos que se van a importar, la estructura del archivo es mas o menos como esta:

Estacion

 - 0    Nombre1
 - 1    Nombre2
 - 2    Nombre3
 - 3    Nombre4
 - 4    Nombre5
 - 5    Nombre6
 - 6    Nombre7
 - 7    Nombre8
 - 8    Nombre9
 - 9    Nombre10

Función para realizar la búsqueda de archivos utilizando una palabra clave. El input de la función es la ruta y keyword. Como salida genera el nombre del archivo que posee la keyword

def files_with_compare(root_folder, keyword):
    for filename in glob.iglob(os.path.join('**', '*'+ keyword + '.TXT'), recursive=True):
        return filename

Los nombres de los archivos no coinciden exactamente con los nombres de la lista, por lo cual realizo una búsqueda utilizando como palabra clave la que se encuentra contenida en la lista.

Con las funciones antes mencionadas he intentado importar los archivos, pero me arroja errores, el loop que estoy utilizando es el siguiente:

for i in range(0,n):
    nombres[i] = import_files(files_with_compare(ruta, nombres[i]))

Donde ruta es la ubicación de la carpeta donde estan los archivos, nombres es la lista que contiene parte del nombre de los archivos y n es la longitud de la lista.

Al intentar me arroja el siguiente error:

---
ValueError                                Traceback (most recent call last)
<ipython-input-226-345d3656fd60> in <module>
      1 for i in range(0,n):
----> 2     nombres[i] = import_files(files_with_compare(ruta, nombres[i]))

<ipython-input-90-4e13a4243b2b> in files_with_compare(root_folder, keyword)
      5 
      6 def files_with_compare(root_folder, keyword):
----> 7     for filename in glob.iglob(os.path.join('**', '*'+ keyword + '.ENZ'), recursive=True):
      8         return filename

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\ops\__init__.py in f(self, other, axis, level, fill_value)
    781                 self = self.fillna(fill_value)
    782 
--> 783             new_data = dispatch_to_series(self, other, op, str_rep)
    784             return self._construct_result(new_data)
    785 

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\ops\__init__.py in dispatch_to_series(left, right, func, str_rep, axis)
    379         # Get the appropriate array-op to apply to each block's values.
    380         array_op = get_array_op(func, str_rep=str_rep)
--> 381         bm = left._data.apply(array_op, right=right)
    382         return type(left)(bm)
    383 

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\managers.py in apply(self, f, filter, **kwargs)
    438 
    439             if callable(f):
--> 440                 applied = b.apply(f, **kwargs)
    441             else:
    442                 applied = getattr(b, f)(**kwargs)

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\blocks.py in apply(self, func, **kwargs)
    388         """
    389         with np.errstate(all="ignore"):
--> 390             result = func(self.values, **kwargs)
    391 
    392         if is_extension_array_dtype(result) and result.ndim > 1:

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\ops\array_ops.py in arithmetic_op(left, right, op, str_rep)
    195     else:
    196         with np.errstate(all="ignore"):
--> 197             res_values = na_arithmetic_op(lvalues, rvalues, op, str_rep)
    198 
    199     return res_values

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\ops\array_ops.py in na_arithmetic_op(left, right, op, str_rep)
    147 
    148     try:
--> 149         result = expressions.evaluate(op, str_rep, left, right)
    150     except TypeError:
    151         result = masked_arith_op(left, right, op)

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\computation\expressions.py in evaluate(op, op_str, a, b, use_numexpr)
    206     use_numexpr = use_numexpr and _bool_arith_check(op_str, a, b)
    207     if use_numexpr:
--> 208         return _evaluate(op, op_str, a, b)
    209     return _evaluate_standard(op, op_str, a, b)
    210 

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\computation\expressions.py in _evaluate_numexpr(op, op_str, a, b)
    112             f"a_value {op_str} b_value",
    113             local_dict={"a_value": a_value, "b_value": b_value},
--> 114             casting="safe",
    115         )
    116 

C:\ProgramData\Anaconda3\lib\site-packages\numexpr\necompiler.py in evaluate(ex, local_dict, global_dict, out, order, casting, **kwargs)
    820     # Create a signature
    821     signature = [(name, getType(arg)) for (name, arg) in
--> 822                  zip(names, arguments)]
    823 
    824     # Look up numexpr if possible.

C:\ProgramData\Anaconda3\lib\site-packages\numexpr\necompiler.py in <listcomp>(.0)
    819 
    820     # Create a signature
--> 821     signature = [(name, getType(arg)) for (name, arg) in
    822                  zip(names, arguments)]
    823 

C:\ProgramData\Anaconda3\lib\site-packages\numexpr\necompiler.py in getType(a)
    701     if kind == 'S':
    702         return bytes
--> 703     raise ValueError("unknown type %s" % a.dtype.name)
    704 
    705 

ValueError: unknown type str32
---
Si me pueden ayudar se los agradezco,
5
  • Holaa Ronny, pon un print en import_files, al inicio de la función, así: print(repr(file_name)) y mira que te retorna justo antes de la excepción, así mismo trata de parsear ese archivo directamente con la función: import_files("ruta_del_archivo") a ver si obtienes el mismo error.
    – FJSevilla
    Commented el 13 may. 2020 a las 13:27
  • Puedes incluir un ejemplo del archivo? A ver como se puede tratar. No el ejemplo con bullet list que has puesto Commented el 13 may. 2020 a las 14:08
  • Buenas tardes y muchas gracias por el apoyo. La estructura del archivo estaciones es la siguiente: ALPHA 123456 3216540 123 BETHA 456789 9874560 123 GAMMA 987456 8523690 125 RHO 147258 1478520 552 OMEGA 369258 0258963 730 Donde cada nombre como ALPHA aparece dentro de la estructura del nombre del archivo como 'SOW007_ALPLA_TXT' y este archivo contiene 4 columnas con datos similar a esta: 4.0000000e-003 8.1302931e-005 1.9393170e-003 -3.2813625e-006 8.0000000e-003 2.6209186e-004 2.0740270e-003 8.8202006e-007 1.2000000e-002 4.5298674e-004 2.2126827e-003 1.4360032e-005
    – Ronny
    Commented el 13 may. 2020 a las 16:25
  • Buenas tardes @FJSevilla, el print delante de la función arroja error de sintaxis. Cuando lo aplico para 1 estación funciona: nombres[1] = import_files(files_with_compare(ruta, nombres[1])) pero no lo asigna a la variable de la lista se almacena como nombres[1].
    – Ronny
    Commented el 13 may. 2020 a las 16:37
  • Con el print me refiero a colocarlo justo debajo de def import_files(file_name):, al mismo nivel que df = pd.read_csv(file_name, header=None, delimiter=r"\s+") pero antes de ella, la idea es ver que recibe la función cuando falla.
    – FJSevilla
    Commented el 13 may. 2020 a las 16:47

1 respuesta 1

0

te recomiendo que separes primero el problema por partes, para ver donde puede estar el error. Es decir, la función que lea un archivo teniendo el path, la lista de direcciones donde buscar los archivos, y por último la función que lea todos los archivos que necesitas. Sin embargo, te hago algunos comentarios de algunos puntos que veo independientemente del problema:

  • La primer función, cuando pandas lee el archivo, el delimitador debe ir sin la "r" del principio. Debería ser sep = "\s+" (https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html)
  • En la funcion "files_with_compare" por como esta planteada, el bucle se ejecuta una vez sola debido al return. No va a iterar. Se forma el objeto iterabale "glob.iglob(os.pa...", la ejecución ingresa al bucle y termina.

Espero puedas solucionar el problema.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.