EDIT: SOLUCIONADO: El problema es que estaba considerando la basepath como archivo y no como carpeta. Aprovecho de agradecer a abulafia por hacerme ver el error. adjunto codigo para el que le interese:
import pyprind
import pandas as pd
import os
basepath = 'C:/aclImdb'
labels = {'pos': 1, 'neg': 0}
pbar = pyprind.ProgBar(50000)
df = pd.DataFrame()
for s in ('test', 'train'):
for l in ('pos', 'neg'):
path = os.path.join(basepath, s, l)
for file in os.listdir(path):
with open(os.path.join(path, file), 'r', encoding='utf-8') as infile:
txt = infile.read()
df = df.append([[txt, labels[l]]], ignore_index=True)
pbar.update()
df.columns = ['review', 'sentiment']
He estado estudiando un libro de machine learning y me enfrento a este error que aun no puedo solucionar: ValueError: listdir: path too long for Windows
, recurro a ustedes para ver si me pueden ayudar con esto, gracias
He probado con descargar un software que se llama longpath tool , y un par de cosas más pero aun no puedo resolverlo. si alguien me ilumina seria e mucha ayuda saludos
The IMDB movie review set can be downloaded from http://ai.stanford.edu/~amaas/data/sentiment/. After downloading the dataset, decompress the files.
El codigo es:
import pyprind
import pandas as pd
import os
from sys import argv
path = pd.read_csv("data", header=None)
path.head(3)
pbar = pyprind.ProgBar(50000)
labels = {'pos':1, 'neg':0}
path = path.to_string()
for s in ('test', 'train'):
for l in ('pos', 'neg'):
path = os.path.join(path, s, l)
for file in os.listdir(path):
with open(os.path.join(path,'r', encoding='utf-8')) as infile:
txt = infile.read()
path = path.append([[txt, labels[l]]], ignore_index=True)
pbar.update()
path.columns = ['review', 'sentiment']
el error es:
ValueError Traceback (most recent call last)
<ipython-input-15-d83afc0ae5a8> in <module>
2 for l in ('pos', 'neg'):
3 path = os.path.join(path, s, l)
----> 4 for file in os.listdir(path):
5 with open(os.path.join(path,'r', encoding='utf-8')) as infile:
6 txt = infile.read()
ValueError: listdir: path too long for Windows ```
path
es un datframe. Por tanto supongo que tendrá varias filas, columnas, etc... Pero poco después lo conviertes en una cadena lo que generará un texto con las celdas separadas por tabuladores, y las filas separadas por retornos de carro. Una cadena que supongo larguísima (en realidad dependerá de cuántas filas tenga la tabla), y que obviamente no es un nombre de directorio, pero más adelante lo intentas usar como si lo fuera...