Podría ser un replace de los elementos en la lista, pero además de comilla doble también remueva comilla sencilla:

    String palabrasinQuotes = palabra.replace('"', '').replace("'", '')


ejemplo:

      directorios[direct].append(lista[num].replace('"', '').replace("'", ''))