0

No quiero agregar archivos .csv en mi repositiorio github entonces he escrito en .gitignore :

# Compiled source #
###################
*.csv

Pero me contesto el terminal :

mike@mike-thinks:~/Data/on_2018_04_25_16_43_17$ git push origin master
Username for 'https://github.com': Antoinecomp
Password for 'https://[email protected]': 
Counting objects: 52, done.
Delta compression using up to 4 threads.
Compressing objects: 100% (50/50), done.
Writing objects: 100% (52/52), 20.38 MiB | 2.06 MiB/s, done.
Total 52 (delta 14), reused 0 (delta 0)
remote: Resolving deltas: 100% (14/14), done.
remote: error: GH001: Large files detected. You may want to try Git Large File Storage - https://git-lfs.github.com.
remote: error: Trace: 12b8a656f736b8819c2b79c59ba5bace
remote: error: See http://git.io/iEPt8g for more information.
remote: error: File kis20180424140552.xml is 254.75 MB; this exceeds GitHub's file size limit of 100.00 MB
To https://github.com/antoinecomp/classificationTree.git
 ! [remote rejected] master -> master (pre-receive hook declined)
error: failed to push some refs to 'https://github.com/antoinecomp/classificationTree.git'

Entonces intenté limpiar el cache pero nunca funciana tampoco :

mike@mike-thinks:~/Data/on_2018_04_25_16_43_17$ git rm --cached option
fatal: pathspec 'option' did not match any files

¿Cómo hacer que git ya no considere que los archivos csv son demasiado grandes para almacenarse?

Actualización :

aqui esta el repositorio :

mike@mike-thinks:~/Data/on_2018_04_25_16_43_17$ ls
AccreditationByHep.csv              kis20180424140552.xml
AccreditationByHepModified.csv      KISAIM.csv
AccreditationByHepModifiedTest.txt  KISCOURSE.csv
ACCREDITATION.csv                   LOCATION.csv
ACCREDITATIONTABLE.csv              logstash_AccreditationByHep.config
COMMON.csv                          Main.py
CONTINUATION.csv                    NHSNSS.csv
COURSELOCATION.csv                  NSS.csv
DEGREECLASS.csv                     __pycache__
Elastic.py                          README.md
EMPLOYMENT.csv                      readme.txt
ENTRY.csv                           SALARY.csv
GetCourses.py                       SBJ.csv
get-pip.py                          setServer.py
INSTITUTION.csv                     TARIFF.csv
JOBLIST.csv                         Trees.xlsx
JOBTYPE.csv                         UCASCOURSEID.csv

1 respuesta 1

6

Te está reclamando por el archivo kis20180424140552.xml, no por un CSV.

Pero yendo al plano general, si tienes agregados archivos de gran tamaño al control de versiones, sean éstos XML, CSV o lo que quieras, al añadir *.csv o *.xml al .gitignore puedes des-versionarlos con

git rm --cached <ruta relativa del archivo>

En tu caso aparentemente option no es un subdirectorio en la raíz del proyecto y git rm no puede encontrarlo. A lo mejor lo que quieres hacer es

git rm --cached subdirectorio/*.csv

Y después de eso comittear el estado en donde ese archivo ha sido eliminado del control de versiones (aunque sigue físicamente ahí, sólo que está ignorado).

PEEEEERO..., si ese archivo de gran tamaño estuvo en tu control de versiones alguna vez, éste sigue en el historial, y la idea de GIT es que el proyecto contenga todas las referencias a todos los archivos que alguna vez pasaron por control de versiones. Por mucho que lo elimines de tu HEAD, las referencias lo contienen y al sincronizar con Github intentarán subir esa referencia.

¿Cómo eliminar ese archivo del historial para siempre jamás?

Bueno, primero yo partiría listando los archivos que pesan más que el límite de Github (100MB)

git rev-list --objects --all \
| git cat-file --batch-check='%(objectsize) %(rest)' \
| awk '$1 >= 100 * 2^20' \  # Filtro lo que pesa más que 100 * 1MB
| sort --numeric-sort --key=1 \
| numfmt --field=1 --to=iec-i --suffix=B --padding=7 --round=nearest

Esto entregará una lista en donde aparecerá, por ejemplo:

255MiB kis20180424140552.xml

Por lo cual necesitas eliminar ese archivo de la historia para siempre. Por si acaso, saca una copia en otra carpeta para devolver ese archivo cuando termine el proceso. en el caso que se pierda.

Para eliminar ese archivo de la historia para siempre:

git filter-branch -f --index-filter 'git rm --cached --ignore-unmatch kis20180424140552.xml' HEAD

Para eliminar todos los *.csv de la historia

git filter-branch -f --index-filter 'git rm --cached --ignore-unmatch *.csv' HEAD

Pero ese archivo (o archivos) aún siguen ahí, en tu reflog así que el paso siguiente sería:

rm -rf .git/refs/original/ 
git reflog expire --all 
git gc --prune # opcionalmente puedes añadir --aggressive que es más radical

Con lo cual eliminas la referencia al original, expiras tu reflog y ejecutas el garbage collector

Finalmente, después de ejecutar filter-branch tu historial de commits habrá cambiado. Básicamente te reescribió la historia como si esos archivos nunca hubiesen existido. Eso significa que los hashs de tus commits locales no cuadran con los hashs de github, por lo que tendrás que pushear usando --force

git push origin master --force

Al final del procedimiento los archivos que eliminaste de la historia siguen en tu local, sólo que ahora ya no están sujetos a control de versiones.

PD si en algún momento creaste tags en tu repo, y esos tags contienen el archivo, también tendrás que limpiar los tags.

1
  • Muchas gracias, encontré de nuevo el problema y los aislé en una carpeta y agregué /folder/ * en .gitignore. Sin embargo, hice todo esto a posteriori, ¿cómo no puedo incluir en el repositorio estos archivos? el 23 may. 2018 a las 14:58

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.