0

Tengo un data frame que es producto de reiterados merge de bases de datos publicas, de modo que tiene casi 7000 variables y más de 32 mil observaciones. Cree un repositorio en github, espero que se pueda ver bien la base con la que trabajo de este modo. https://github.com/florenciagayraud/usaidpry

   > str(usaid_pry)
'data.frame':   32849 obs. of  6738 variables:
$ country: chr  "Abkhazia" "Abkhazia" "Abkhazia" "Abkhazia" ...
$ year: chr  "2008" "2009" "2010" "2011" ...
$ Country Code: chr  NA NA NA NA ...
$ Region_rol: chr  NA NA NA NA ...
$ Income Group: chr  NA NA NA NA ...
$ WJP Rule of Law Index: Overall Score: num  NA NA NA NA NA NA NA NA NA NA ...
$ Factor 1: Constraints on Government Powers: num  NA NA NA NA NA NA NA NA NA NA ...
$ 1.1 Government powers are effectively limited by the legislature: num  NA NA NA NA NA NA NA NA NA NA ...
$ 1.2 Government powers are effectively limited by the judiciary: num  NA NA NA NA NA NA NA NA NA NA ...
$ 1.3 Government powers are effectively limited by independent auditing and review                  : num  NA NA NA NA NA NA NA NA NA NA ...
$ 1.4 Government officials are sanctioned for misconduct: num  NA NA NA NA NA NA NA NA NA NA ...
$ 1.5 Government powers are subject to non-governmental checks: num  NA NA NA NA NA NA NA NA NA NA ...
$ 1.6 Transition of power is subject to the law: num  NA NA NA NA NA NA NA NA NA NA ...
$ Factor 2: Absence of Corruption: num  NA NA NA NA NA NA NA NA NA NA ...
$ 2.1 Government officials in the executive branch do not use public office for private gain        : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 2.2 Government officials in the judicial branch do not use public office for private gain         : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 2.3 Government officials in the police and the military do not use public office for private gain : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 2.4 Government officials in the legislative branch do not use public office for private gain      : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Factor 3: Open Government                                                                         : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 3.1. Publicized laws and government data                                                          : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 3.2 Right to information                                                                          : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 3.3 Civic participation                                                                           : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 3.4 Complaint mechanisms                                                                          : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Factor 4: Fundamental Rights                                                                      : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 4.1 Equal treatment and absence of discrimination                                                 : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 4.2 The right to life and security of the person is effectively guaranteed                        : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 4.3 Due process of the law and rights of the accused                                              : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 4.4 Freedom of opinion and expression is effectively guaranteed                                   : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 4.5 Freedom of belief and religion is effectively guaranteed                                      : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 4.6 Freedom from arbitrary interference with privacy is effectively guaranteed                    : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 4.7 Freedom of assembly and association is effectively guaranteed                                 : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 4.8 Fundamental labor rights are effectively guaranteed                                           : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Factor 5: Order and Security                                                                      : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 5.1 Crime is effectively controlled                                                               : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 5.2 Civil conflict is effectively limited                                                         : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 5.3 People do not resort to violence to redress personal grievances                               : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Factor 6: Regulatory Enforcement                                                                  : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 6.1 Government regulations are effectively enforced                                               : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 6.2 Government regulations are applied and enforced without improper influence                    : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 6.3 Administrative proceedings are conducted without unreasonable delay                           : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 6.4 Due process is respected in administrative proceedings                                        : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 6.5 The government does not expropriate without lawful process and adequate compensation          : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Factor 7: Civil Justice                                                                           : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 7.1 People can access and afford civil justice                                                    : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 7.2 Civil justice is free of discrimination                                                       : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 7.3 Civil justice is free of corruption                                                           : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 7.4 Civil justice is free of improper government influence                                        : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 7.5 Civil justice is not subject to unreasonable delay                                            : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 7.6. Civil justice is effectively enforced                                                        : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 7.7 Alternative dispute resolution mechanisms are accessible, impartial, and effective            : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Factor 8: Criminal Justice                                                                        : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 8.1 Criminal investigation system is effective                                                    : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 8.2 Criminal adjudication system is timely and effective                                          : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 8.3 Correctional system is effective in reducing criminal behavior                                : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 8.4 Criminal system is impartial                                                                  : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 8.5 Criminal system is free of corruption                                                         : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 8.6 Criminal system is free of improper government influence                                      : num  NA NA NA NA NA NA NA NA NA NA ...
 $ 8.7. Due process of the law and rights of the accused                                             : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Region_un                                                                                         : chr  NA NA NA NA ...
 $ Sub Region                                                                                        : chr  NA NA NA NA ...
 $ Category                                                                                          : chr  NA NA NA NA ...
 $ count personnel                                                                                   : num  NA NA NA NA NA NA NA NA NA NA ...
 $ rate personnel                                                                                    : num  NA NA NA NA NA NA NA NA NA NA ...
 $ count population                                                                                  : num  NA NA NA NA NA NA NA NA NA NA ...
 $ rate population                                                                                   : num  NA NA NA NA NA NA NA NA NA NA ...
 $ count unsentenced                                                                                 : num  NA NA NA NA NA NA NA NA NA NA ...
 $ rate unsentenced                                                                                  : num  NA NA NA NA NA NA NA NA NA NA ...
 $ abbr                                                                                              : chr  NA NA NA NA ...
 $ ccode                                                                                             : num  NA NA NA NA NA NA NA NA NA NA ...
 $ LJI                                                                                               : num  NA NA NA NA NA NA NA NA NA NA ...
 $ post.sd                                                                                           : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Region_igi                                                                                        : chr  NA NA NA NA ...
 $ IGI 2017                                                                                          : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Estructural sistema de seguridad                                                                  : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Estructural sistema de justicia                                                                   : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Funcional sistema de seguridad                                                                    : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Funcional sistema de justicia                                                                     : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Dimensión de derechos humanos                                                                     : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Policías por cada 100 mil hab.                                                                    : chr  NA NA NA NA ...
 $ Reclusos entre capacidad total de los penales                                                     : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Personal en reclusorios entre capacidad total de los penales                                      : chr  NA NA NA NA ...
 $ Personal en reclusorios entre total de reclusos                                                   : chr  NA NA NA NA ...
 $ Jueces por cada 100 mil hab.                                                                      : chr  NA NA NA NA ...
 $ Personas frente a los tribunales entre personas en contacto formal con la policía                 : chr  NA NA NA NA ...
 $ Personas frente a los tribunales entre número de fiscales                                         : chr  NA NA NA NA ...
 $ Porcentaje de encarcelados sin sentencia                                                          : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Encarcelados entre condenados                                                                     : chr  NA NA NA NA ...
 $ Encarcelados por homicidio entre homicidios totales                                               : chr  NA NA NA NA ...
 $ Personas frente a los tribunales entre número de jueces                                           : chr  NA NA NA NA ...
 $ Puntaje de protección de derechos humanos                                                         : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Gini 
(2012-2014)                                                                                : chr  NA NA NA NA ...
 $ Posicionamiento IGI 2017                                                                          : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Posicionamiento Estructural sistema de seguridad                                                  : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Posicionamiento Estructural sistema de justicia                                                   : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Posicionamiento Funcional sistema de seguridad                                                    : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Posicionamiento Funcional sistema de justicia                                                     : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Posicionamiento Dimensión de derechos humanos                                                     : num  NA NA NA NA NA NA NA NA NA NA ...
 $ Región...28                                                                                       : chr  NA NA NA NA ...
 $ PIB (2016) (millones de dólares)                                                                  : num  NA NA NA NA NA NA NA NA NA NA ...
  [list output truncated]*

Al utilizar el comando

Write.dta(dataset, “dataset.dta”)

No se crea ningún archivo y se genera un error, dado que abrevia el nombre de las variables y el contenido de aquellas variables que son de tipo character en r y string en stata.

Error in write.dta(usaid_pry, file = "base consolidada full.dta") :
cannot uniquely abbreviate variable names In addition: Warning message: In abbreviate(oldn, namelength) : abbreviate used with non-ASCII chars

Probé con cambiarle la clase a las variables que son de tipo character cómo as.numeric o as.factor, de forma que stata lo lee bien. Pero sigo teniendo este problema de que intenta abreviar el nombre de las variables y el contenido de aquellas que son de texto. Sumado a que al ser una base grande pese a los errores no genera un archivo de extensión dta. Hay alguna forma de resolverlo? Gracias!

4
  • ¿Podrías agregar el error exacto que te da la función? Commented el 7 may. 2020 a las 12:34
  • Claro! Es el siguiente Error in write.dta(usaid_pry, file = "base consolidada full.dta") : cannot uniquely abbreviate variable names In addition: Warning message: In abbreviate(oldn, namelength) : abbreviate used with non-ASCII chars Commented el 7 may. 2020 a las 15:58
  • Sensacional, ya me imagino por dónde va el tema, pero para confirmarlo, podrías agregar la estructura de los datos: str(usaid_pry), gracias. Commented el 7 may. 2020 a las 16:22
  • Muchas gracias Patricio, te dejo el resultado en la pregunta editada Commented el 7 may. 2020 a las 16:45

1 respuesta 1

1

No conozco Stata pero lo que sí puede decirte, es que el error se da, por que no se cumplen ciertas restricciones que evidentemente tiene este sistema. El proceso para transformar el nombre de las variables en R a Stata es el siguiente:

varnames <- colnames(usaid_pry)

x <- sub("^([0-9])", "_\\1", varnames)
x <- gsub("[^a-zA-Z0-9_]", "_", x)
x <- abbreviate(x, minlength = 32)

Básicamente se reemplazan ciertos caracteres por el guión bajo y se intenta abreviar los nombres hasta el máximo que soporta Stata desde la versión 7 que son 32 caracteres. Finalmente se verifican dos requisitos, que no existan nombres duplicados y que ningún nombre tenga más de 32 caracteres:

> any(duplicated(x))
[1] FALSE
> any(nchar(x) > 32)
[1] TRUE

Podemos ver que tenemos algunas columnas cuyo nombre supera el límite de los 32 caracteres. Podemos verificar cuales son:

> varnames[nchar(x) > 32]
[1] "Percent of firms expected to give gifts to get an electrical connection"
[2] "Percent of firms expected to give gifts to get a water connection"      
[3] "Percent of firms expected to give gifts to get a construction permit"   
[4] "Percent of firms expected to give gifts to get an import license"       
[5] "Percent of firms expected to give gifts to get an operating license"    
[6] "Percent of firms expected to give gifts in meetings with tax officials" 

Y estás son los nombres que deberías "ajustar" para poder salvar el archivo stata. Lo que ocurre es que cuando se intentan abreviar a un mínimo de 32 caracteres no se lo consigue ya que eso produciría nombres duplicados. Una posibilidad es modificar la parte común del nombre por un acrónimo:

problematicas <- varnames[nchar(x) > 32]
problematicas <- sub("Percent of firms expected to give gifts ", "POFETGGT_", problematicas)
varnames[nchar(x) > 32] <- problematicas
colnames(usaid_pry) <- varnames

Hemos reemplazado Percent of firms expected to give gifts por POFETGGT_ y modificado estas variables en dataset, con este cambio, debería funcionar write.data() sin problemas.

El código completo reproducible:

library(foreign)

varnames <- colnames(usaid_pry)

x <- sub("^([0-9])", "_\\1", varnames)
x <- gsub("[^a-zA-Z0-9_]", "_", x)
x <- abbreviate(x, minlength = 32)
problematicas <- varnames[nchar(x) > 32]
problematicas <- sub("Percent of firms expected to give gifts ", "POFETGGT_", problematicas)
varnames[nchar(x) > 32] <- problematicas
colnames(usaid_pry) <- varnames

write.dta(usaid_pry, "dataset.dta")

Vas a obtener unos warnings pero el archivo debería generarse de todas formas.

Actualización

En función de los nuevos datos que has compartido, puedo decirte que tienes estos problemas:

  • Hay variables que terminarán siendo duplicadas
  • Problemas de Longitud de nombres de variables

Para verificar los casos que te comento, usa esta función que escribí, analizará los nombres de tu data.frame, y te dará los nombrss de variables que deberás arreglar para conseguir exportar cualquier data.frame a stata.

analize_varname_4_stat_v7 <- function(df) {

  varnames <- colnames(df)
  x <- sub("^([0-9])", "_\\1", varnames)
  x <- gsub("[^a-zA-Z0-9_]", "_", x)
  x <- abbreviate(x, minlength = 32)

  rbind(
    data.frame(detalle="Superarán los 32 caracteres", nombres=varnames[nchar(x) > 32], stringsAsFactors = FALSE),
    data.frame(detalle="Genera duplicidad", nombres=varnames[x %in% x[duplicated(x)]], stringsAsFactors = FALSE)
  )

}


analize_varname_4_stat_v7(usaid_pry)
                       detalle                                                                 nombres
1  Superarán los 32 caracteres               Personas frente a los tribunales entre número de fiscales
2  Superarán los 32 caracteres                 Personas frente a los tribunales entre número de jueces
3  Superarán los 32 caracteres  GCI 4.0: Efficiency of legal framework in challenging regulations Rank
4  Superarán los 32 caracteres GCI 4.0: Efficiency of legal framework in challenging regulations Score
5  Superarán los 32 caracteres GCI 4.0: Efficiency of legal framework in challenging regulations Value
6  Superarán los 32 caracteres        GCI 4.0: Efficiency of legal framework in settling disputes Rank
7  Superarán los 32 caracteres       GCI 4.0: Efficiency of legal framework in settling disputes Score
8  Superarán los 32 caracteres       GCI 4.0: Efficiency of legal framework in settling disputes Value
9  Superarán los 32 caracteres                                      Agricultural policy costs 1-7 Best
10 Superarán los 32 caracteres                           GCI 4.0: Innovation ecosystem component Score
11 Superarán los 32 caracteres                                     Agricultural policy costs 1-7 Besto
12 Superarán los 32 caracteres                           GCI 4.0: Innovation ecosystem component Scire
13           Genera duplicidad                                          Q2.1 | Free and fair elections
14           Genera duplicidad                                        Q2.2 | Effective power to govern
15           Genera duplicidad                                    Q2.3 | Association / assembly rights
16           Genera duplicidad                                            Q2.4 | Freedom of expression
17           Genera duplicidad                                             Q3.1 | Separation of powers
18           Genera duplicidad                                                     Q3.4 | Civil rights
19           Genera duplicidad                                          Q2_1 | Free and fair elections
20           Genera duplicidad                                        Q2_2 | Effective power to govern
21           Genera duplicidad                                    Q2_3 | Association / assembly rights
22           Genera duplicidad                                            Q2_4 | Freedom of expression
23           Genera duplicidad                                             Q3_1 | Separation of powers
24           Genera duplicidad                                                     Q3_4 | Civil rights

Revisa cada caso, en los duplicados tienes columnas casi idénticas, con patrones Q3_1 y Q3.1 por ejemplo. En el caso de los nombres largos, busca acortarlos reduciendo la parte común entre las variables. A modo de verificación si eliminamos estas columnas problemáticas:

analize_varname_4_stat_v7(usaid_pry) -> variables
write.dta(usaid_pry[, !(colnames(usaid_pry) %in% variables$nombres)], 'usaid_pry.dta')

Podrás verificar que se genera un archivo de 1.7 Gb con la información exportada.

5
  • Muchísimas gracias Patricio!! Realmente el código funciona, pero sigue sin generarse el archivo, persiste este error y no entiendo porqué; Error in write.dta(usaid_pry, "base full.dta") : cannot uniquely abbreviate variable names In addition: Warning message: In abbreviate(oldn, namelength) : abbreviate used with non-ASCII chars Commented el 7 may. 2020 a las 22:02
  • Muchísimas gracias Patricio!! Realmente el código funciona, pero sigue sin generarse el archivo, persiste este error y no entiendo porqué; Error in write.dta(usaid_pry, "base full.dta") : cannot uniquely abbreviate variable names In addition: Warning message: In abbreviate(oldn, namelength) : abbreviate used with non-ASCII chars Commented el 7 may. 2020 a las 22:02
  • Hola Flor, mirá, probé bajar el data.frame completo que publicaste en el enlace y correr el script último que te pasé y salvo por el warning, me funcionó bien. Si necesitas los datos para stata, avisame y lo subo a algún host. Commented el 8 may. 2020 a las 0:47
  • Entendí porque no me funciona, me equivoqué de archivo en el repositorio. Y como es realmente pesada no pude subirla a github, la subi a una carpeta drive de carácter público: drive.google.com/open?id=10-iLfZlKYwCLjC4RzsZxdVzZS3bSEaHV Al igual que vos pude con la base más pequeña, el problema surge al hacer esto mismo con la base pesada. En caso de que con usaid_pry puedas bajarla, me la podrías compartir? Gracias!!! Commented el 8 may. 2020 a las 6:58
  • Efectivamente hay problemas distintos, verifica mi última edición que espero te ayude. Commented el 8 may. 2020 a las 15:05

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.