0

Tengo ya el codigo para raspar la pagina lo hace y me exporta en una hoja .txt o csv pero raspa absolutamente toda la pagina, como podria exportar en otro excel, pero q este de forma ordenada por casillas...

este es el codigo para raspar paginas..

import sys
import csv



if sys.version_info[0] == 3:
from urllib.request import urlopen
else:

from urllib import urlopen
f = csv.writer(open('0006.csv', 'w'))
sys.stdout = open('log02.txt', 'w')


with urlopen("https://www.ultracasas.com/") as url:
s = url.read()

print(s)
f.writerow([s])

aca esta una parte de como esta el .txt exportado

div class="col-sm-12 publication-element">\n    \n\n\n\n\n\n\n<div class="clp-premium-table-item" id="publication_2838448">\n  <div class="margin-left-0 margin-right-0 relative row">\n    \n    \n      <div class="col-sm-3 clp-search-image-container" style="position:relative;">\n        \n          <div class="new-premium-ribon-clp"><i class="glyphicon glyphicon-star"></i>Destacado</div>\n        \n        \n          <a href="/ver-publicacion/venta-usada/maipu/casa/pto-velero-maipu-maipu-chile/2838448">\n            <img src="/imagenes/publicacion/venta-usada/casa/maipu/0/22219928ABF9EC2C2F6E0F788056402F49BC30D68F3.jpeg"  alt="Venta propiedad usada / Casa / Maip\xc3\xba">\n          </a>\n          <div class="text-center">\n            <small>31/03/2019</small>\n          </div>\n        \n      </div>\n      <div class="col-sm-6">\n        <div>\n          <h2 class="publication-title-list">\n            <a href="/ver-publicacion/venta-usada/maipu/casa/pto-velero-maipu-maipu-chile/2838448">Maip\xc3\xba, Pto Velero, Maip\xc3\xba, Maipu, Chile</a>\n            \n          </h2>\n          \n        </div>\n        <div class="font-size-small">Tiene Living Comedor, 3 dormitorios, 2 ba\xc3\xb1os, antejardin, entrada de autos (para 3 veh\xc3\xadculos), jard\xc3\xadn posterior. Piso de cer\xc3\xa1mica en toda la propiedad, protecciones en las ventanas, condominio cerrado. Tiene restaurantes, supermercados y comercio en general cercano.</div>\n        <div>\n          <span class="light-bold">C&oacute;digo: </span>2838448<br>\n          <h3 class="sub-codigo-data">Venta propiedad usada / Casa / Maip\xc3\xba</h3>\n        </div>\n        \n          <div>\n            \n  \n\n<button type="button" onclick="toggeFavoriteFromListing(this, \'PUBLICATION\', 2838448);return false;" data-favorite="false" class="favorite-button btn btn-sm btn-raised ">\n  <span class="favorite-false">\n    <i class="fa fa-star-o"></i>\n    <span>Agregar a favoritos</span>\n  </span>\n  <span class="favorite-true">\n    <i class="fa fa-star"></i>\n    <span>Quitar de favoritos</span>\n  </span>\n</button>\n\n          </div>\n        \n      </div>\n      <div class="col-sm-3 relative">\n        \n\n\n\n\n\n  \n    <a class="btn btn-raised btn-info btn-block margin-top-0 text-ellipsis" href="/ver-publicacion/venta-usada/maipu/casa/pto-velero-maipu-maipu-chile/2838448">\n      <span class="clp-value-container" value="8.0E7" data-no-value-unit valueUnit="1" areaUnit="">\n        80.000.000\n      </span>\n      \n      <span class="clp-value-container" data-no-value valueUnit="1" areaUnit="">\n        CLP\n      </span>\n    </a>\n  \n  \n    <small>\n      <span class="light-bold">Terreno:</span> 140 m&sup2;\n    </small><br>\n  \n  \n    <small>\n      <span class="light-bold">Superficie Construida:</span> 63 m&sup2;\n    </small><br>\n  \n  \n    <small>\n      <span class="light-bold">Habitaciones:</span> 3\n    </small><br>\n  \n  \n    <small>\n      <span class="light-bold">Ba&ntilde;os:</span> 2\n    </small><br>\n  \n  \n\n        \n      </div>\n    </div>\n  \n  \n</div>\n\n\n  </div>\n\n  \n  <div class="col-sm-12 publication-element">\n    \n\n\n\n\n\n\n<div class="clp-premium-table-item" id="publication_2838236">\n  <div class="margin-left-0 margin-right-0 relative row">\n    \n    \n      <div class="col-sm-3 clp-search-image-container" style="position:relative;">\n        \n          <div class="new-premium-ribon-clp"><i class="glyphicon glyphicon-star"></i>Destacado</div>\n        \n        \n          <a href="/ver-publicacion/venta-usada/lampa/casa/el-llano-valle-grande-lampa/2838236">\n            <img src="/imagenes/publicacion/venta-usada/casa/lampa/0/1254314EC9BE57DB52DB6B7E459CEC24A593BC56C72.jpeg"  alt="Venta propiedad usada / Casa / Lampa">\n          </a>\n          <div class="text-center">\n            <small>31/03/2019</small>\n          </div>\n        \n      </div>\n      <div class="col-sm-6">\n        <div>\n          <h2 class="publication-title-list">\n            <a href="/ver-publicacion/venta-usada/lampa/casa/el-llano-valle-grande-lampa/2838236">Lampa, El Llano, Valle Grande, Lampa</a>\n            \n          </h2>\n          \n        </div>\n        <div class="font-size-small">Ubicada en sector residencial, Valle Grande, Lampa. Sector con diversa gama de prestaciones y servicios, entre ellos colegios, supermercados, comercio en general. Cercana a Ruta 5 Norte, a minutos de estaci\xc3\xb3n de Metro Vespucio o Los Libertadores, Parque Industrial Valle Grande. Se vende equipada ...</div>\n        <div>\n          <span class="light-bold">C&oacute;digo: </span>2838236<br>\n          <h3 class="sub-codigo-data">Venta propiedad usada / Casa / Lampa</h3>\n        </div>\n        \n          <div>\n            \n  \n\n<button type="button" onclick="toggeFavoriteFromListing(this, \'PUBLICATION\', 2838236);return false;" data-favorite="false" class="favorite-button btn btn-sm btn-raised ">\n  <span class="favorite-false">\n    <i class="fa fa-star-o"></i>\n    <span>Agregar a favoritos</span>\n  </span>\n  <span class="favorite-true">\n    <i class="fa fa-star"></i>\n    <span>Quitar de favoritos</span>\n  </span>\n</button>\n\n          </div>\n        \n      </div>\n      <div class="col-sm-3 relative">\n        \n\n\n\n\n\n  \n    <a class="btn btn-raised btn-info btn-block margin-top-0 text-ellipsis" href="/ver-publicacion/venta-usada/lampa/casa/el-llano-valle-grande-lampa/2838236">\n      <span class="clp-value-container" value="6.0E7" data-no-value-unit valueUnit="1" areaUnit="">\n        60.000.000\n      </span>\n      \n      <span class="clp-value-container" data-no-value valueUnit="1" areaUnit="">\n        CLP\n      </span>\n    </a>\n  \n  \n    <small>\n      <span class="light-bold">Terreno:</span> 109 m&sup2;\n    </small><br>\n  \n  \n    <small>\n      <span class="light-bold">Superficie Construida:</span> 53 m&sup2;\n    </small><br>\n  \n  \n    <small>\n      <span class="light-bold">Habitaciones:</span> 2\n    </small><br>\n  \n  \n    <small>\n      <span class="light-bold">Ba&ntilde;os:</span> 1\n    </small><br>\n  \n  <span class="light-bold">Amoblado:</span> S&iacute;<br>\n\n        \n          <a href="/ver-corredora/1254341/dubois-propiedades/0" class="imagen-corredora-list-clp">\n            <img src="/imagenes/corredoras/0/12543417FD0FF2254657DA5C2EF803FCF13717A7EF1.png" alt="Dubois Propiedades" title="Dubois Propiedades">\n          </a>\n        \n      </div>\n    </div>\n  \n  \n</div>\n\n\n  </div>\n\n   \n  <div class="col-sm-12">\n    <div>\n      <script async src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>\n      <!-- Between search results -->\n      <ins class="adsbygoogle"\n      style="display:block;width: 100%;"\n      data-ad-client="ca-pub-1705857530403842"\n      data-ad-slot="4765816815"\n      data-ad-format="auto"></ins>\n      <script>\n      (adsbygoogle = window.adsbygoogle || []).push({});\n      </script>\n    </div>\n  </div>\n  \n  

2 respuestas 2

0

El web scraper que quieres hacer lleva mucho mas trabajo que el que tu tienes actualmente hecho.
Al hacer la petición mediante urlopen el servidor te está trayendo el contenido en HTML de la página, no los datos ya estructurados para CSV.
Te recomiendo que revises el proyecto scrapy. Es una gran herramienta y te ayudará a resolver tu problema.

5
  • si ya hice pero mira que tengo el problema q las paginas q necesito raspar no me deja ya sea pro problemas de error (302, 200) pero haciendo de esta manera si puedo bajarlas, el problema q se me presento ahora es ordenarlas en tablas... gracias
    – user51314
    el 4 abr. 2019 a las 19:43
  • 1
    @craven 302 y 200 no son errores
    – user22539
    el 4 abr. 2019 a las 21:18
  • estube trabajando con django dynamic scraper y al hacer el raspado me salieron como error 302 y debug 200 entro a la pagina pero no saco por eso me mando esos mensajes, si podrias aclararme un poco mejor acerca de esos mensajes me seria de gran ayuda en mi trabajo, ya q con otras paginas hace raspado normal pero no con las q me indican en el trabajo.
    – user51314
    el 4 abr. 2019 a las 22:46
  • los mensajes 200 los devuelve cuando todo del lado del servidor salió bien y los 30x los devuelve cuando hay una redirección
    – kirbylife
    el 4 abr. 2019 a las 22:51
  • Gracias...estoy solucionando ese problema..
    – user51314
    el 5 abr. 2019 a las 13:28
0

Debes realizar una separación de las cadenas de html que te esta trayendo lo que ya haces; asignando las etiquetas de este a cada una de las variables que tienes.

Una idea es separar las lineas que hay por los '<'o '>' que suelen acompañar a los tags de html y extraer de esta forma el contenido.

Al hacer un barrido, podrás asignar casi de forma una a una las etiquetas con cada una de las variables y ahí si, poner estas a guardar en excel.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.