1

Hola soy nuevo en esto de python y estoy intentando imprimir el contenido de etiquetas que encuentro dentro de una cierta pagina web.

Os voy a poner mi caso:

Estoy intentando hacer un programa que pueda ver que dominios estan siendo hosteados dentro de un server. Para esto estoy usando la pagina viewdns.info, la cual te dice que dominios estan hosteados en un server, por un reverse_ip.

Este es mi codigo

codigo del programa

como podeis observar hago una peticion a la pagina, y el codigo lo meto en la variable b usando beautifulSoup, y dentro de este con la variable c buscamos la id "null", que es la que contiene los resultados. y despues buscamos "border=1" que esta dentro de la etiqueta null y tambien contiene los resultados.

el problema es que al iniciar el codigo nos da un fallo Nontype ,porque no encuentra la etiqueta, pero si existe ya que la vi dentro del codigo fuente de la pagina:

id null

entonces lo que hice es imprimir b (Soup), ya que es el codigo que estoy analizando, y el codigo guardado en b (soup) no es el correspondiente al de la pagina que he indicado en consulta. si no uno diferente, por eso no se encuntra la etiqueta "null".

Sabeis porque no analiza el codigo de la pagina que yo especifico en consulta si no otro. Sabeis algun otro modo de hacerlo o veis algun fallo.

Muchas gracias.

Código:

import requests

from bs4 import BeautifulSoup

def main():
    
    sitio="www.cloudflare.com"
    agent= {"User-Agent":"Firefox"}
    consulta= requests.get("https://viewdns.info/reverseip/?host={}&t=1".format(sitio),headers=agent)
    b = BeautifulSoup(consulta.text,"html5lib") 
    c = b.find(id="null")
    d =c.find(border="1")
    for l in d.find_all("tr"):
        print("Sitio encontrado: " + l.td.string)





if __name__ == '__main__':
    try:
        main()
    except KeyboardInterrupt:
        exit()
2
  • 1
    No pongas imagenes del código; pon el código mismo. Es la única manera de mirarlo, estudiarlo y analizarlo. Please.
    – Candid Moe
    Commented el 17 sept. 2020 a las 11:37
  • 1
    perdona soy nuevo en la pagina, ya edite la publicacion y puse el codigo. Muchas gracias
    – Asterix
    Commented el 17 sept. 2020 a las 12:12

2 respuestas 2

2

Cuando se trata de extraer una tabla hay una forma más sencilla usando pandas. Es más eficiente y menos código.

import requests
import pandas as pd #Llamas a pandas

sitio="www.cloudflare.com"
agent= {"User-Agent":"Firefox"}
consulta= requests.get("https://viewdns.info/reverseip/?host={}&t=1".format(sitio),headers=agent)
df_list = pd.read_html(consulta.text) #Capturará todas las tablas que vea en tu html
print(df_list[3]) #El [3] es porque encontró varias tablas y la 3 es la que tiene lo que te interesa

Resultado:

                          0                   1
0                    Domain  Last Resolved Date
1                  2zyb.com          2020-06-23
2                   bl6.top          2020-09-16
3            cloudflare.com          2020-09-17
4   cloudnotificacion.email          2020-07-18
5                  ehraz.co          2020-09-12
6   image-contenthoster.com          2020-09-03
7        julianhackstein.de          2020-05-07
8                 levios.de          2020-09-10
9                  mgdw.org          2020-09-12
10           opcionauto.com          2020-09-03
11            star-night.tk          2020-09-12
12             starnight.tk          2020-09-12
13             undelice.com          2020-03-19
14       wedding-foreign.tk          2020-08-08
15               weiman.xyz          2020-06-30
16                 xhtk.xyz          2020-03-12
17          zhangyebing.com          2020-06-10

Al final si lo deseas puedes pasar tu tabla a list con tolist()

df_list = df_list[3].values.tolist()

Resultado:

[['Domain', 'Last Resolved Date'], ['2zyb.com', '2020-06-23'], ['bl6.top', '2020-09-16'], ['cloudflare.com', '2020-09-17'], ['cloudnotificacion.email', '2020-07-18'], ['ehraz.co', '2020-09-12'], ['image-contenthoster.com', '2020-09-03'], ['julianhackstein.de', '2020-05-07'], ['levios.de', '2020-09-10'], ['mgdw.org', '2020-09-12'], ['opcionauto.com', '2020-09-03'], ['star-night.tk', '2020-09-12'], ['starnight.tk', '2020-09-12'], ['undelice.com', '2020-03-19'], ['wedding-foreign.tk', '2020-08-08'], ['weiman.xyz', '2020-06-30'], ['xhtk.xyz', '2020-03-12'], ['zhangyebing.com', '2020-06-10']]
2
  • Los comentarios no deben usarse para discusiones extendidas; esta conversación ha sido trasladada a un chat.
    – Pikoh
    Commented el 18 sept. 2020 a las 5:56
  • Buena respuesta: +1
    – Adrian
    Commented el 23 sept. 2020 a las 23:41
0

este es el error: introducir la descripción de la imagen aquí

y este es el codigo:

import requests
import pandas as pd #Llamas a pandas

sitio="www.cloudflare.com"
agent= {"User-Agent":"Firefox"}
consulta= requests.get("https://viewdns.info/reverseip/?host={}&t=1".format(sitio),headers=agent)
df_list = pd.read_html(consulta.text) #Capturará todas las tablas que vea en tu html
#print(df_list[3]) #El [3] es porque encontró varias tablas y la 3 es la que tiene lo que te interesa

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.