El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots. txt es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda.
rdfs:comment |
|
foaf:homepage | |
foaf:isPrimaryTopicOf | |
rdfs:label |
|
Is foaf:primaryTopic of | |
dcterms:subject | |
prov:wasDerivedFrom | |
dbpedia-owl:wikiPageExternalLink | |
dbpedia-owl:wikiPageID |
|
dbpedia-owl:wikiPageLength |
|
dbpedia-owl:wikiPageOutDegree |
|
Is dbpedia-owl:wikiPageRedirects of | |
dbpedia-owl:wikiPageRevisionID |
|
prop-latam:wikiPageUsesTemplate | |
dbpedia-owl:wikiPageWikiLink | [16 values] |
Is dbpedia-owl:wikiPageWikiLink of | [12 values] |