lørdag, januar 23, 2021

robots.txt

Daily Rush Debat Programmering robots.txt

  • Forfatter
    Emne
  • #0

    FuZd
    Bruger
    295 indlæg
    Offline

    I udviklingsfasen vil jeg helst ikke have mine sites indekseret men jeg er af forskellige årsager nødt til at have dem åbne udadtil.

    Har jeg forstået det korrekt at hvis mit domænenavn f.eks. er http://www.test.dk så vil følgende entry i en robots.txt fil holde crawlers væk?

    Disallow: http://www.test.dk

    //Fuzd

Viser 6 kommentarer - 1 til 6 (af 6 i alt)
  • Forfatter
    Kommentarer
  • #1

    Holger-IST-
    Bruger
    6.970 indlæg
    Offline

    Tja… kan ikke lige huske om det er det, men problemet er vist at ikke alle crawlers følger robot.txt , det er vist mere noget de kan bruge, hvis de vil/er lavet til det.

    http://www.robotstxt.org/wc/exclusion.html

    http://en.wikipedia.org/wiki/Robots.txt

    Mht. din syntaks er det vist:
    “Disallow: /” for hele sitet

    - Holger "A woman drove me to drink and I didn't even have the decency to thank her." - W. C. Fields

    #2

    Picco
    Bruger
    4.216 indlæg
    Offline

    User-Agent: *
    Disallow: /

    "Kind of like a drunken Batman with a huge cock."

    #3

    Bounty
    Bruger
    2.485 indlæg
    Offline

    what what…?????

    Når du trækker splitten ud af Hr. Granat, er han ikke længere din ven

    #4

    mass
    Bruger
    3.566 indlæg
    Offline

    Du kan vel sige dig selv at en simpel txt fil ikke kan forhindre roboter i at indexere dit site hvis de virkelig vil.

    #5

    roadrunnah
    Bruger
    14.414 indlæg
    Offline

    Min siger sådan her, men så er der slet ingen kommunikation.

    Den her bruger jeg i framet, så ser det fint ud på google…

    DAMN YOU Clicker Heroes!

    #6

    Egil
    Bruger
    1.910 indlæg
    Offline

    #5, robots.txt filen er klart vejen frem. Frames skal jeg dog ikke gøre mig klog på, har aldrig brugt dem selv, og det er da også en forældet “teknologi”.

    #2 har iøvrigt ret.

Viser 6 kommentarer - 1 til 6 (af 6 i alt)
  • Du skal være logget ind for at kommentere på dette indlæg.