Semalt: Jinsi ya kuzuia Darodar Robots.txt

Faili ya Robots.txt ni faili ya maandishi ya kawaida ambayo ina maagizo juu ya jinsi watambaaji wa wavuti au bots wanapaswa kutambaa tovuti. Utumiaji wao unaonekana katika bots ya injini za utaftaji ambayo ni ya kawaida katika wavuti nyingi zilizoboresha. Kama sehemu ya Itifaki ya Utaftaji wa Robots (REP), faili ya robots.txt inaunda sehemu muhimu ya kuorodhesha yaliyomo kwenye wavuti na pia kuwezesha seva kudhibitisha maombi ya watumiaji ipasavyo.

Julia Vashneva, Meneja wa Mafanikio ya Wateja Wakuu wa Semalt , anaelezea kwamba kuunganisha ni sehemu ya Uboreshaji wa Injini ya Utafutaji (SEO), ambayo inajumuisha kupata trafiki kutoka kwa kikoa kingine ndani ya huduma yako. Kwa viungo "kufuata" kuhamisha juisi ya kiunga, ni muhimu kujumuisha faili ya robots.txt kwenye nafasi yako ya mwenyeji wa wavuti kufanya kama mwalimu wa jinsi seva inavyoingiliana na tovuti yako. Kutoka kwenye jalada hili, maagizo yanapatikana kwa kuruhusu au kutoruhusu jinsi mawakala fulani wa watumiaji wanavyotenda.

Fomati ya Msingi ya faili ya robots.txt

Faili ya robots.txt ina mistari mbili muhimu:

Wakala wa watumiaji: [jina la wakala wa mtumiaji]

Usichukie: [kamba ya URL haipaswi kutambaa]

Faili kamili ya robots.txt inapaswa kuwa na mistari hii miwili. Walakini, zingine zinaweza kuwa na mistari mingi ya mawakala wa watumiaji na maagizo. Amri hizi zinaweza kuwa na vitu kama vile inaruhusu, kutoridhika au kuchelewesha kwa kutambaa. Kawaida kuna mapumziko ya mstari ambayo hutenganisha kila seti ya maagizo. Kila moja ya maagizo yanayoruhusu au yasiyoridhishwa hutengwa na mapumziko ya mstari huu, haswa kwa robots.txt na mistari mingi.

Mifano

Kwa mfano, faili ya robots.txt inaweza kuwa na nambari kama:

Wakala wa watumiaji: darodar

Kataa: / plugin

Sikubali: / API

Sikubali: / _mazungumzo

Katika kesi hii, hii ni faili ya robots.txt inayozuia kutambaa kwa wavuti wa Darodar kupata huduma kwenye wavuti yako. Katika syntax hapo juu, msimbo unazuia sehemu za wavuti kama vile programu-jalizi, API, na sehemu ya maoni. Kutoka kwa ufahamu huu, inawezekana kufikia faida nyingi kutoka kwa kutekeleza faili ya maandishi ya roboti kwa ufanisi. Faili za Robots.txt zinaweza kufanya kazi nyingi. Kwa mfano, wanaweza kuwa tayari:

1. Ruhusu bidhaa zote za wavuti ya wavuti kuingia kwenye ukurasa wa wavuti. Kwa mfano;

Wakala wa Mtumiaji: *

Usikubali:

Katika kesi hii, maudhui yote ya watumiaji yanaweza kupatikana kwa kila mtu anayetambaa kwa wavuti akiulizwa kupata wavuti.

2. Zuia yaliyomo kwenye wavuti fulani kutoka folda maalum. Kwa mfano;

Wakala wa watumiaji: Googlebot

Kataa: / mfano-folda /

Syntax hii inayo jina la wakala wa mtumiaji Googlebot ni ya Google. Inazuia bot kutoka kwa kupata ukurasa wowote wa wavuti kwenye kamba www.ourex samp.com/ex samp-subfolder/.

3. Zuia mpambaji fulani wa wavuti kutoka ukurasa fulani wa wavuti. Kwa mfano;

Wakala wa watumiaji: Bingbot

Siruhusu: /ex samp-subfolder/blocked-page.html

Bing-wakala wa Bing ni ya watambaaji wa wavuti wa Bing. Faili ya aina hii ya robots.txt inazuia kutambaa kwa wavuti ya Bing kutoka kupata ukurasa fulani na kamba www.ourex samp.com/example-subfolder/blocked-page.

Habari muhimu

  • Sio kila mtumiaji anayetumia faili yako ya robts.txt. Watumiaji wengine wanaweza kuamua kupuuza. Zaidi ya watapeli wa wavuti kama hii ni pamoja na Trojans na programu hasidi.
  • Ili faili ya Robots.txt ionekane, inapaswa kupatikana katika saraka ya tovuti ya kiwango cha juu.
  • Wahusika "robots.txt" ni kesi nyeti. Kama matokeo, haifai kuibadilisha kwa njia yoyote ikiwa ni pamoja na mtaji wa mambo kadhaa.
  • "/Robots.txt" ni uwanja wa umma. Mtu yeyote anaweza kupata habari hii wakati kwa kuiongezea kwenye yaliyomo kwenye URL yoyote. Haupaswi kuonyesha maelezo muhimu au kurasa ambazo unataka zibaki za kibinafsi.