Semalt: Hogyan blokkolható a Darodar Robots.txt

A Robots.txt fájl egy tipikus szöveges fájl, amely utasításokat tartalmaz arra vonatkozóan, hogy a webrobotok vagy robotok miként kell bejárni egy webhelyet. Alkalmazásuk egyértelmű a keresőmotorokban, amelyek számos optimalizált webhelyen gyakoriak. A robotok kizárási protokolljának (REP) részeként a robots.txt fájl elengedhetetlen szempontot képvisel a webhely tartalmának indexálásában, és lehetővé teszi a szerver számára a felhasználói kérelmek ennek megfelelő hitelesítését.

Julia Vashneva, a Semalt ügyfélszolgálat vezetője elmagyarázza, hogy az összekapcsolás a Search Engine Optimization (SEO) egyik aspektusa, amely magában foglalja a forgalom megszerzését a saját niche- jének más területein. A linkek levélének „követése” linkre elengedhetetlen egy robots.txt fájl beillesztése a webhely tárhelyére, hogy oktatóként szolgáljon a szerver és az Ön webhelye közötti interakcióról. Ebből az archívumból az utasítások az egyes felhasználói ügynökök viselkedésének engedélyezésével vagy tiltásával állnak rendelkezésre.

A robots.txt fájl alapvető formátuma

A robots.txt fájl két alapvető sort tartalmaz:

Felhasználói ügynök: [felhasználói ügynök neve]

Tiltás: [Az URL-karakterláncot nem szabad feltérképezni]

A teljes robots.txt fájlnak tartalmaznia kell ezt a két sort. Néhányuk azonban tartalmazhat több sor felhasználói ágenst és irányelvet. Ezek a parancsok olyan aspektusokat tartalmazhatnak, mint az engedélyezés, a tiltás vagy a bejárási késleltetés. Általában van egy sorszakadás, amely elválasztja az egyes utasításokat. Az engedélyezés vagy tiltás utasítások mindegyikét elválasztja ez a sortörés, különösen a több soros robots.txt esetén.

Példák

Például egy robots.txt fájl tartalmazhat olyan kódokat, mint:

Felhasználói ügynök: darodar

Tiltás: / plugin

Tiltás: / API

Tiltás: / _kommentációk

Ebben az esetben ez egy blokkoló robots.txt fájl, amely korlátozza a Darodar webrobot hozzáférését az Ön webhelyéhez. A fenti szintaxisban a kód blokkolja a weboldal olyan aspektusait, mint a pluginok, az API és a megjegyzések szakasz. Ezen ismeretek alapján számos előnye elérhető a robot szövegfájljának hatékony végrehajtásával. A Robots.txt fájlok számos funkciót tudnak végrehajtani. Például készen állhatnak:

1. Engedélyezze az összes internetes bejáró tartalmát egy weboldalon. Például;

Felhasználói ügynök: *

Letiltás:

Ebben az esetben az összes felhasználói tartalomhoz bármilyen webrobot hozzáférhet, amelyet felkérnek egy webhely elérésére.

2. Blokkolja egy adott webtartalmat egy adott mappából. Például;

Felhasználói ügynök: Googlebot

Tiltás: / példa almappa /

Ez a Googlebot felhasználói ügynöknevet tartalmazó szintaxis a Google-hoz tartozik. Ez korlátozza a bot hozzáférését a www.ourexample.com/example-subfolder/ karakterláncban található bármely weboldalhoz.

3. Blokkolja az adott webrobotot egy adott weboldalról. Például;

Felhasználói ügynök: Bingbot

Tiltás: / példa almappa / blokkolt oldal.html

A Bing bot felhasználói ügynök a Bing internetes robotokhoz tartozik. Az ilyen típusú robots.txt fájl korlátozza a Bing webrobotot abban, hogy hozzáférjen egy adott oldalhoz a www.ourexample.com/example-subfolder/blocked-page karakterlánccal.

Fontos információ

• Nem minden felhasználó használja a robts.txt fájlt. Egyes felhasználók dönthetnek úgy, hogy figyelmen kívül hagyják. Az ilyen webrobotok többsége trójaiak és rosszindulatú programok.
• Ahhoz, hogy egy Robots.txt fájl látható legyen, a felső szintű webhely könyvtárában kell elérhetőnek lennie.
• A "robots.txt" karakterek kis- és nagybetűket különböznek. Ennek eredményeként nem szabad megváltoztatnia őket, ideértve egyes szempontok nagybetűit is.
• A "/robots.txt" nyilvános. Bárki megtalálhatja ezeket az információkat, ha hozzáteszi azokat bármely URL tartalmához. Nem szabad indexelnie azokat a lényeges részleteket vagy oldalakat, amelyekről azt akarja, hogy privátak maradjanak.