SEO optimizētāja darbs ir ļoti liela mēroga. Iesācējiem ieteicams pierakstīt optimizācijas algoritmu, lai nepalaistu garām nevienu darbību. Pretējā gadījumā akcija diez vai tiks saukta par veiksmīgu, jo vietnē pastāvīgi būs kļūmes un kļūdas, kuras būs jālabo ilgu laiku.
Viena no optimizācijas darbībām ir darbs ar failu robots.txt. Katram resursam vajadzētu būt šim dokumentam, jo bez tā būs grūtāk tikt galā ar optimizāciju. Tas veic daudzas funkcijas, kas jums būs jāsaprot.
Robota palīgs
Fails robots.txt ir vienkārša teksta dokuments, ko var skatīt sistēmas standarta Notepad. Veidojot to, jums jāiestata UTF-8 kodējums, lai to varētu pareizi nolasīt. Fails darbojas ar http, https un FTP protokoliem.
Šis dokuments ir palīgs robotu meklēšanai. Ja nezināt, katra sistēma izmanto "zirnekļus", kas ātri pārmeklē globālo tīmekli, lai atgrieztu atbilstošās vietnes vaicājumiem.lietotājiem. Šiem robotiem ir jābūt piekļuvei resursa datiem, fails robots.txt darbojas šim nolūkam.
Lai zirnekļi atrastu savu ceļu, jums ir jānosūta robots.txt dokuments uz saknes direktoriju. Lai pārbaudītu, vai vietnē ir šis fails, pārlūkprogrammas adreses joslā ievadiet “https://site.com.ua/robots.txt”. Vietnes “site.com.ua” vietā jāievada nepieciešamais resurss.
Dokumenta funkcijas
Fails robots.txt sniedz rāpuļprogrammām vairāku veidu informāciju. Tas var nodrošināt daļēju piekļuvi, lai "zirneklis" skenē konkrētus resursa elementus. Pilna piekļuve ļauj pārbaudīt visas pieejamās lapas. Pilnīgs aizliegums neļauj robotiem pat sākt pārbaudīt, un viņi atstāj vietni.
Pēc resursa apmeklēšanas "zirnekļi" saņem atbilstošu atbildi uz pieprasījumu. Tie var būt vairāki, viss ir atkarīgs no robots.txt failā esošās informācijas. Piemēram, ja skenēšana bija veiksmīga, robots saņems kodu 2xx.
Iespējams, vietne ir novirzīta no vienas lapas uz citu. Šajā gadījumā robots saņem kodu 3xx. Ja šis kods parādās vairākas reizes, zirneklis tam sekos, līdz saņems citu atbildi. Lai gan, kā likums, viņš izmanto tikai 5 mēģinājumus. Pretējā gadījumā tiek parādīta populārā 404. kļūda.
Ja atbilde ir 4xx, tad robotam ir atļauts pārmeklēt visu vietnes saturu. Taču 5xx koda gadījumā pārbaude var pilnībā apstāties, jo tas bieži norāda uz īslaicīgām servera kļūdām.
Par konepieciešams robots.txt?
Kā jūs, iespējams, uzminējāt, šis fails ir robotu ceļvedis vietnes saknei. Tagad tas tiek izmantots, lai daļēji ierobežotu piekļuvi nepiemērotam saturam:
- lapas ar lietotāju personisko informāciju;
- spoguļu vietnes;
- meklēšanas rezultāti;
- datu iesniegšanas veidlapas utt.
Ja vietnes saknē nav faila robots.txt, robots pārmeklēs pilnīgi visu saturu. Attiecīgi meklēšanas rezultātos var parādīties nevēlami dati, kas nozīmē, ka cietīsiet gan jūs, gan vietne. Ja robots.txt dokumentā ir īpaši norādījumi, tad "zirneklis" tiem sekos un izsniegs resursa īpašnieka vēlamo informāciju.
Darbs ar failu
Lai izmantotu failu robots.txt, lai bloķētu vietnes indeksēšanu, jums ir jāizdomā, kā izveidot šo failu. Lai to izdarītu, izpildiet norādījumus:
- Izveidojiet dokumentu programmā Notepad vai Notepad++.
- Iestatiet faila paplašinājumu ".txt".
- Ievadiet nepieciešamos datus un komandas.
- Saglabājiet dokumentu un augšupielādējiet to vietnes saknē.
Kā redzat, vienā no posmiem ir nepieciešams iestatīt komandas robotiem. Tie ir divu veidu: atļauja (Allow) un aizliedz (Disallow). Turklāt daži optimizētāji var norādīt rāpuļprogrammas pārmeklēšanas ātrumu, resursdatoru un saiti uz resursa lapas karti.
Lai sāktu strādāt ar robots.txt un pilnībā bloķētu vietnes indeksēšanu, jums ir jāsaprot arī izmantotie simboli. Piemēram, dokumentāizmantojiet "/", kas norāda, ka ir atlasīta visa vietne. Ja tiek izmantots "", ir nepieciešama rakstzīmju secība. Tādā veidā būs iespējams norādīt konkrētu mapi, kuru var vai nu skenēt, vai nē.
Botu funkcija
"Zirnekļi" meklētājprogrammām ir dažādi, tādēļ, ja strādājat vairākās meklētājprogrammās vienlaikus, tad ar šo brīdi būs jārēķinās. Viņu nosaukumi ir atšķirīgi, kas nozīmē, ka, ja vēlaties sazināties ar konkrētu robotu, jums būs jānorāda tā nosaukums: “User Agent: Yandex” (bez pēdiņām).
Ja vēlaties iestatīt direktīvas visām meklētājprogrammām, tad jums ir jāizmanto komanda: "User Agent: " (bez pēdiņām). Lai pareizi bloķētu vietnes indeksēšanu, izmantojot failu robots.txt, jums jāzina populāro meklētājprogrammu specifika.
Fakts ir tāds, ka populārākajām meklētājprogrammām Yandex un Google ir vairākas robotprogrammas. Katram no viņiem ir savi uzdevumi. Piemēram, Yandex Bot un Googlebot ir galvenie "zirnekļi", kas pārmeklē vietni. Zinot visus robotus, būs vieglāk pielāgot resursa indeksāciju.
Piemēri
Tātad, ar robots.txt palīdzību jūs varat aizvērt vietni no indeksēšanas ar vienkāršām komandām, galvenais ir saprast, kas jums ir nepieciešams. Piemēram, ja vēlaties, lai Googlebot netuvotos jūsu resursam, jums ir jādod tam atbilstoša komanda. Tas izskatīsies šādi: "User-agent: Googlebot Disallow: /" (bez pēdiņām).
Tagad mums ir jāsaprot, kas ir šajā komandā un kā tā darbojas. Tātad "lietotāja aģents"tiek izmantots, lai izmantotu tiešu zvanu vienam no robotprogrammatūrām. Tālāk mēs norādām, kuram, mūsu gadījumā tas ir Google. Komandai "Disallow" jāsākas jaunā rindiņā un jāaizliedz robotam ienākt vietnē. Slīpsvītra simbols šajā gadījumā norāda, ka komandas izpildei ir atlasītas visas resursa lapas.
Failā robots.txt varat atspējot indeksēšanu visām meklētājprogrammām, izmantojot vienkāršu komandu: "User-agent:Disallow: /" (bez pēdiņām). Zvaigznītes rakstzīme šajā gadījumā apzīmē visus meklēšanas robotus. Parasti šāda komanda ir nepieciešama, lai apturētu vietnes indeksēšanu un sāktu galveno darbu pie tās, kas pretējā gadījumā varētu ietekmēt optimizāciju.
Ja resurss ir liels un tajā ir daudz lappušu, tas bieži satur patentētu informāciju, kuru nav vēlams izpaust, vai arī tā var negatīvi ietekmēt reklāmu. Šajā gadījumā jums ir jāsaprot, kā aizvērt lapu no indeksēšanas failā robots.txt.
Varat paslēpt mapi vai failu. Pirmajā gadījumā jums ir jāsāk no jauna, sazinoties ar konkrētu robotu vai ikvienu, tāpēc mēs izmantojam komandu “User-agent”, un tālāk mēs norādām komandu “Disallow” konkrētai mapei. Tas izskatīsies šādi: "Disallow: / folder /" (bez pēdiņām). Tādā veidā jūs paslēpsit visu mapi. Ja tajā ir kāds svarīgs fails, kuru vēlaties parādīt, tālāk ir jāieraksta komanda: “Allow: /folder/file.php” (bez pēdiņām).
Pārbaudīt failu
Ja izmantojat failu robots.txt, lai aizvērtu vietniJums izdevās indeksēt, bet jūs nezināt, vai visas jūsu direktīvas darbojās pareizi, varat pārbaudīt darba pareizību.
Vispirms vēlreiz jāpārbauda dokumenta izvietojums. Atcerieties, ka tai jābūt tikai saknes mapē. Ja tas atrodas saknes mapē, tas nedarbosies. Pēc tam atveriet pārlūkprogrammu un ievadiet tur šādu adresi: “https://yoursite. com/robots.txt (bez pēdiņām). Ja tīmekļa pārlūkprogrammā tiek parādīta kļūda, fails nav tur, kur tam vajadzētu būt.
Direktīvas var pārbaudīt īpašos rīkos, ko izmanto gandrīz visi tīmekļa pārziņi. Mēs runājam par Google un Yandex produktiem. Piemēram, Google Search Console ir rīkjosla, kurā jāatver "Rāpuļprogramma" un pēc tam jāpalaiž "Robots.txt failu pārbaudes rīks". Jums ir jāpārkopē visi dati no dokumenta logā un jāsāk skenēšana. Tieši to pašu pārbaudi var veikt vietnē Yandex. Webmaster.
