Сирожиддин
#1
Oddiy misol
  1. Allow: /rasmlar/
  2. Disallow: /admin_panel/

bu yerda Allow - robot uchun ruxsat berilgan zona. Disallow esa ruxsat berilmagan
  1. User-agent: * / barcha botlar uchun cheklanganlardan tashqari
  2. Disallow: / bot uchun yopiq
  3. Crawl-delay: 60 / pauklarni cheklash agar cheklanmasa saytga nagruzka tushadi
  4. Disallow: /wp-admin/ / bot uchun yopiq
  5. Disallow: /wp-includes/ / bot uchun yopiq
  6. Disallow: /wp-content/plugins / bot uchun yopiq
  7. Disallow: /wp-content/cache / bot uchun yopiq
  8. Disallow: /wp-content/themes / bot uchun yopiq
  9.  
  10. Sitemap: http://sayt-manzili.uz/sitemap.xml / sayt xaritasi
  11.  
  12. User-agent: msnbot / msnbot uchun yopiq
  13. Disallow: /
  14. User-agent: psbot / psbot uchun yopiq
  15. Disallow: /
  16. User-agent: yahoo-slurp / yahoo-slurp uchun yopiq
  17. Disallow: /
Fruden
#2
Crawl-delay: 60 / pauklarni cheklash agar cheklanmasa saytga nagruzka tushadi

60ni o'rnida 125 turibdi keodagi saytimda. saytimga nagruzka tushyaptimi hozir???
Жасурбек
#3
Fruden, # Fruden (25.09.2017 / 09:17)
Crawl-delay: 60 / pauklarni cheklash agar cheklanmasa saytga nagruzka tushadi

60ni o'rnida 125 turibdi keodagi saytimda. saytimga nagruzka tushyaptimi hozir???
yo'q, sizning pauklaringiz cheklangan, tepada agar cheklanmagan bo'lsa nagruzka tushish xafi bor deyilgan
BestMaster
#4
Bu faylar saytiz qidiruv tizimlaridan chiqish uchun muxim fayl xisoblanadi.
foxmexa
#5
bu qanaq qudiruv tizimi
Сирожиддин
#6
foxmexa, Bu qidiruv tizimi emas, qidiruv tizimi botlari shu faylga kirib tekshiradi, qaysi sahifangizni indeksatsiya qilishi va qaysilarini yashirishini belgilaysiz.
33
Tayota
#7
Deylik bu faylni udalit qildik. Nima böladi? Saytda nosozliklar yuzaga kemadimi (nu manda kemadi man xar doyim öchirib tashaganman)
Сирожиддин
#8
Tayota, Saytda nosozlik yuzaga kelmaydi, lekin saytingizni qidiruv tizimlari tanib olishida bu fayl aynan robots.txt nomida bo’lishi kerak.
33
Tayota
#9
Сирожиддин, # Сирожиддин (19.10.2017 / 01:07)
Tayota, Saytda nosozlik yuzaga kelmaydi, lekin saytingizni qidiruv tizimlari tanib olishida bu fayl aynan robots.txt nomida bo’lishi kerak.
Xm demak robots.txtga
Disallow: /download/
deb yozib qöysa misol menda downloadda ummon.mp3 bor uni google dan qidirsam topolmaydi yo topsaxam kirgizmaydi shundaymi?
Сирожиддин
#10
Tayota, Disallow qo’ysangiz sizning download papkangizdan hechnarsa topmaydi
foxmexa
#11
buni nimasi foyda tarafi
BORIY
#12
foxmexa, saytingiz rivojlanadi shu foyda sizga.
Kamol
#13
Savol Disallow/master.html deb yozib quysa googlega tezroq chiqadimi
ERKIN7717
#14
Kamol, umuman chiqmaydi
#1 ni yaxshilab o'qing
JRCoder
#15
Allow : /index.php
Disallow : /panel
Kamol
#16
Do'stlar mening saytimni index.html chiqmay qoldi googlega bu nimadan oldin chiqar edi
600
Tegos
#17
allow deb yozish kerakmi yoki disallow deb yozish kerakmi umuman tushunmadim
266
bayotshoh
#18
Tegos, # Tegos (08.01.2018 / 16:23)
allow deb yozish kerakmi yoki disallow deb yozish kerakmi umuman tushunmadim
Allow ruxsat degani disallow taqiqlanadi dgani. Qaysi sahifaga ruxsat beriw yoligini belgilaysz
600
Tegos
#19
bayotshoh, xa tushunarli setimapda unqa narslar bulmaydimi
266
bayotshoh
#20
Tegos, # Tegos (08.01.2018 / 21:47)
bayotshoh, xa tushunarli setimapda unqa narslar bulmaydimi
Yoq

Kunduzi: 6°C

29 Mar 2024 yil
Joylashuv aniqlanmadi