Сирожиддин
#1
Oddiy misol
  1. Allow: /rasmlar/
  2. Disallow: /admin_panel/

bu yerda Allow - robot uchun ruxsat berilgan zona. Disallow esa ruxsat berilmagan
  1. User-agent: * / barcha botlar uchun cheklanganlardan tashqari
  2. Disallow: / bot uchun yopiq
  3. Crawl-delay: 60 / pauklarni cheklash agar cheklanmasa saytga nagruzka tushadi
  4. Disallow: /wp-admin/ / bot uchun yopiq
  5. Disallow: /wp-includes/ / bot uchun yopiq
  6. Disallow: /wp-content/plugins / bot uchun yopiq
  7. Disallow: /wp-content/cache / bot uchun yopiq
  8. Disallow: /wp-content/themes / bot uchun yopiq
  9.  
  10. Sitemap: http://sayt-manzili.uz/sitemap.xml / sayt xaritasi
  11.  
  12. User-agent: msnbot / msnbot uchun yopiq
  13. Disallow: /
  14. User-agent: psbot / psbot uchun yopiq
  15. Disallow: /
  16. User-agent: yahoo-slurp / yahoo-slurp uchun yopiq
  17. Disallow: /
0
tahrirlandi ·
Fruden
#2
Crawl-delay: 60 / pauklarni cheklash agar cheklanmasa saytga nagruzka tushadi

60ni o'rnida 125 turibdi keodagi saytimda. saytimga nagruzka tushyaptimi hozir???
0
Жасурбек
#3
Fruden, # Fruden (25.09.2017 / 09:17)
Crawl-delay: 60 / pauklarni cheklash agar cheklanmasa saytga nagruzka tushadi

60ni o'rnida 125 turibdi keodagi saytimda. saytimga nagruzka tushyaptimi hozir???
yo'q, sizning pauklaringiz cheklangan, tepada agar cheklanmagan bo'lsa nagruzka tushish xafi bor deyilgan
0
BestMaster
#4
Bu faylar saytiz qidiruv tizimlaridan chiqish uchun muxim fayl xisoblanadi.
0
foxmexa
#5
bu qanaq qudiruv tizimi
0
Сирожиддин
#6
foxmexa, Bu qidiruv tizimi emas, qidiruv tizimi botlari shu faylga kirib tekshiradi, qaysi sahifangizni indeksatsiya qilishi va qaysilarini yashirishini belgilaysiz.
0
33
Tayota
#7
Deylik bu faylni udalit qildik. Nima böladi? Saytda nosozliklar yuzaga kemadimi (nu manda kemadi man xar doyim öchirib tashaganman)
0
Сирожиддин
#8
Tayota, Saytda nosozlik yuzaga kelmaydi, lekin saytingizni qidiruv tizimlari tanib olishida bu fayl aynan robots.txt nomida bo’lishi kerak.
0
33
Tayota
#9
Сирожиддин, # Сирожиддин (19.10.2017 / 01:07)
Tayota, Saytda nosozlik yuzaga kelmaydi, lekin saytingizni qidiruv tizimlari tanib olishida bu fayl aynan robots.txt nomida bo’lishi kerak.
Xm demak robots.txtga
Disallow: /download/
deb yozib qöysa misol menda downloadda ummon.mp3 bor uni google dan qidirsam topolmaydi yo topsaxam kirgizmaydi shundaymi?
0
Сирожиддин
#10
Tayota, Disallow qo’ysangiz sizning download papkangizdan hechnarsa topmaydi
0
foxmexa
#11
buni nimasi foyda tarafi
0
BORIY
#12
foxmexa, saytingiz rivojlanadi shu foyda sizga.
0
Kamol
#13
Savol Disallow/master.html deb yozib quysa googlega tezroq chiqadimi
1
ERKIN7717
#14
Kamol, umuman chiqmaydi
#1 ni yaxshilab o'qing
0
tahrirlandi ·
JRCoder
#15
Allow : /index.php
Disallow : /panel
0
Kamol
#16
Do'stlar mening saytimni index.html chiqmay qoldi googlega bu nimadan oldin chiqar edi
1
600
Tegos
#17
allow deb yozish kerakmi yoki disallow deb yozish kerakmi umuman tushunmadim
0
266
bayotshoh
#18
Tegos, # Tegos (08.01.2018 / 16:23)
allow deb yozish kerakmi yoki disallow deb yozish kerakmi umuman tushunmadim
Allow ruxsat degani disallow taqiqlanadi dgani. Qaysi sahifaga ruxsat beriw yoligini belgilaysz
0
600
Tegos
#19
bayotshoh, xa tushunarli setimapda unqa narslar bulmaydimi
0
266
bayotshoh
#20
Tegos, # Tegos (08.01.2018 / 21:47)
bayotshoh, xa tushunarli setimapda unqa narslar bulmaydimi
Yoq
0