foxmexa, Bu qidiruv tizimi emas, qidiruv tizimi botlari shu faylga kirib tekshiradi, qaysi sahifangizni indeksatsiya qilishi va qaysilarini yashirishini belgilaysiz.