HyperCloudHostHyperCloudHost
Daftar
WEBSITE & SEO

Robots.txt Generator

Tentukan area website yang boleh dirayapi crawler yang mengikuti robots.txt. Aturan dibuat sebagai teks sehingga dapat ditinjau sebelum dipasang.

Isian dan hasil tetap di perangkat Anda. Hanya nama tool yang dikirim untuk memeriksa batas unduhan bersama.

01

Atur kebutuhan Anda

Pengaturan robots-txt
Crawler
Kolom path digunakan saat memilih “Atur path sendiri”. Mendukung * dan $.
02

Hasil Anda

Lokal

Hasil akan tampil di sini.

Atur pilihan, lalu tekan tombol buat.
Unduhan: 10 kali per IP dalam 5 menit, gabungan semua tool. Percobaan berlebih berulang akan menambah waktu tunggu.

Cara menggunakan

  1. Pilih crawler dan aturan awal.
  2. Isi path satu per baris dan URL sitemap bila ada.
  3. Buat file, periksa aturan, lalu unggah ke root domain Anda.
Di mana robots.txt dipasang?

Letakkan di root domain, misalnya https://domainanda.com/robots.txt. Tool ini hanya membuat file unduhan dan tidak menimpa robots.txt website ini.

Lengkapi pekerjaan Anda

Hash Generator

Hitung MD5 dan SHA dari teks Anda.

Buka tool

Password Generator

Buat password acak sesuai kebutuhan.

Buka tool

Lorem Ipsum Generator

Teks contoh untuk desain dan tata letak.

Buka tool