Mengatur robot.txt dan tag tajuk robot khusus

Mengatur robot.txt dan tag tajuk robot khusus - Hallo sahabat, Selamat Datang di Website cara gampang cari uang, Silahkan menikmati Mengatur robot.txt dan tag tajuk robot khusus dari kami, Dan jangan lupa untuk menikmati Artikel kami yang lainnya, Terima kasih.

Cara mencari uang di internet!

Mengatur Robot.txt dan Tag Tajuk Robot Khusus SEO Friendly - Kali ini saya akan kembali membahas seputar SEO.
Kemarin kita sudah membahas CARA TINGKATKAN SEO.
Topik yang akan kita bahas kali ini adalah mengatur Robot.txt dan Tag Tajuk Robot Khusus agar mejadi lebih SEO Friendly. Bagi anda yang menggunakan platform blogger mungkin pernah menemui Robot.txt dan Tag Tajuk Robot Khusus ini di setelah Prefenrensi Penelusuran. Namun bagi blogger baru seperti saya ini, pasti akan bertanya - tanya untuk apa sih pengaturan Robot.txt dan Tag Tajuk Robot Khusus ini. Setelah membaca referensi di beberapa blog akhirnya saya cukup paham untuk apa fungsi mereka berdua. Selama ini saya tidak cukup berani otak atik Robot.txt dan Tag Tajuk Robot Khusus ini, karena sering saya membaca warning jika tidak terlalu paham tentang Robot.txt dan Tajuk Tag Robot Khusus ini akan berakibat fatal pada Search Engine terutama Google.

Apa Fungsi Robot.txt?
Fungsi Robot.txt adalah sebagai rambu - rambu bagi Crawl Robot Search Engine dalam mengindex blog kita, dalam Robot.txt kita bisa memberikan rambu mana halaman yang boleh untuk di index dan mana halaman yang dicegah atau tidak perlu untuk di index. Pengaturan Robot.txt dalam SEO adalah salah satu yang krusial, penting bagi anda untuk mengatur Robot.txt ini agar apa yang muncul pada search engine tentang situs anda dapat terkontrol. Dalam SEO sebaiknya tidak semua halaman pada blog kita harus masuk index google misalkan halaman pencarian berdasarkan label atau mungkin daftar isi juga lebih baik dicegah untuk tidak di index search engine. Di beberapa tutorial ada yang menggunakan Robot.txt ini untuk memblokir double index (biasanya versi Web dan Mobile), biasanya yang diblok adalah yang versi mobile. Namun disini saya ingin mengatakan Jangan Blokir Versi Mobile, alasannya adalah saat ini SEO yang paling menjanjikan adalah SEO yang multi platform, baik versi Web atau Mobile. Jika anda memblokir atau mencegah versi Web di Robot.txt ini akan merugikan anda sendiri.

Cara Mengatur Robot.txt
Untuk mengatur Robot.txt silahkan anda masuk dulu pada akun blogger anda kemudian masuk pada menu Setelan > Preferansi Penelusuran dan klik Edit pada Robot.txt Khusus,
Secara Default Robot.txt yang ada pada blog ketika diaktifkan adalah sebagai berikut.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://caragampang-cariuang.blogspot.com/feeds/posts/default?orderby=UPDATED

Arti dari kode di atas adalah :

1. “User-agent: Mediapartners-Google” : itu berarti bahwa kode yang ditempatkan di bawahnya hanya berlaku untuk Bot Crawler/robot perayap Mediapartners-Google. Mediapartners-Google adalah bot crawler untuk google adsense.

2. “Disallow: ” : Ini berarti bahwa tidak ada batasan halaman merangkak oleh crawler. Dengan kata lain, memungkinkan crawler merangkak semua halaman di situs.

3. “User-agent: *”: ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku padasemua robot crawler (diwakili dengan kode ‘*’).

4. “disallow: /search” : melarang crawler untuk menjelajah url yang memiliki awalan urlbloganda.com/search.

5. “allow: /”: Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow.

6. “Sitemap: ” : Ini adalah sitemap dari situs Anda yang diberitahukan kepada crawler agar mudah ketika menjelajahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler.

Kesimpulan :

– File robots.txt memperbolehkan crawler google adsense (User-agent:Mediapartner-Google) untuk menjelajah semua halaman situs anda

– Mengijinkan semua crawler dari mesin pencari manapun (User-agent:*) merangkak semua halaman blog Anda kecuali halaman dengan url yang memiliki awalan urlblog.com/search. Karena halaman dengan url awalan itu merupakan halaman-halaman arsip dan label.

Cara Mengatur Robots.txt
Jika Anda ingin memodifikasi atau mengatur robots.txt Anda, terlebih dahulu Anda harus berhati-hati dan paham betul karena kesalahan pengaturan bisa membuat website anda tidak diindex search engine. Oleh karena itu, sekarang saya akan menjelaskan bagaimana mengatur robots.txt dengan benar.

A. Memblokir Url

Tidak hanya kode yang saya jelaskan di atas yang dapat digunakan dalam robots.txt. Contoh kasus, misalnya  anda ingin memblokir posting tertentu agar tidak diindeks oleh semua mesin pencari, anda dapat melakukannya dengan menempatkan kode dibawah ini.

user-agent: *
disalllow: /2012/11/url-posting-anda.html

Kode diatas merupakan contoh struktur url permalink posting blogspot yang di blokir tanpa menuliskan nama domain web di depannya.

B. Memblokir URL Yang Mengandung Karakter/Kata Tertentu

Dengan robots.txt kita juga dapat memblokir url yang memiliki karakter/kata tertentu agar tidak diindeks di mesin pencari. Misalnya saya menggunakan karakter tanda tanya (?) yang biasanya dipakai pada url untuk query string atau pencarian pada web tertentu yang menyebabkan duplikat. user-agent: * disallow: /*?*  #untuk memblok semua url yang mengandung “?”. allow: /*?$ #untuk membolehkan akses pada semua url yang memiliki akhiran “?”

C. Memblokir Akses Pada Ekstensi/Format File Tertentu

Kita juga dapat mengatur robots.txt untuk memblokir file dalam situs anda dengan format tertentu. Misalnya, kita akan memblokir file dengan format php (php), css (css) dan javascript (js).

user-agent: *
disallow: /*.php$
disallow: /*.js$
disallow: /*.css$
User Agent

Saat mengatur robots.txt, Anda dapat mengatur mana saja bot crawler yang diperbolehkan atau dilarang untuk mengakses atau merayapi web anda secara spesifik.

CARA MENGATUR TAG TAJUK

1. Silahkan Login ke Blogger.

2. Lalu Klik Setelan > Preferensi Penelusuran / Search Preferences.

3. Pada Tag Tajuk Robot klik Edit kemudian klik Ya, kemudian centang seperti gambar dibawah ini:

4. Kemudian Simpan.

Apa Fungsi masing-masing Tag Pada Tag Header Robots Khusus:

Direktif 

Penjelasan

all 

Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar.

noindex 

Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.

nofollow 

Jangan ikuti link di halaman ini.

none 

Sama dengan tag noindex, nofollow

noarchive 

Tidak menunjukkan "Cached" link dalam hasil pencarian.

nosnippet 

Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.

noodp 

Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini.

notranslate 

Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.

noimageindex 

Jangan indeks gambar di halaman ini.

unavailable_after: [RFC-850 date/time] 

Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam

RFC 850 format.

CATATAN PENTING:

Agar berhati-hati untuk menggunakan Mensetting Robot.txt dan Tag Tajuk Robot ini, karena jika salah akan mengakibatkan Blog anda yang diabaikan oleh mesin pencari.

Beri saya waktu sejenak untuk menjelaskan kepada Anda cara mudah dan praktis untuk mendapatkan uang!

Cara cari uang di internet!

Sekian dulu Mengatur robot.txt dan tag tajuk robot khusus dari kami, Semoga Mengatur robot.txt dan tag tajuk robot khusus ini bermanfaat untuk anda dan Silahkan menikmati Artikel kami yang lainnya, Terimakasih.