Website Optimizasyonu=Googlebot'u nasıl engellerim?

Google çeşitli kullanıcı aracıları kullanır. Bir girişin User-agent satırına bot adını ekleyerek bu aracılardan istediğinize erişimi engelleyebilirsiniz. Googlebot'u engellerseniz "Googlebot" ile başlayan botların tamamı engellenir.
Googlebot: web dizinimizdeki ve haber dizinimizdeki sayfaları tarar
Googlebot-Mobile: mobil dizinimiz için sayfaları tarar
Googlebot-Image: resim dizinimiz için sayfaları tarar
Mediapartners-Google: AdSense içeriğini belirlemek için siteleri tarar. Yalnızca sitenizde AdSense reklamları gösteriyorsanız sitenizi taramak için bu botu kullanırız.
Adsbot-Google: AdWords açılış sayfası kalitesini ölçmek için sayfaları tarar. Yalnızca sitenizin tanıtımını yapmak için Google AdWords'ü kullanıyorsanız bu botu kullanırız. Bu bot ve bu botun sitenizin belirli bölümlerine erişimini engellemek için yapabilecekleriniz hakkında daha fazla bilgiyi aşağıdaki örnekleri inceleyerek edinebilirsiniz. Arama Motorlarına Kayıt sistemi hakkında açıklama.

Örneğin, Googlebot'u tamamen engellemek için aşağıdaki söz dizimini kullanabilirsiniz:
User-agent: Googlebot
Disallow: /

Googlebot'a İzin Verme
Googlebot dışında tüm botlara erişimi engellemek istiyorsanız aşağıdaki söz dizimini kullanabilirsiniz:
User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

Googlebot, herkese yönelik olan bağlantıyı değil, kendisine yönelik olan bağlantıyı izler.

İzin Ver uzantısı
Googlebot, robots.txt standardının İzin Ver adlı uzantısını tanır. Diğer arama motoru botlarının hepsi bu uzantıyı tanımayabilir, bu nedenle ilgilendiğiniz diğer arama motorlarının bu uzantıyı tanıyıp tanımadığını kontrol edin. İzin Ver satırı, tıpkı İzin Verme satırı gibi çalışır. Tek yapmanız gereken izin vermek istediğiniz bir dizini veya sayfayı listelemektir.İzin Verme ve İzin Ver satırlarını birlikte kullanmak isteyebilirsiniz. Örneğin, bir alt dizinde bir tanesi hariç tüm sayfalara erişimi engellemek için aşağıdaki girişleri kullanabilirsiniz:

User-agent: Googlebot
Disallow: /klasor1/
Allow: /klasor1/dosyam.html

Bu girişler, dosyam.html dışında klasor1 dizinindeki tüm sayfaları engelleyebilir.

Googlebot'u engelleyip başka bir Google botuna (Googlebot-Mobile gibi) izin vermek isterseniz İzin Ver kuralını kullanarak söz konusu bota erişim izni verebilirsiniz.

Örneğin:
User-agent: Googlebot
Disallow: /

User-agent: Googlebot-Mobile
Allow: /

robots.txt dosyamı nereye yerleştirebilirim?
Robots.txt dosyası, etki alanının kök dizinine yerleştirilmeli ve "robots.txt" olarak adlandırılmalıdır. Botların bu dosyayı yalnızca etki alanı kök düzeyinde kontrol etmesi nedeniyle, alt dizinde bulunan bir robots.txt dosyası geçerli değildir. Örneğin, http://www.example.com/robots.txt geçerli bir konumdur. Ancak, http://www.example.com/mysite/robots.txt geçerli bir konum değildir. Bir etki alanının köküne erişiminiz yoksa, erişimi Robots META etiketini kullanarak kısıtlayabilirsiniz.
Websitenizde yapacağınız tüm değişiklerin, 90-180 gün arası ceza almasını önlemek için ,arama motoru kayıt ve optimizasyonunda robotların önem verdiği kurallara uymak için sabırlı olmalısınız. Mesala, eski optimizasyon firması, web sitenizi hatalı optimize etti; sayfaları spam yaptı( aynı meta tagları tüm sayfalara yapıştırdı), keywordları, zenginleştirmedi veya rastgele kelimeler seçti. Google arama terimleri ile uyuşmadı. Bu tür vahim hatalardan kurtulmanın yolu robot.txt dosyasında disallow seçeneğini kullanarak dosya oluşturmanızdır.

Engellemek istediğim her dosyayı listelemek istemiyorum. Kalıp eşlemesi kullanabilir miyim?

Evet, Googlebot bazı şablon eşlemelerini yorumlar. Bu, standardın genişletilmiş halidir ve tüm botlar buna uymayabilir.

* karakterini kullanarak bir karakter sırasıyla eşleme
Bir karakter sırasıyla eşleşmek için (*) yıldız kullanabilirsiniz. Örneğin, özel ile başlayan tüm alt dizinlere erişimi engellemek için aşağıdaki girişi kullanabilirsiniz:
User-agent: Googlebot
Disallow: /ozel*/

Bir soru işareti (?) içeren tüm URL'lere erişimi engellemek için aşağıdaki girişi kullanabilirsiniz:
User-agent: *
Disallow: /*?

$ karakterini kullanarak URL'nin bitiş karakterleriyle eşleme
URL sonu eşlemeyi belirtmek için $ karakterini kullanabilirsiniz. Örneğin, .asp ile biten bir URL'yi engellemek için aşağıdaki girişi kullanabilirsiniz:
User-agent: Googlebot
Disallow: /*.asp$

Bu kalıp eşlemesini, İzin Ver yönergesiyle birlikte kullanabilirsiniz. Örneğin, ? bir oturum kimliğini gösteriyorsa bu öğeleri içeren tüm URL'leri dışlayarak Googlebot'un aynı sayfaları taramasını önleyebilirsiniz. Ancak ? ile biten URL'ler, eklenmesini istediğiniz sayfanın sürümü olabilir. Bu durumda, robots.txt dosyanızı aşağıda gösterildiği biçimde ayarlayabilirsiniz:
User-agent: *
Allow: /*?$
Disallow: /*?

Disallow:/ *? satırı, ? içeren URL'lerin tümünü engeller (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL'lerin tümünü engeller).

Allow: /*?$ satırı ? ile biten tüm URL'lere izin verir (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından bir dize ve bir ? gelen ve ? işaretinden sonra hiç karakter içermeyen URL'lerin tümüne izin verir).

robots.txt hataları tarafından kısıtlanan URL'ler nedir?

Google, bir robots.txt kısıtlaması nedeniyle URL'yi tarayamadı. Bu bir dizi nedenden dolayı olabilir. Örneğin robots.txt dosyanız Googlebot'u tamamen engelleyebilir; bu URL'nin yer aldığı dizine erişimi engelleyebilir ya da özellikle bu URL'ye erişimi engelleyebilir. Genellikle bu bir hata değildir. Bu URL'yi taramamızı önlemek için özel olarak ayarlanmış bir robots.txt dosyanız olabilir. Durum buysa düzeltilmesi gerekmez; bu dosya için robots.txt'yi kabul etmeye devam edeceğiz.

Bir URL, robots.txt dosyası tarafından engellenen bir URL'ye yeniden yönlendirilirse, ilk URL robots.txt (URL'nin robots.txt analiz aracında İzin verilmiş olarak listelenmesine rağmen) tarafından engellenmiş olarak rapor edilir.

Meta etiket kullanarak sayfaları engelleme veya kaldırma

Tarayıcının sayfalara erişmesini engellemek için bir robots.txt dosyası kullanmak yerine robotlara sayfayı dizine eklememe komutunu vermek için HTML sayfasına bir <META> etiketi ekleyebilirsiniz. Bu standart, http://www.robotstxt.org/wc/exclusion.html#meta adresinde (İngilizce) açıklanmaktadır.

Sitenizdeki bir sayfanın hiçbir robot tarafından dizine eklenmemesi için aşağıdaki meta etiketi sayfanızın <HEAD> kısmına yerleştirmeniz gerekir:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Sitenizdeki bir sayfanın diğer robotlar tarafından dizine eklenmesine izin verip yalnızca Google'ın robotlarını engellemek istiyorsanız aşağıdaki meta etiketi kullanmanız gerekir:

<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">

Robotların sitenizdeki sayfayı dizine eklemesine izin verip giden bağlantıları izlememe talimatı vermek için aşağıdaki meta etiketi kullanmanız gerekir:

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

Robotların sitenizdeki sayfayı dizine eklemesine izin verip söz konusu sayfadaki resimleri dizine eklememe talimatı vermek için aşağıdaki meta etiketi kullanmanız gerekir:

<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">

robots.txt dosyamın beklenen şekilde çalışıp çalışmadığını nasıl denetlerim?

robots.txt analiz aracı, robots.txt dosyasını Googlebot'un okuduğu gibi okur. Araç bir satırda söz dizimi hatası belirlerse Googlebot söz konusu satırı tanımayacak demektir. Araç bir URL'ye izin verildiğini gösterirse, Googlebot da o URL'yi izin verilmiş olarak tanıyacaktır.

Bu araç sadece Google user-agent'lara yönelik (Googlebot gibi) sonuçları sunar. Diğer botlar ise robots.txt dosyasını aynı şekilde tanımayabilir. Örneğin, Googlebot standart tanımın genişletilmiş bir biçimini destekler. Allow: satırlarının yanı sıra * ve $ dize kalıbı eşlemesini de tanır. Dolayısıyla araç bu uzantıları tanındığı gibi içeren satırları gösterirken, bunun sadece Googlebot için geçerli olduğunu ve varsa sitenizi tarayan diğer botlar için geçerli olmayabileceğini unutmayın.

Bir robots.txt dosyası etki alanının kök dizininde bulunuyorsa, bu araçlar Google'ın dosya hakkında edindiği aşağıdaki bilgileri listeler:
Sitenizdeki geçerli robots.txt dosyasına bir bağlantı.
Google dosyayı son indirdiğinde; dosyayı bu tarihten ve saatten sonra değiştirdiyseniz, değişiklikler önbelleğe alınmış sürümümüzde gösterilmeyecektir. Arama Motorları Kayıt ve Optimizasyonunda yaptığımız bazı hizmetleri böylece kısada olsa anlatmış olduk.

 

 

 

 

 

 

 

 

 

 

 

 

 

SPONSOR LİNKLER

Arama Motoru Kayıt
Daha ekonomik, FTP sifre bilgisi gerektirmeyen 12 ay TOP 10 pozisyon

ekokaydet.com
-------------------------------------

Arama motoru Optimizasyon

FTP sifresi ile 6 ay TOP 10 garantili etkili kayit cozumleri.

EURSUBMITplus.com
-------------------------------------

Arama Motoru Kayıt
Tum detaylarin yeraldigi ekonomik ve profesyonel kayit islemleri.

prokaydet.com
-------------------------------------
Vitrin Mankenleri
Raf sistemi, Magaza dekorasyonu, ekipmanları

eurochrom.com
------------------------------------
Arama Motoru Kayıt

FTP sifresi ile 9 ay TOP 10 garantili full ticari etkili kayit cozumleri.

EURSUBMIT.net
------------------------------------
Web Hosting

2009 Super Hızlı Sunucularlar ,Linux Web,Site Hosting Firması

klashosting.net
-------------------------------------

| Sitekelime | Products | Express | Onemli| Paketler| Web Motor | Contact | Motor Kural | Referans | Kurallar | Faz.Kayit |

Not:Genel ahlaka aykiri web sitelerinin kaydi yapilmamaktadir