WordPress sitenizin zaten bir robots.txt dosyası var ve siz bu dosyayla hiç uğraşmamış olsanız bile arama motoru tarayıcılarının neleri erişebileceğine dair kararlar alıyor.
Bu kararların çoğu zararsızdır. Ancak kötü seçilmiş tek bir kural, tarayıcıları aslında keşfetmelerini istediğiniz URL'lerden uzak tutabilir.
Bu kılavuzda, robots.txt dosyanızın şu anda ne yaptığını ve kodla uğraşmadan nasıl düzenleyeceğinizi göstereceğiz.
Bu kılavuzda ele alacağımız her şey aşağıdadır:
Robots.txt Dosyası Nedir?
Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini söyleyen düz metinli bir dosyadır.
Dosya, web sitenizin kök dizininde (ana klasöründe) bulunur. Temel biçimi şöyledir:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
İhtiyacınız olan kadar kural ve site haritası ekleyebilirsiniz. Bir URL'ye izin vermezseniz, botlar onu tarayabileceklerini varsayarlar.
Bir blog başlattığınızda siteniz robots.txt dosyası olmadan iyi çalışır. Ancak, içeriğiniz büyüdükçe bu dosya daha kullanışlı hale gelir.
Arama motorları her web sitesine belirli bir zaman diliminde tarayacakları sayfa sayısı olan bir tarama bütçesi verir. Önemsiz sayfaları engelleyerek, botların bu bütçeyi arama sonuçlarında görmek istediğiniz içeriğe harcamasına yardımcı olursunuz.
Bu, binlerce sayfadan oluşan büyük siteler için en çok önemlidir.
Unutmayın ki robots.txt, taramayı kontrol etmenize yardımcı olur, indekslemeyi değil.
- Taramak, arama motoru botlarının (Googlebot gibi) içeriğinizi keşfetmek için web sitenizi ziyaret etmesidir.
- İndekslemek, bu içeriği arama sonuçlarında görünebilmesi için devasa arama veritabanlarına eklemeleridir.
Bunu, bir kütüphanecinin yeni bir kitabı okuması (tarama) ve sonra bunu kütüphanenin kataloğuna eklemesi (indeksleme) gibi düşünebilirsiniz.
Başka bir deyişle, robots.txt içeriği gizlemek için iyi bir yol değildir çünkü izin verilmeyen bir sayfa, başka web siteleri ona bağlantı verirse arama sonuçlarında görünebilir. Bir sayfayı güvenilir bir şekilde Google'dan çıkarmak için bunun yerine 'noindex' meta etiketini kullanın. Bu, arama motorlarına sayfayı hiç listememelerini söyler.
Robots.txt Örnekleri ve En İyi Uygulamalar
Çoğu WordPress sitesi için robots.txt dosyanızı oldukça basit tutabilirsiniz. İşte önerdiğimiz temel kurulum:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Her kuralın ne işe yaradığı aşağıdadır:
Allow: /wp-content/uploads/, arama motorlarının resimlerinizi ve WordPress medya kütüphanenize yüklenen diğer dosyalarınızı taramasına izin verir.Allow: /wp-admin/admin-ajax.php, WordPress'in AJAX işleyicisini erişilebilir tutar. Temalar ve eklentiler, sayfayı yenilemeden içeriği yüklemek veya güncellemek için bu dosyayı kullanabilir.Disallow: /wp-admin/, tarayıcıların WordPress yönetici alanınıza erişmesini engeller; bu alan arama sonuçlarında görünmesini istemediğiniz içerik barındırmaz.Disallow: /readme.html, tarayıcıların WordPress'in varsayılanreadme.htmldosyasına erişmesini engeller. Bu dosya arama motorları için faydalı değildir, bu nedenle taranmaları için çok az neden vardır.Disallow: /refer/,/refer/önekini kullanan bağlı kuruluş veya diğer yönlendirme URL'lerini izleyen tarayıcıları engeller. Siteniz bu bağlantılar için farklı bir önek kullanıyorsa,/refer/yerine kendi önekini kullanın.Disallow: /?s=, tarayıcıların WordPress'in dahili arama URL'lerini istemesini engeller. Bu sayfalar genellikle arama motorları için kullanışlı hedef sayfalar değildir ve taranacak çok sayıda gereksiz URL oluşturabilir.Sitemap, XML site haritalarınızın nerede bulunacağını arama motorlarına söyler. Bu, onların taramasını istediğiniz URL'leri keşfetmelerini kolaylaştırır.
Bunlar, WPBeginner'da kullandığımız temel kural türleriyle aynıdır. Canlı dosyamızı wpbeginner.com/robots.txt adresinde görebilirsiniz. Üretim dosyamız çok daha büyük bir site için ek kurallar içeriyor, ancak temel prensipler aynı.
* joker karakterini kullanmanın tüm tarayıcılar için geçerli olduğunu unutmayın.
Örneğin, bu kural Googlebot'un /private/ klasörünü taramasını engeller:
User-agent: Googlebot
Disallow: /private/
Yaygın kullanıcı adı adları arasında Googlebot (Google), Bingbot (Bing) ve Baiduspider (Baidu) bulunur.
WordPress'te Robots.txt Dosyası Nasıl Oluşturulur
WordPress'te robots.txt dosyası oluşturmanın iki yolu vardır. Sizin için en iyi çalışan yöntemi seçebilirsiniz.
Yöntem 1: All in One SEO Kullanarak Robots.txt Dosyasını Düzenleme
All in One SEO (AIOSEO), Yoast veya Rank Math gibi çoğu ücretsiz WordPress SEO eklentisi, robots.txt dosyanızı doğrudan WordPress kontrol panelinizden özelleştirmenize olanak tanır.
WPBeginner'da AIOSEO kullanıyoruz. AIOSEO'nun ücretsiz sürümü, yazdıkça robots.txt kuralınızı doğrulamanıza yardımcı olur, bu da canlıya geçmeden önce sözdizimi hatalarını yakalamanızı sağlar.
Eklenti etkinleştirildikten sonra, WordPress kontrol panelinizde All in One SEO » Araçlar'a gidin. Robots.txt Düzenleyici'ye yönlendirileceksiniz. Düzenlemeye başlamak için 'Özel Robots.txt Etkinleştir' geçişini açın.
Düzenleyici, WordPress'in kendi kendine oluşturduğu varsayılan kuralları gösterir.
Artık kendi kurallarınızı ekleyebilirsiniz. 'Kullanıcı Aracısı' alanına bir kullanıcı aracısı girin veya tüm botlara kural uygulamak için * kullanın.
Ardından Yönerge sütununda 'İzin Ver' veya 'Reddet' seçeneğini belirleyin ve 'Değer' alanına dosya veya klasör yolunu yazın. Başka bir kural eklemek için 'Kural Ekle' düğmesine tıklayın.
Sonlandırılmış dosyanızı ekranın altındaki 'Özel Robots.txt Önizlemesi' bölümünde kontrol edebilirsiniz. Botların göreceği tam dosyayı gösterir.
İşiniz bittiğinde, kurallarınızı kaydetmek için 'Değişiklikleri Kaydet' düğmesine tıklayın.
Yöntem 2: Robots.txt Dosyasını FTP Kullanarak Manuel Olarak Düzenleme
robots.txt dosyanızı doğrudan düzenlemeyi tercih ederseniz, bu yöntemi izleyin. Dosyayı düzenlemek için bir FTP istemcisi veya WordPress barındırma panelinizdeki dosya yöneticisini kullanmanız gerekecektir.
Herhangi bir şeyi düzenlemeden önce, mevcut robots.txt dosyanızın bir yedek kopyasını bilgisayarınıza indirin. Böylece bir şeyler ters giderse geri yükleyebilirsiniz.
İlk olarak, FTP istemcinizi WordPress web sitenize bağlayın ve web sitenizin kök klasöründeki robots.txt dosyasını bulun.
Eğer bir tane görmüyorsanız, sitenizde henüz bir robots.txt dosyası yoktur. Oraya bir tane oluşturabilirsiniz.
Robots.txt düz metin bir dosyadır. İndirebilir, Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyicisinde düzenleyebilir ve kök klasörünüze geri yükleyebilirsiniz.
Robots.txt Dosyanızı Nasıl Test Edersiniz
robots.txt dosyanızı oluşturduktan veya düzenledikten sonra, her zaman hatalar için kontrol edin. Küçük bir yazım hatası önemli sayfaları arama motorlarından engelleyebilir ve bunu haftalarca fark etmeyebilirsiniz.
robots.txt dosyanızı hatalar için test etmenin en kolay yolu Google Search Console'dur.
Öncelikle sitenizin Google Search Console'a bağlı olduğundan emin olun. Değilse, WordPress sitenizi Google Search Console'a nasıl ekleyeceğiniz konusundaki kılavuzumuzu izleyin.
Ardından Search Console kontrol panelinize gidin ve sol alttaki menüden Ayarlar'ı açın. ‘Tarama’ bölümünü bulun ve ‘robots.txt’ yanındaki ‘Raporu Aç’ seçeneğine tıklayın.
Listede dosyanın mevcut sürümüne tıklayın. Rapor, Google'ın bulduğu en son robots.txt dosyasını gösterir ve tespit ettiği söz dizimi hatalarını veya mantıksal sorunları vurgular.
Dosyanızı yeni güncellediyseniz ve değişiklikler görünmüyorsa, bir gün bekleyin ve ardından tekrar kontrol edin.
WordPress Robots.txt Hakkında Sıkça Sorulan Sorular
İşte okuyucuların WordPress'te robots.txt dosyasını optimize etme konusunda bize en sık sorduğu sorular.
1. robots.txt kullanmak sitemin güvenliğini artırabilir mi?
Hayır, robots.txt bir güvenlik önlemi değildir. Dosya herkese açıktır, bu nedenle listelediğiniz URL'lere erişimi aslında kimseyi engellemez. Sadece iyi huylu arama motoru tarayıcıları için yönergeler sağlar.
2. WordPress kategori ve etiket sayfalarını robots.txt'de engellemeli miyim?
Hayır, kategori ve etiket sayfalarını engellememelisiniz. Bu arşiv sayfaları, tarayıcıların eski gönderilerinize ulaşmak için izlediği dahili bağlantıları taşır, bu nedenle bunları engellemek indekslenmesini istediğiniz içerik için bir keşif yolunu ortadan kaldırır.
3. robots.txt ve noindex etiketi arasındaki fark nedir?
Farklı şeyleri kontrol ederler. Robots.txt, bir tarayıcının bir URL'yi hiç ziyaret edip edemeyeceğini kontrol eder. Noindex etiketi, arama motorlarının sayfayı ziyaret etmiş olsalar bile arama sonuçlarında listelemesini kontrol eder.
Yönetici paneliniz, hazırlık ortamınız veya eklenti dizinleriniz gibi alanlardan tarayıcıları engellemek için robots.txt kullanın. Sadece arama sonuçlarında görünmesini istemediğiniz, filtrelenmiş arşiv sayfaları veya teşekkür sayfaları gibi Google'ın taramasına izin verdiğiniz sayfalar için noindex kullanın.
Umarız bu makale, WordPress robots.txt dosyanızı SEO için nasıl optimize edeceğinizi öğrenmenize yardımcı olmuştur. Ayrıca nihai WordPress SEO kılavuzumuza ve web sitenizi büyütmek için en iyi WordPress SEO araçları hakkındaki uzman seçimlerimize de bakmak isteyebilirsiniz.
Bu makaleyi beğendiyseniz, lütfen WordPress video eğitimleri için YouTube Kanalımıza abone olun. Bizi ayrıca Twitter ve Facebook'ta da bulabilirsiniz.
Steve
Bunun için teşekkürler - peki bu WP Multisite'da nasıl çalışıyor?
WPBeginner Desteği
Çoklu site için, her sitenin kök klasöründe bir robots.txt dosyanızın olması gerekir.
Yönetici
Pacifique Ndanyuzwe
WordPress sitem yeni ve varsayılan robot.txt dosyam şu şekilde:
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Google'ın içeriğimi tarayıp indekslemesini istiyorum. Bu robots.txt uygun mu?
WPBeginner Desteği
İsterseniz kesinlikle bunu kullanabilirsiniz
Yönetici
Ritesh Seth
Harika Makale…
Günlerdir Robots.txt dosyası ve Disallow bağlantıları hakkında kafam karışıktı. Robots dosyası için etiketleri kopyaladım. Umarım bu sitemin sorununu çözecektir.
WPBeginner Desteği
Umarız makalemiz de yardımcı olur
Yönetici
Kurt
Ana klasörünüzün ekran görüntülerindeki dosyalar aslında ana klasörüm altındaki public_html klasöründe bulunuyor.
public_html klasörümün altında bir /refer klasörüm yoktu.
WP hesabımda herhangi bir yerde gönderi veya sayfa xml dosyalarım yoktu.
Oluşturduğum robots.txt dosyasına, sandbox sitemin taranmasını engellemek için bir girdi ekledim. WP'de sandbox sitemin taranmamasını isteyen seçeneği zaten seçtiğim için bunun gerekli olduğundan emin değilim, ancak girdinin olmasının zarar vereceğini sanmıyorum.
WPBeginner Desteği
Bazı barındırma hizmetleri public_html'yi home olarak yeniden adlandırır, bu yüzden orada görürsünüz. XML dosyalarının kullanılabilir olması için Yoast'ın etkin olduğundan emin olmak istersiniz. Bu makaledeki yöntem, sitenizin taranmasını önlemeye yardımcı olmak için ek bir önlemdir
Yönetici
Ahmed
Harika makale
WPBeginner Desteği
Teşekkür ederiz
Yönetici
ASHOK KUMAR JADON
Merhaba, ne kadar güzel bir makale, sorunumu çözdünüz. Çok teşekkür ederim
WPBeginner Desteği
Makalemizin yardımcı olabildiğine sevindik
Yönetici
Elyn Ashton
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php <– Bu benim robot.txt kodum ama /wp-admin neden indeksleniyor diye kafam karıştı? Nasıl indekslenmemesini sağlayabilirim?
WPBeginner Desteği
Daha önce dizine eklenmişse, arama motorunun önbelleğinin temizlenmesi için biraz zaman tanımanız gerekebilir
Yönetici
Ashish kumar
Bu web sitesi beni gerçekten bir blog başlatmaya teşvik ediyor. Çok teşekkürler. Bu web sitesindeki her makale zengin bilgi ve açıklamalarla dolu. Bir sorunum olduğunda ilk olarak bu blogu ziyaret ediyorum. Teşekkürler
WPBeginner Desteği
Makalelerimizin faydalı olabildiği için memnunum
Yönetici
Anna
Yoast kullanarak web sitem için robotları optimize etmeye çalışıyorum. Ancak Yoast'taki Araçlar bölümünde 'Dosya Düzenleyici' seçeneği bulunmuyor.
Sadece iki seçenek var:
(i) İçe Aktar ve Dışa Aktar
(ii) Toplu Düzenleyici
Bu sorunun nasıl çözülebileceği konusunda bana yardımcı olabilir misiniz? Acaba Yoast'ın ücretsiz sürümünü mü kullanıyorum?
WPBeginner Desteği
Yoast'un ücretsiz sürümünde hala seçenek mevcut, ancak kurulumunuz dosya düzenlemeyi engelliyor olabilir, bu durumda FTP yöntemini kullanmanız gerekebilir.
Yönetici
Emmanuel Husseni
Bu makaleyi gerçekten faydalı buluyorum çünkü robot.txt'nin nasıl çalıştığı hakkında pek bir şey bilmiyordum ama şimdi biliyorum.
Anlamadığım şey, sitem için en iyi robot.txt formatını nasıl bulacağım (genel olarak çalışan bir format demek istiyorum)?
Kontrol ettiğim birçok büyük blogun arama motorlarında üst sıralarda yer aldığını ve farklı robot.txt formatları kullandığını fark ettim.
Sizden veya yardımcı olabilecek herhangi birinden bir yanıt görmekten memnuniyet duyarım.
Yayın Kadrosu
Bir site haritasına sahip olmak ve izin verilmesi gereken alanlara izin vermek en önemli kısımdır. İzin verilmeyen kısım her siteye göre değişecektir. Blog yazımızda bir örnek paylaştık ve bu çoğu WordPress sitesi için yeterli olmalıdır.
Yönetici
WPBeginner Desteği
Merhaba Emmanuel,
Lütfen ideal robots.txt dosyası ile ilgili bölüme bakın. Kendi gereksinimlerinize bağlıdır. Çoğu blog yazarı, WordPress yönetici ve eklenti klasörlerini taramadan hariç tutar.
Yönetici
Emmanuel Husseni
Çok teşekkür ederim.
şimdi anladım. Sanırım şimdilik genel formatla başlayacağım.
jack
İyi yazılmış makale, kullanıcıların ROBOTS metinlerini oluşturup etkinleştirmeden önce site haritası yapmalarını tavsiye ederim, bu sitenizin daha hızlı taranmasına ve kolayca indekslenmesine yardımcı olacaktır.
Jack
Connie S Owens
Arama motorlarının arşivlerimi tarama sırasında indekslemesini durdurmak istiyorum.
Emmanuel Nonye
Bu makale için çok teşekkürler, gerçekten yardımcı oldu.
Cherisa
Google webmaster'da aşağıdaki hata mesajını almaya devam ediyorum. Temelde takıldım. Bu eğitimde benim için net olmayan birkaç şey, sitemin kök dosyalarını nerede bulacağım, "robots.txt" dosyamın olup olmadığını nasıl belirlerim ve onu nasıl düzenlerim?
WPBeginner Desteği
Merhaba Cherisa,
Sitenizin kök klasörü, wp-admin, wp-includes, wp-content gibi klasörleri içeren klasördür. Ayrıca wp-config.php, wp-cron.php, wp-blogheader.php gibi dosyaları da içerir.
Bu klasörde bir robots.txt dosyası göremiyorsanız, dosyanız yok demektir. Yeni bir tane oluşturmaya devam edebilirsiniz.
Yönetici
Cherisa
Yanıtınız için teşekkürler. Bahsettiğiniz kök dosyaları bulamadım. Ayarlar altında vb. gibi bu klasöre giden bir yol dizini var mı?
Devender
Web siteme iyi bir trafik geliyordu. Mayıs ayında aniden sıfıra düştü. Şu ana kadar bu sorunla karşılaşıyorum. Lütfen web sitemi kurtarmama yardım edin.
Haris Aslam
Merhaba, Bu Bilgi İçin Teşekkür Ederim, Ancak Bir Sorun Var
Sitemap.xml ve Robots.txt Dosyasını Yeni Oluşturdum ve İyi Taranıyor. Ancak "Product-Sitemap.xml" Nasıl Oluşturabilirim?
Sitemap.xml dosyasında tüm ürünlerin listesi var. Product-sitemap.xml'i ayrı mı oluşturmam gerekiyor?
ve tekrar google veya bing'e gönder mi?
Bana yardım edebilir misin...
Teşekkürler
Mahadi Hassan
robots.txt dosya ayarlarımda bir sorunum var. Tüm web siteleri için yalnızca bir robots.txt gösteriliyor. Lütfen tüm web sitelerinin ayrı robots.txt dosyalarını göstermeme yardım edin. Tüm bireysel web sitelerinin ayrı robots.txt dosyalarına sahibim. Ancak tüm web siteleri için tarayıcıda yalnızca bir robots.txt dosyası gösteriliyor.
Debu Majumdar
Başlangıç seviyesi Robots.txt örneğine neden
Disallow: /refer/
koyduğunuzu açıklar mısınız? Bu satırın etkilerini anlamıyorum. Bu başlangıç seviyesi için önemli mi? Diğer iki Yasaklanmış olanı açıkladınız.
Teşekkürler.
WPBeginner Desteği
Merhaba Debu,
Bu örnek WPBeginner’ın robots.txt dosyasından alınmıştır. WPBeginner olarak, ThirstyAffiliates kullanarak ortaklık bağlantılarını yönetir ve URL'leri gizleriz. Bu URL'lerde /refer/ bulunur, bu yüzden onları robots.txt dosyamızda engelleriz.
Yönetici
Evaristo
Tüm etiketleri/mydomain.Com'u nofollow'a nasıl yerleştirebilirim? Bağlantı Suyunu yoğunlaştırmak için robots.txt'de? Teşekkürler.
harsh kumar
merhaba,, yoast seo'da site haritası ile ilgili bir hata alıyorum.. düzelt'e tıkladığımda,,, tekrar geliyor.. sitemin html'i düzgün yüklenmiyor
Tom
Google Webmaster Tools hesabımı yeni gözden geçirdim ve Arama Konsolu'nu kullanarak şunları buldum:
Sayfa kısmen yüklendi
Sayfanın tüm kaynakları yüklenemedi. Bu, Google'ın sayfanızı nasıl gördüğünü ve anladığını etkileyebilir. Google'ın sayfanızı nasıl anladığını etkileyebilecek herhangi bir kaynağın kullanılabilirlik sorunlarını düzeltin.
Bunun nedeni, Eklentilerle ilişkili tüm CSS stil sayfalarının varsayılan robots.txt tarafından yasaklanmış olmasıdır.
Bunu sadece izin verilebilir hale getirmemem için iyi nedenler anlıyorum, ancak alternatif ne olurdu, çünkü Google algoritmalarının bunları görmediği için siteyi düşürdüğünü sanıyorum.
Suren
Merhaba,
Sitemi Google'da aradığımda, bağlantının altında şu metin görünüyor: “Bu sitenin robots.txt dosyası nedeniyle bu sonuç için bir açıklama mevcut değil.”
Bu sorunu nasıl çözebilirim?
Saygılarımla
WPBeginner Desteği
Merhaba Suren,
Görünüşe göre biri sitenizin gizlilik ayarlarını yanlışlıkla değiştirmiş. Ayarlar » Okuma sayfasına gidin ve 'Arama motoru görünürlüğü' bölümüne aşağı kaydırın. Yanındaki kutunun işaretli olmadığından emin olun.
Yönetici
Divyesh
Merhaba
Webmaster aracında gördüğüm gibi, aşağıdakine benzer bir robot.txt dosyam var:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
bana bunun uygun olup olmadığını bildirin? veya başka bir şey kullanmalı mıyım?
John Cester
Merhaba, robots.txt dosyasında “/wp-content/plugins/” yolunu engellemek (izin vermemek) iyi bir fikir mi? Bir eklentiyi her kaldırdığımda, o eklentinin bazı sayfalarında 404 hatası alıyorum.
Himanshu singh
Bu açıklamayı çok sevdim. Bir başlangıç seviyesinde biri olarak robot.txt dosyası ve kullanımları hakkında çok kafam karışıktı. Ama şimdi amacını biliyorum.
rahul
Bazı robot.txt dosyalarında index.php engellenmiş. Nedenini açıklayabilir misiniz? İyi bir uygulama mı?
Waleed Barakat
Bu değerli bilgiyi paylaştığınız için teşekkürler.
Awais Ahmed
Webmaster aracında neden bunun olduğunu söyler misiniz:
Ağ ulaşılamıyor: robots.txt ulaşılamıyorSite Haritanızı tarayamadık çünkü sitenizin kök dizininde bir robots.txt dosyası bulduk ancak indiremedik. Lütfen erişilebilir olduğundan emin olun veya tamamen kaldırın.
robots.txt dosyası mevcut ama hala
Dozza
Yoast ekibinden bu konuda ilginç bir güncelleme
Alıntı: “robots.txt dosyanızın wp-includes dizininize ve eklentiler dizininize erişimi engellemesi yönündeki eski en iyi uygulamalar artık geçerli değil.”
natveimaging
İzin Ver: /wp-content/uploads/
Böyle olmamalı mı?
İzin Verme: /wp-content/uploads/
Çünkü google'ın yüklediğiniz tüm sayfaları genel URL'ler olarak indeksleyeceğini biliyorsunuz, değil mi? Ve sonra sayfanın kendisi için hatalarla karşılaşırsınız. Burada eksik olduğum bir şey mi var?
nativeimaging
Genel olarak, google'ın resim haritaları oluşturmak için taradığı sayfalar, YÜKLEME klasörleri DEĞİLDİR. O zaman tüm küçük resim boyutları ve kullanıcı arayüzü için olan diğer resimlerin de indeksleneceği bir sorun yaşarsınız.
Bu en iyi seçenek gibi görünüyor:
Disallow: /wp-content/uploads/
Yanlışsam, lütfen bana açıklayın ki buradaki açınızı anlayabileyim.
Jason
Blog URL'm indekslenmiyor, robots.txt dosyamı değiştirmem gerekir mi? Bu robots.txt dosyasını kullanıyorum
iyan
YALNIZCA sayfa ve Gönderi indekslemesine izin veren robot txt nasıl oluşturulur.. teşekkürler
Simaran Singh
Emin değilim ama sorun ne bilmiyorum ama robots.txt dosyamın iki sürümü var.
Biri http://www.example.com/robots.txt adresinde ve ikincisi example.com/robots.txt adresinde
Lütfen yardım edin! Olası nedenleri ve nasıl düzeltebileceğimi bilen var mı?
WPBeginner Desteği
Büyük olasılıkla, web barındırma hizmetiniz sitenize hem www hem de www olmayan URL'ler ile erişilmesine izin veriyor. FTP istemcisi kullanarak robots.txt dosyasını değiştirmeyi deneyin. Ardından, değişikliklerinizi her iki URL'de de görebiliyorsanız, bu aynı dosya anlamına gelir.
Yönetici
Simaran Singh
Hızlı yanıtınız için teşekkürler. Zaten yaptım ama herhangi bir değişiklik göremiyorum. Bunu çözmenin başka bir yolu var mı?
Martin conde
Yoast'ın bu konudaki blog yazısı aramamda sizinkinin hemen üstündeydi, bu yüzden ikisini de kontrol ettim. Birbirleriyle biraz çelişiyorlar.. Örneğin Yoast, eklenti dizinlerini ve diğerlerini engellemenin, Google'ın sitenizi çekerken tarayıcılarını engelleyebileceğini, çünkü eklentilerin CSS veya JS çıktısı verebileceğini söyledi. Ayrıca (ve kendi deneyimimden) Yoast'ın robots.txt'ye site haritasıyla ilgili hiçbir şey eklemediğini, bunun yerine arama konsolunuza ekleyebileceğiniz şekilde oluşturduğunu belirtti. İşte yazısına bağlantı, belki yeniden kontrol edebilirsiniz çünkü kimin sözüne inanılacağına karar vermek çok zor
MM Nauman
Bu robots.txt dosyasını oluşturmakta iyi olmadığım için, sitenin url ve sitemap gibi parametrelerini değiştirerek sizin Robots.txt dosyanızı kullanabilir miyim, bu iyi midir? yoksa farklı bir tane mi oluşturmalıyım?
Mohit Chauhan
Merhaba,
Bugün Google'dan şu e-postayı aldım: “Googlebot CSS ve JS dosyalarına erişemiyor”… Çözümü ne olabilir?
Teşekkürler
Parmod
Tahmin edeyim... CSS ve JS dosyalarını içe aktarmak için CDN hizmetleri kullanıyorsunuz. veya Bu dosyalarda yanlış sözdizimi yazmış olabilirsiniz.
Rahul
Site Haritaları ekleme hakkında bir sorum var. Yahoo ve Bing Site Haritasını Robots dosyasına ve WordPress Dizinine nasıl ekleyebilirim?
Gerbrand Petersen
Robotlar dosyasının kullanımına ilişkin ayrıntılı özet için teşekkürler. Yahoo'nun da bu robots.txt dosyasını kullanıp kullanmadığını ve dosyadaki kurallara uyup uymadığını bilen var mı? Bunu soruyorum çünkü dosyamda belirli bir sayfa için bir "Yasakla" talimatı var, ancak Yahoo'dan o sayfaya trafik alıyorum. Google'dan değil, olması gerektiği gibi. Şimdiden teşekkürler.
Erwin
düzeltme…
"Yoast'ın WordPress SEO eklentisini veya XML site haritanızı oluşturmak için başka bir eklentiyi kullanıyorsanız, eklentiniz site haritasıyla ilgili satırları otomatik olarak robots.txt dosyasına eklemeye çalışacaktır."
Doğru değil. WordPress SEO, site haritasını robots.txt'ye eklemez
“XML site haritanıza robots.txt dosyanızdan bağlantı vermenin biraz anlamsız olduğunu her zaman hissettim. Bunları manuel olarak Google ve Bing Webmaster Araçlarınıza eklemeli ve XML site haritanız hakkındaki geri bildirimlerine bakmalısınız. WordPress SEO eklentimizin bunu robots.txt dosyanıza eklememesinin nedeni budur.”
https://yoast.com/wordpress-robots-txt-example/
wp-plugins dizinine izin vermemek de daha çok tavsiye edilir (nedenleri için Yoast'ın gönderisine bakın)
Ve şahsen ben readme.txt dosyasını basitçe kaldırmayı tercih ediyorum...
hyma
robots.txt dosyasını ve robots dosyasının kullanımını anladım. Site haritası nedir, sitem için nasıl site haritası oluşturabilirim?
Rick R. Duncan
Google'ın belgelerini okuduktan sonra, robots.txt dosyasında kullanılması gereken yönergenin yalnızca botların neyi tarayabileceğini ve neyi tarayamayacağını söyleyen yasaklama (disallow) olduğu izlenimine kapıldım. Nelerin dizine eklenebileceğini ve nelerin eklenemeyeceğini söylemez. Bir sayfanın dizine eklenmemesi için noindex robot meta etiketini kullanmanız gerekir.
Nitin
SEO optimize edilmiş robots.txt dosyası için gerçekten iyi bir makale. Ancak, robots.txt dosyasını sunucuya nasıl yükleyeceğiniz konusunda bir eğitim vermeniz gerekiyor. Başlangıç seviyesinde biri için bu dosyayı yüklemek büyük bir sorun gibi görünüyor.
Bu arada bu kadar faydalı bilgiyi paylaştığınız için teşekkürler.
-Nitin
Parmod
Sunucunuza/public_hmtl/(Sitenizin-adı) ... bu klasöre yükleyin
Jenny
URL ve IP adresi verilmeyen birden çok spam bot yönlendirmesini engellemek için kodu HTTacess'e eklemenin en iyi yolu nedir?
Htaccess ile yanlış sözdizimi kullanırsanız sitenizin çevrimdışı olabileceğini biliyorum. Ben acemiyim ve Rusya, Çin, Ukrayna vb. gibi yerlerden gelen bu sinir bozucu birden fazla URL'yi engellemem gerekiyor.
Çok teşekkürler
Hazel Andrews
Bu ipuçları için teşekkürler... robot txt dosyaları şimdi düzenlendi! yaşasın!
Rahat
Neden İzin Ver: !!!
Eğer sadece Neye İzin Verilmeyeceğini belirtmem yeterliyse eklemem gerekiyor. İzin Ver için kod yazmama gerek yok çünkü Googlebot veya Bingbot diğer her şeyi otomatik olarak tarayacaktır.
Öyleyse neden tekrar İzin Ver kullanmalıyım?
Connor Rickett
Robots.txt dosyası olmaması sitenin taranmasını engellemediği için merak ediyorum: Dosyanın SEO performansını tam olarak ne kadar iyileştireceğine dair herhangi bir somut veri var mı?
Hızlı bir Google araması yaptım ve bu konuda nicel verilere rastlamadım. "Hey, bu SEO'yu daha iyi hale getiriyor!" diyen yarım milyon makale var, ancak ne hakkında konuştuğumuzu, hatta genel olarak bilmek istiyorum.
Bu %5'lik bir artış mı? 50 mi? 500 mü?
WPBeginner Desteği
Arama motorları bu tür verileri paylaşmaz. robots.txt dosyasına sahip olmamak, arama motorlarının bir web sitesini taramasını veya indekslemesini engellemez. Ancak, önerilen en iyi uygulamadır.
Yönetici
Connor Rickett
Bana geri döndüğünüz için teşekkürler, minnettarım!
JD Myers
Bunun zamanlaması iyi oldu. Dün tam da bu bilgiyi arıyordum.
Bunu aramamın nedeni, Google Webmaster araçlarının, sayfanın düzgün oluşturulması için gereken çeşitli kaynakları engellediğim için sitemi düzgün bir şekilde tarayamadıklarını söylemesiydi.
Bu kaynaklar arasında /wp-content/plugins/ içinde bulunanlar da vardı.
Bu klasöre izin verdikten sonra uyarı kayboldu.
Bu konuda bir fikriniz var mı?
WPBeginner Desteği
Bu uyarıları güvenle göz ardı edebilirsiniz. Dizine eklenmesini istediğiniz bir içerik olsaydı bu sadece bir uyarı olurdu. Bazen kullanıcılar arama botlarını kısıtlamış olabilir ve bunu unutmuş olabilirler. Bu uyarılar bu durumlarda işe yarar.
Yönetici
Chetan jadhav
Bir sorum var, birçok insan statik site haritası kullanıyor ve wordpress siteleri olduğunu biliyorsunuz. Statik mi yoksa wordpress tarafından oluşturulan site haritasını mı kullanmalıyız?
Wilton Calderon
Güzel, Wpbeginner'ın sahip olduğu yolu seviyorum ve alexa'daki sıralamasıyla, bana robots.txt'yi kullanmanın en iyi yollarından biri gibi görünüyor..
Brigitte Burke
robots.txt dosyam böyle görünüyorsa ne anlama gelir?
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Yayın Kadrosu
Bu sadece arama motorlarının wp-admin klasörünüzü, wp-includes klasörünüzü ve xml-rpc dosyasını indekslememesi gerektiğini söylüyor. Bazen /wp-includes/ dosyasını engellemek, siteniz bu betikleri kullanıyorsa, arama motorları için belirli betikleri engelleyebilir. Bu SEO'nuza zarar verebilir.
Yapılacak en iyi şey Google Web Yöneticisi Araçları'na gidip web sitenizi orada bir bot olarak getirmektir. Her şey yolunda yüklenirse, endişelenecek bir şeyiniz yoktur. Betiklerin engellendiğini söylerse, wp-includes satırını kaldırmak isteyebilirsiniz.
Yönetici
hercules
Bir tarayıcı / robot tarafından kullanılabilecek, includes dizini içinde bir betiğe sahip olma fikrinizdeki mantığı göremiyorum .. ve diğeri, eğer izole bir durum varsa, varsayılan wordpress bu dosyayı izin verdikten sonra belirtmek daha iyidir, arama motorlarının betiklerini kullandığını hayal ediyorsunuz! Sonuçta, wordpress kesinlikle varsayılan olarak arama motorlarına karşı bir robots.txt'ye sahip değil!!!!