WordPress sitenizin zaten bir robots.txt dosyası var ve siz bu dosyayla hiç uğraşmamış olsanız bile arama motoru tarayıcılarının neleri erişebileceğine dair kararlar alıyor.
Bu kararların çoğu zararsızdır. Ancak kötü seçilmiş tek bir kural, tarayıcıları aslında keşfetmelerini istediğiniz URL'lerden uzak tutabilir.
Bu kılavuzda, robots.txt dosyanızın şu anda ne yaptığını ve kodla uğraşmadan nasıl düzenleyeceğinizi göstereceğiz.
Bu kılavuzda ele alacağımız her şey aşağıdadır:
Robots.txt Dosyası Nedir?
Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini söyleyen düz metinli bir dosyadır.
Dosya, web sitenizin kök dizininde (ana klasöründe) bulunur. Temel biçimi şöyledir:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
İhtiyacınız olan kadar kural ve site haritası ekleyebilirsiniz. Bir URL'ye izin vermezseniz, botlar onu tarayabileceklerini varsayarlar.
Bir blog başlattığınızda siteniz robots.txt dosyası olmadan iyi çalışır. Ancak, içeriğiniz büyüdükçe bu dosya daha kullanışlı hale gelir.
Arama motorları her web sitesine belirli bir zaman diliminde tarayacakları sayfa sayısı olan bir tarama bütçesi verir. Önemsiz sayfaları engelleyerek, botların bu bütçeyi arama sonuçlarında görmek istediğiniz içeriğe harcamasına yardımcı olursunuz.
Bu, binlerce sayfadan oluşan büyük siteler için en çok önemlidir.
Unutmayın ki robots.txt, taramayı kontrol etmenize yardımcı olur, indekslemeyi değil.
- Taramak, arama motoru botlarının (Googlebot gibi) içeriğinizi keşfetmek için web sitenizi ziyaret etmesidir.
- İndekslemek, bu içeriği arama sonuçlarında görünebilmesi için devasa arama veritabanlarına eklemeleridir.
Bunu, bir kütüphanecinin yeni bir kitabı okuması (tarama) ve sonra bunu kütüphanenin kataloğuna eklemesi (indeksleme) gibi düşünebilirsiniz.
Başka bir deyişle, robots.txt içeriği gizlemek için iyi bir yol değildir çünkü izin verilmeyen bir sayfa, başka web siteleri ona bağlantı verirse arama sonuçlarında görünebilir. Bir sayfayı güvenilir bir şekilde Google'dan çıkarmak için bunun yerine 'noindex' meta etiketini kullanın. Bu, arama motorlarına sayfayı hiç listememelerini söyler.
Robots.txt Örnekleri ve En İyi Uygulamalar
Çoğu WordPress sitesi için robots.txt dosyanızı oldukça basit tutabilirsiniz. İşte önerdiğimiz temel kurulum:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Her kuralın ne işe yaradığı aşağıdadır:
Allow: /wp-content/uploads/, arama motorlarının resimlerinizi ve WordPress medya kütüphanenize yüklenen diğer dosyalarınızı taramasına izin verir.Allow: /wp-admin/admin-ajax.php, WordPress'in AJAX işleyicisini erişilebilir tutar. Temalar ve eklentiler, sayfayı yenilemeden içeriği yüklemek veya güncellemek için bu dosyayı kullanabilir.Disallow: /wp-admin/, tarayıcıların WordPress yönetici alanınıza erişmesini engeller; bu alan arama sonuçlarında görünmesini istemediğiniz içerik barındırmaz.Disallow: /readme.html, tarayıcıların WordPress'in varsayılanreadme.htmldosyasına erişmesini engeller. Bu dosya arama motorları için faydalı değildir, bu nedenle taranmaları için çok az neden vardır.Disallow: /refer/,/refer/önekini kullanan bağlı kuruluş veya diğer yönlendirme URL'lerini izleyen tarayıcıları engeller. Siteniz bu bağlantılar için farklı bir önek kullanıyorsa,/refer/yerine kendi önekini kullanın.Disallow: /?s=, tarayıcıların WordPress'in dahili arama URL'lerini istemesini engeller. Bu sayfalar genellikle arama motorları için kullanışlı hedef sayfalar değildir ve taranacak çok sayıda gereksiz URL oluşturabilir.Sitemap, XML site haritalarınızın nerede bulunacağını arama motorlarına söyler. Bu, onların taramasını istediğiniz URL'leri keşfetmelerini kolaylaştırır.
Bunlar, WPBeginner'da kullandığımız temel kural türleriyle aynıdır. Canlı dosyamızı wpbeginner.com/robots.txt adresinde görebilirsiniz. Üretim dosyamız çok daha büyük bir site için ek kurallar içeriyor, ancak temel prensipler aynı.
* joker karakterini kullanmanın tüm tarayıcılar için geçerli olduğunu unutmayın.
Örneğin, bu kural Googlebot'un /private/ klasörünü taramasını engeller:
User-agent: Googlebot
Disallow: /private/
Yaygın kullanıcı adı adları arasında Googlebot (Google), Bingbot (Bing) ve Baiduspider (Baidu) bulunur.
WordPress'te Robots.txt Dosyası Nasıl Oluşturulur
WordPress'te robots.txt dosyası oluşturmanın iki yolu vardır. Sizin için en iyi çalışan yöntemi seçebilirsiniz.
Yöntem 1: All in One SEO Kullanarak Robots.txt Dosyasını Düzenleme
All in One SEO (AIOSEO), Yoast veya Rank Math gibi çoğu ücretsiz WordPress SEO eklentisi, robots.txt dosyanızı doğrudan WordPress kontrol panelinizden özelleştirmenize olanak tanır.
WPBeginner'da AIOSEO kullanıyoruz. AIOSEO'nun ücretsiz sürümü, yazdıkça robots.txt kuralınızı doğrulamanıza yardımcı olur, bu da canlıya geçmeden önce sözdizimi hatalarını yakalamanızı sağlar.
Eklenti etkinleştirildikten sonra, WordPress kontrol panelinizde All in One SEO » Araçlar'a gidin. Robots.txt Düzenleyici'ye yönlendirileceksiniz. Düzenlemeye başlamak için 'Özel Robots.txt Etkinleştir' geçişini açın.
Düzenleyici, WordPress'in kendi kendine oluşturduğu varsayılan kuralları gösterir.
Artık kendi kurallarınızı ekleyebilirsiniz. 'Kullanıcı Aracısı' alanına bir kullanıcı aracısı girin veya tüm botlara kural uygulamak için * kullanın.
Ardından Yönerge sütununda 'İzin Ver' veya 'Reddet' seçeneğini belirleyin ve 'Değer' alanına dosya veya klasör yolunu yazın. Başka bir kural eklemek için 'Kural Ekle' düğmesine tıklayın.
Sonlandırılmış dosyanızı ekranın altındaki 'Özel Robots.txt Önizlemesi' bölümünde kontrol edebilirsiniz. Botların göreceği tam dosyayı gösterir.
İşiniz bittiğinde, kurallarınızı kaydetmek için 'Değişiklikleri Kaydet' düğmesine tıklayın.
Yöntem 2: Robots.txt Dosyasını FTP Kullanarak Manuel Olarak Düzenleme
robots.txt dosyanızı doğrudan düzenlemeyi tercih ederseniz, bu yöntemi izleyin. Dosyayı düzenlemek için bir FTP istemcisi veya WordPress barındırma panelinizdeki dosya yöneticisini kullanmanız gerekecektir.
Herhangi bir şeyi düzenlemeden önce, mevcut robots.txt dosyanızın bir yedek kopyasını bilgisayarınıza indirin. Böylece bir şeyler ters giderse geri yükleyebilirsiniz.
İlk olarak, FTP istemcinizi WordPress web sitenize bağlayın ve web sitenizin kök klasöründeki robots.txt dosyasını bulun.
Eğer bir tane görmüyorsanız, sitenizde henüz bir robots.txt dosyası yoktur. Oraya bir tane oluşturabilirsiniz.
Robots.txt düz metin bir dosyadır. İndirebilir, Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyicisinde düzenleyebilir ve kök klasörünüze geri yükleyebilirsiniz.
Robots.txt Dosyanızı Nasıl Test Edersiniz
robots.txt dosyanızı oluşturduktan veya düzenledikten sonra, her zaman hatalar için kontrol edin. Küçük bir yazım hatası önemli sayfaları arama motorlarından engelleyebilir ve bunu haftalarca fark etmeyebilirsiniz.
robots.txt dosyanızı hatalar için test etmenin en kolay yolu Google Search Console'dur.
Öncelikle sitenizin Google Search Console'a bağlı olduğundan emin olun. Değilse, WordPress sitenizi Google Search Console'a nasıl ekleyeceğiniz konusundaki kılavuzumuzu izleyin.
Ardından Search Console kontrol panelinize gidin ve sol alttaki menüden Ayarlar'ı açın. ‘Tarama’ bölümünü bulun ve ‘robots.txt’ yanındaki ‘Raporu Aç’ seçeneğine tıklayın.
Listede dosyanın mevcut sürümüne tıklayın. Rapor, Google'ın bulduğu en son robots.txt dosyasını gösterir ve tespit ettiği söz dizimi hatalarını veya mantıksal sorunları vurgular.
Dosyanızı yeni güncellediyseniz ve değişiklikler görünmüyorsa, bir gün bekleyin ve ardından tekrar kontrol edin.
WordPress Robots.txt Hakkında Sıkça Sorulan Sorular
İşte okuyucuların WordPress'te robots.txt dosyasını optimize etme konusunda bize en sık sorduğu sorular.
1. robots.txt kullanmak sitemin güvenliğini artırabilir mi?
Hayır, robots.txt bir güvenlik önlemi değildir. Dosya herkese açıktır, bu nedenle listelediğiniz URL'lere erişimi aslında kimseyi engellemez. Sadece iyi huylu arama motoru tarayıcıları için yönergeler sağlar.
2. WordPress kategori ve etiket sayfalarını robots.txt'de engellemeli miyim?
Hayır, kategori ve etiket sayfalarını engellememelisiniz. Bu arşiv sayfaları, tarayıcıların eski gönderilerinize ulaşmak için izlediği dahili bağlantıları taşır, bu nedenle bunları engellemek indekslenmesini istediğiniz içerik için bir keşif yolunu ortadan kaldırır.
3. robots.txt ve noindex etiketi arasındaki fark nedir?
Farklı şeyleri kontrol ederler. Robots.txt, bir tarayıcının bir URL'yi hiç ziyaret edip edemeyeceğini kontrol eder. Noindex etiketi, arama motorlarının sayfayı ziyaret etmiş olsalar bile arama sonuçlarında listelemesini kontrol eder.
Yönetici paneliniz, hazırlık ortamınız veya eklenti dizinleriniz gibi alanlardan tarayıcıları engellemek için robots.txt kullanın. Sadece arama sonuçlarında görünmesini istemediğiniz, filtrelenmiş arşiv sayfaları veya teşekkür sayfaları gibi Google'ın taramasına izin verdiğiniz sayfalar için noindex kullanın.
Umarız bu makale, WordPress robots.txt dosyanızı SEO için nasıl optimize edeceğinizi öğrenmenize yardımcı olmuştur. Ayrıca nihai WordPress SEO kılavuzumuza ve web sitenizi büyütmek için en iyi WordPress SEO araçları hakkındaki uzman seçimlerimize de bakmak isteyebilirsiniz.
Bu makaleyi beğendiyseniz, lütfen WordPress video eğitimleri için YouTube Kanalımıza abone olun. Bizi ayrıca Twitter ve Facebook'ta da bulabilirsiniz.
Dennis Muthomi
İtiraf etmeliyim ki, AIOSEO eklentisini kullanıyorum ama hiçbir şeyi bozmak istemediğim için her zaman "Özel Robots.txt'yi Etkinleştir" seçeneğini görmezden geldim.
Ancak bu makaleyi okudum ve sitemin robots.txt dosyasını optimize etmek için zaman ayırmaya değer olduğuna ikna oldum.
Amit Banerjee
robots.txt'in tüm şablonu verilseydi yardımcı olurdu.
WPBeginner Desteği
Tüm robots.txt dosyasını dahil ettik
Yönetici
Michael
Yanıtınızı değiştirmeniz gerektiğini düşünüyorum. http yerine https olmalı. Eklenti dosyalarını da engellemek doğru mu?
WPBeginner Desteği
Bunu belirttiğiniz için teşekkür ederiz, örneğimiz güncellenmiştir. Eklentileri engellemek için güvenli olmak adına belirli eklentiyle görüşmeniz gerekir.
Moinuddin Waheed
Robot.txt dosyası hakkındaki bu bilgilendirici yazı için teşekkürler. Web sitelerinin, Google botlarının sayfalarımızı ve gönderilerimizi nasıl tarayacağı konusunda kontrol sahibi olmak için bu dosyayı tutması gerektiğini bilmiyordum. Yeni başlayan web siteleri için robots.txt dosyasına sahip olmak gerekli midir yoksa web sitemiz için robots.txt dosyası oluşturabilen bir eklenti gibi bir yol var mı?
WPBeginner Desteği
Çoğu SEO eklentisi, botların girmemeleri gereken bölümleri taramasını önlemek için yeni bir site için robots.txt kurulumuna yardımcı olur.
Yönetici
Jiří Vaněk
Bu makale sayesinde robots.txt dosyasını kontrol ettim ve site haritalı URL adresleri ekledim. Aynı zamanda, doğrulayıcı tarafından ortaya çıkarılan başka sorunlu satırlarım da vardı. Şu ana kadar robots.txt'deki site haritalarına aşina değildim. Teşekkürler.
WPBeginner Desteği
Rica ederim, rehberimizin yardımcı olabildiğine sevindik!
Yönetici
Stéphane
Merhaba,
Bu gönderi için teşekkürler, robots.txt dosyasının nasıl kullanılacağı daha netleşti. robots.txt dosyasıyla ilgili tavsiye ararken bulduğunuz çoğu web sitesinde, aşağıdaki klasörlerin (WordPress için) taramadan açıkça hariç tutulduğunu görebilirsiniz:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Bu klasörleri hariç tutmanın nedenlerini gerçekten anlamıyorum (gerçekten bir neden var mı?). Bu konuda ne düşünürsünüz?
WPBeginner Desteği
Bunun temel amacı, bir kullanıcı sitenizi aradığında o klasörlerdeki herhangi bir şeyin sonuç olarak görünmesini engellemektir. Bu sizin içeriğiniz olmadığı için, çoğu insanın sitenin sonuçlarında görünmesini istemeyeceği bir şeydir.
Yönetici
zaid haris
Engelle: /wp-admin/
İzin ver: /wp-admin/admin-ajax.php
GSC, "Disallow: /wp-admin/" için kapsam hatası gösteriyor. Bu yanlış mı?
WPBeginner Desteği
Çoğu site için wp-admin'inizden herhangi birinin arama sonucu olarak görünmesini istemezsiniz, bu nedenle wp-admin'inizi tarama yeteneğini Google'a reddettiğinizde kapsam alanını almak normal ve beklenendir.
Yönetici
Hansini
WordPress sitem için talimat verdiğiniz gibi robots.txt dosyamı manuel olarak oluşturuyorum.
Bir şüphem var. User-Agent: * yazdığımda başka bir spam robotunun siteme erişmesine izin vermez mi?
User-Agent: * mi yoksa User-Agent: Googlebot mu yazmalıyım.?
WPBeginner Desteği
User-Agent satırı, sitenizde tüm robotların uyması gereken kuralları belirler; eğer o satırda belirli bir bot belirtirseniz, kurallar yalnızca o belirli bot için geçerli olur ve diğerleri için olmaz.
Yönetici
Nishant
Google'ın gönderimi indekslemesi için ne yazmalıyım?
WPBeginner Desteği
Sitenizin listelenmesi için aşağıdaki makalemize göz atmak isteyebilirsiniz:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Yönetici
Sanjeev Pandey
/wp-content/themes/ dizinini de reddetmeli miyiz?
site:abcdef.com komutunu google'da çalıştırdığımda arama sonucunda görünüyor
WPBeginner Desteği
Tema klasörünüzü engelleme konusunda endişelenmek istemezsiniz ve SEO dostu içerik yazdıkça temaları artık bir arama sonucu olarak görmemelisiniz.
Yönetici
Salem
MERHABA, ” Disallow: /readme.html & Disallow: /refer/ ” ne anlama geliyor?
WPBeginner Desteği
Bu, arama motorlarına herhangi bir yönlendirme bağlantısına veya readme.html dosyasına bakmamalarını söylediğiniz anlamına gelir.
Yönetici
sean
Merhaba, wp-content/uploads'u engellemenin artıları ve eksileri nelerdir?
Teşekkürler
WPBeginner Desteği
Yüklemeler klasörünüzü engellerseniz, arama motorları normalde yüklediğiniz resimler gibi içerikleri taramaz.
Yönetici
Piyush
sorunumu çözdüğünüz için teşekkürler
WPBeginner Desteği
Rica ederim
Yönetici
Ravi kumar
Beyefendi, robot.txt konusunda çok kafam karıştı, birçok kez blogger'a site haritası gönderdim ama 3-4 gün sonra aynı sorun geliyor, robot.txt tam olarak nedir.. & Nasıl gönderilir, lütfen bana rehberlik eder misiniz?
WPBeginner Desteği
Belirli sorununuzla ilgili olacaktır, aşağıdaki sayfamıza göz atmak isteyebilirsiniz:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Yönetici
Prem
Robots.txt dosyasını kullanarak bir URL'yi veya sayfayı indekslemezsem, Google arama konsolunda herhangi bir hata gösterir mi?
WPBeginner Desteği
Hayır, Google sayfayı listelemeyecek ancak sayfa listelenmişse hata göstermeyecektir.
Yönetici
Bharat
Merhaba
Bir sorum var
robots.txt tarafından engellendiği için Google Search Console'dan kapsam uyarısı aldım
/wp-admin/widgets.php
Soruma gelince, wp-admin/widgets.php'yi robots.txt'ye izin verebilir miyim ve bu güvenli midir?
WPBeginner Desteği
İsterseniz yapabilirsiniz ancak bu, Google'ın taraması gereken bir dosya değildir.
Yönetici
Anthony
Merhaba, /wp-admin/admin-ajax.php'ye izin vermeli miyim diye merak ediyorum?
WPBeginner Desteği
Normalde, evet.
Yönetici
Jaira
Neden /wp-admin/admin-ajax.php'ye izin vermeniz gerektiğini öğrenebilir miyim?
WPBeginner Desteği
Farklı tema ve eklentilerin arama motorlarında doğru görünmesi için kullanılır.
Amila
Merhaba! Bu makaleyi gerçekten çok beğendim ve bu tarama işleri konusunda yeni olduğum için bu konuda bir şey sormak istiyorum. Yakın zamanda Google, web sitelerimden birini çok kötü bir şekilde taradı ve dizine ekledi, sayfaları arama sonuçlarında web sitesinden silinmiş olarak gösteriyor. Başlangıçta web sitesi WordPress ayarlarında arama motorunu dizine eklemekten caydırmamıştı, ancak Google daha sonra 3 sayfa daha gösterdikten sonra (o sayfalar da mevcut değil) bunu yaptı ve "arama motorunu dizine eklemekten caydır" seçeneği açıkken bunun nasıl olabildiğini gerçekten anlamıyorum. Peki, Yoast yöntemi yardımcı olabilir ve bu sefer Google'ın web sitemi uygun şekilde dizine eklemesi için web sitem için bir çözüm üretebilir mi? Şimdiden teşekkürler!
WPBeginner Desteği
Yoast eklentisi, sayfalarınızın düzgün bir şekilde indekslendiğinden emin olmanıza yardımcı olmalıdır; arama motorlarını sitenizi taramaktan caydırmadan önce sayfanızın önbelleğe alınmış olma ihtimali vardır.
Yönetici
Amila
Evet, ve tüm sayfalardan artık mevcut olmayanları önbelleğe aldı. Her neyse, mevcut sayfa "caydır" ayarında olduğuna göre, şimdilik böyle mi tutmak daha iyi, yoksa kutuyu işaretini kaldırıp Google'ın Yoast yardımıyla tekrar tarayıp dizine eklemesine izin vermek mi daha iyi? Teşekkürler! Makalelerinizle her şey daha kolaylaştı!
WPBeginner Desteği
Kurulumu istediğiniz gibi yaptıktan sonra Google'ın sitenizi yeniden taramasını istersiniz.
Pradhuman Kumar
Merhaba, makaleyi çok beğendim, çok net ve mükemmel.
Küçük bir önerim var, lütfen ROBOTS.TXT test aracının görselini güncelleyin, çünkü Google Console değişti ve Google'dan robots.txt'yi kontrol etmek için bağlantı eklemeniz harika olurdu.
WPBeginner Desteği
Geri bildiriminiz için teşekkür ederiz, makaleyi mümkün olan en kısa sürede güncellemeye bakacağız.
Yönetici
Kamaljeet Singh
Blogumun robots.txt dosyası şuydu:
User-Agent: *
crawl-delay: 10
Bu gönderiyi okuduktan sonra, önerdiğiniz robots.txt dosyasına değiştirdim. crawl-delay'i kaldırmam sorun olur mu?
WPBeginner Desteği
Sorun olmaz, crawl-delay arama motorlarına sitenizi ne kadar hızlı tarayacaklarını yavaşlatmalarını söyler.
Yönetici
reena
Robot.text hakkında çok güzel açıklama, çok mutluyum Sen çok iyi bir yazarsın
WPBeginner Desteği
Teşekkür ederiz, makalemizi beğendiğinize sevindim
Yönetici
JJ
Disallow: /refer/ sayfası nedir? 404 alıyorum, bu gizli bir wp dosyası mı?
Yayın Kadrosu
Web sitemizdeki çeşitli bağlı kuruluş bağlantılarına yönlendirmek için /refer/ kullanıyoruz. Bunlar yalnızca yönlendirme oldukları ve gerçek içerik olmadıkları için indekslenmelerini istemiyoruz.
Yönetici
Sagar Arakh
Paylaştığınız için teşekkür ederim. Bu, robots.txt'yi anlamamda benim için gerçekten çok yardımcı oldu.
robots.txt dosyamı önerdiğiniz ideal hale güncelledim. Şimdi sonuçları bekleyeceğim.
WPBeginner Desteği
Rica ederim, önerilerimizi kullanmaya istekli olmanız ne güzel
Yönetici
Akash Gogoi
Çok yardımcı bir makale. Çok teşekkür ederim.
WPBeginner Desteği
Makalemizin yardımcı olduğuna sevindik
Yönetici
Zingylancer
Bu faydalı bilgiyi bizimle paylaştığınız için teşekkürler.
WPBeginner Desteği
Bu bilgileri robots.txt dosyası hakkında paylaşabildiğimize sevindik
Yönetici
Jasper
Güncelleme bilgisi için teşekkürler. Makaleniz Robot txt. dosyası için iyiydi. Bana yeni bir bilgi verdi. Teşekkürler ve yeni fikirlerle beni güncel tutun.
WPBeginner Desteği
Rehberimizin yardımcı olduğuna sevindik
Yönetici
Imran
Teşekkürler, WordPress'e robots.txt ekledim. Çok iyi bir makale.
WPBeginner Desteği
Teşekkürler, makalemizin faydalı olmasına sevindik
Yönetici
Steve
Bunun için teşekkürler - peki bu WP Multisite'da nasıl çalışıyor?
WPBeginner Desteği
Çoklu site için, her sitenin kök klasöründe bir robots.txt dosyanızın olması gerekir.
Yönetici
Pacifique Ndanyuzwe
WordPress sitem yeni ve varsayılan robot.txt dosyam şu şekilde:
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Google'ın içeriğimi tarayıp indekslemesini istiyorum. Bu robots.txt uygun mu?
WPBeginner Desteği
İsterseniz kesinlikle bunu kullanabilirsiniz
Yönetici
Ritesh Seth
Harika Makale…
Günlerdir Robots.txt dosyası ve Disallow bağlantıları hakkında kafam karışıktı. Robots dosyası için etiketleri kopyaladım. Umarım bu sitemin sorununu çözecektir.
WPBeginner Desteği
Umarız makalemiz de yardımcı olur
Yönetici
Kurt
Ana klasörünüzün ekran görüntülerindeki dosyalar aslında ana klasörüm altındaki public_html klasöründe bulunuyor.
public_html klasörümün altında bir /refer klasörüm yoktu.
WP hesabımda herhangi bir yerde gönderi veya sayfa xml dosyalarım yoktu.
Oluşturduğum robots.txt dosyasına, sandbox sitemin taranmasını engellemek için bir girdi ekledim. WP'de sandbox sitemin taranmamasını isteyen seçeneği zaten seçtiğim için bunun gerekli olduğundan emin değilim, ancak girdinin olmasının zarar vereceğini sanmıyorum.
WPBeginner Desteği
Bazı barındırma hizmetleri public_html'yi home olarak yeniden adlandırır, bu yüzden orada görürsünüz. XML dosyalarının kullanılabilir olması için Yoast'ın etkin olduğundan emin olmak istersiniz. Bu makaledeki yöntem, sitenizin taranmasını önlemeye yardımcı olmak için ek bir önlemdir
Yönetici
Ahmed
Harika makale
WPBeginner Desteği
Teşekkür ederiz
Yönetici
ASHOK KUMAR JADON
Merhaba, ne kadar güzel bir makale, sorunumu çözdünüz. Çok teşekkür ederim
WPBeginner Desteği
Makalemizin yardımcı olabildiğine sevindik
Yönetici
Elyn Ashton
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php <– Bu benim robot.txt kodum ama /wp-admin neden indeksleniyor diye kafam karıştı? Nasıl indekslenmemesini sağlayabilirim?
WPBeginner Desteği
Daha önce dizine eklenmişse, arama motorunun önbelleğinin temizlenmesi için biraz zaman tanımanız gerekebilir
Yönetici
Ashish kumar
Bu web sitesi beni gerçekten bir blog başlatmaya teşvik ediyor. Çok teşekkürler. Bu web sitesindeki her makale zengin bilgi ve açıklamalarla dolu. Bir sorunum olduğunda ilk olarak bu blogu ziyaret ediyorum. Teşekkürler
WPBeginner Desteği
Makalelerimizin faydalı olabildiği için memnunum
Yönetici
Anna
Yoast kullanarak web sitem için robotları optimize etmeye çalışıyorum. Ancak Yoast'taki Araçlar bölümünde 'Dosya Düzenleyici' seçeneği bulunmuyor.
Sadece iki seçenek var:
(i) İçe Aktar ve Dışa Aktar
(ii) Toplu Düzenleyici
Bu sorunun nasıl çözülebileceği konusunda bana yardımcı olabilir misiniz? Acaba Yoast'ın ücretsiz sürümünü mü kullanıyorum?
WPBeginner Desteği
Yoast'un ücretsiz sürümünde hala seçenek mevcut, ancak kurulumunuz dosya düzenlemeyi engelliyor olabilir, bu durumda FTP yöntemini kullanmanız gerekebilir.
Yönetici
Emmanuel Husseni
Bu makaleyi gerçekten faydalı buluyorum çünkü robot.txt'nin nasıl çalıştığı hakkında pek bir şey bilmiyordum ama şimdi biliyorum.
Anlamadığım şey, sitem için en iyi robot.txt formatını nasıl bulacağım (genel olarak çalışan bir format demek istiyorum)?
Kontrol ettiğim birçok büyük blogun arama motorlarında üst sıralarda yer aldığını ve farklı robot.txt formatları kullandığını fark ettim.
Sizden veya yardımcı olabilecek herhangi birinden bir yanıt görmekten memnuniyet duyarım.
Yayın Kadrosu
Bir site haritasına sahip olmak ve izin verilmesi gereken alanlara izin vermek en önemli kısımdır. İzin verilmeyen kısım her siteye göre değişecektir. Blog yazımızda bir örnek paylaştık ve bu çoğu WordPress sitesi için yeterli olmalıdır.
Yönetici
WPBeginner Desteği
Merhaba Emmanuel,
Lütfen ideal robots.txt dosyası ile ilgili bölüme bakın. Kendi gereksinimlerinize bağlıdır. Çoğu blog yazarı, WordPress yönetici ve eklenti klasörlerini taramadan hariç tutar.
Yönetici
Emmanuel Husseni
Çok teşekkür ederim.
şimdi anladım. Sanırım şimdilik genel formatla başlayacağım.
jack
İyi yazılmış makale, kullanıcıların ROBOTS metinlerini oluşturup etkinleştirmeden önce site haritası yapmalarını tavsiye ederim, bu sitenizin daha hızlı taranmasına ve kolayca indekslenmesine yardımcı olacaktır.
Jack
Connie S Owens
Arama motorlarının arşivlerimi tarama sırasında indekslemesini durdurmak istiyorum.
Emmanuel Nonye
Bu makale için çok teşekkürler, gerçekten yardımcı oldu.
Cherisa
Google webmaster'da aşağıdaki hata mesajını almaya devam ediyorum. Temelde takıldım. Bu eğitimde benim için net olmayan birkaç şey, sitemin kök dosyalarını nerede bulacağım, "robots.txt" dosyamın olup olmadığını nasıl belirlerim ve onu nasıl düzenlerim?
WPBeginner Desteği
Merhaba Cherisa,
Sitenizin kök klasörü, wp-admin, wp-includes, wp-content gibi klasörleri içeren klasördür. Ayrıca wp-config.php, wp-cron.php, wp-blogheader.php gibi dosyaları da içerir.
Bu klasörde bir robots.txt dosyası göremiyorsanız, dosyanız yok demektir. Yeni bir tane oluşturmaya devam edebilirsiniz.
Yönetici
Cherisa
Yanıtınız için teşekkürler. Bahsettiğiniz kök dosyaları bulamadım. Ayarlar altında vb. gibi bu klasöre giden bir yol dizini var mı?
Devender
Web siteme iyi bir trafik geliyordu. Mayıs ayında aniden sıfıra düştü. Şu ana kadar bu sorunla karşılaşıyorum. Lütfen web sitemi kurtarmama yardım edin.
Haris Aslam
Merhaba, Bu Bilgi İçin Teşekkür Ederim, Ancak Bir Sorun Var
Sitemap.xml ve Robots.txt Dosyasını Yeni Oluşturdum ve İyi Taranıyor. Ancak "Product-Sitemap.xml" Nasıl Oluşturabilirim?
Sitemap.xml dosyasında tüm ürünlerin listesi var. Product-sitemap.xml'i ayrı mı oluşturmam gerekiyor?
ve tekrar google veya bing'e gönder mi?
Bana yardım edebilir misin...
Teşekkürler
Mahadi Hassan
robots.txt dosya ayarlarımda bir sorunum var. Tüm web siteleri için yalnızca bir robots.txt gösteriliyor. Lütfen tüm web sitelerinin ayrı robots.txt dosyalarını göstermeme yardım edin. Tüm bireysel web sitelerinin ayrı robots.txt dosyalarına sahibim. Ancak tüm web siteleri için tarayıcıda yalnızca bir robots.txt dosyası gösteriliyor.
Debu Majumdar
Başlangıç seviyesi Robots.txt örneğine neden
Disallow: /refer/
koyduğunuzu açıklar mısınız? Bu satırın etkilerini anlamıyorum. Bu başlangıç seviyesi için önemli mi? Diğer iki Yasaklanmış olanı açıkladınız.
Teşekkürler.
WPBeginner Desteği
Merhaba Debu,
Bu örnek WPBeginner’ın robots.txt dosyasından alınmıştır. WPBeginner olarak, ThirstyAffiliates kullanarak ortaklık bağlantılarını yönetir ve URL'leri gizleriz. Bu URL'lerde /refer/ bulunur, bu yüzden onları robots.txt dosyamızda engelleriz.
Yönetici
Evaristo
Tüm etiketleri/mydomain.Com'u nofollow'a nasıl yerleştirebilirim? Bağlantı Suyunu yoğunlaştırmak için robots.txt'de? Teşekkürler.
harsh kumar
merhaba,, yoast seo'da site haritası ile ilgili bir hata alıyorum.. düzelt'e tıkladığımda,,, tekrar geliyor.. sitemin html'i düzgün yüklenmiyor
Tom
Google Webmaster Tools hesabımı yeni gözden geçirdim ve Arama Konsolu'nu kullanarak şunları buldum:
Sayfa kısmen yüklendi
Sayfanın tüm kaynakları yüklenemedi. Bu, Google'ın sayfanızı nasıl gördüğünü ve anladığını etkileyebilir. Google'ın sayfanızı nasıl anladığını etkileyebilecek herhangi bir kaynağın kullanılabilirlik sorunlarını düzeltin.
Bunun nedeni, Eklentilerle ilişkili tüm CSS stil sayfalarının varsayılan robots.txt tarafından yasaklanmış olmasıdır.
Bunu sadece izin verilebilir hale getirmemem için iyi nedenler anlıyorum, ancak alternatif ne olurdu, çünkü Google algoritmalarının bunları görmediği için siteyi düşürdüğünü sanıyorum.
Suren
Merhaba,
Sitemi Google'da aradığımda, bağlantının altında şu metin görünüyor: “Bu sitenin robots.txt dosyası nedeniyle bu sonuç için bir açıklama mevcut değil.”
Bu sorunu nasıl çözebilirim?
Saygılarımla
WPBeginner Desteği
Merhaba Suren,
Görünüşe göre biri sitenizin gizlilik ayarlarını yanlışlıkla değiştirmiş. Ayarlar » Okuma sayfasına gidin ve 'Arama motoru görünürlüğü' bölümüne aşağı kaydırın. Yanındaki kutunun işaretli olmadığından emin olun.
Yönetici
Divyesh
Merhaba
Webmaster aracında gördüğüm gibi, aşağıdakine benzer bir robot.txt dosyam var:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
bana bunun uygun olup olmadığını bildirin? veya başka bir şey kullanmalı mıyım?
John Cester
Merhaba, robots.txt dosyasında “/wp-content/plugins/” yolunu engellemek (izin vermemek) iyi bir fikir mi? Bir eklentiyi her kaldırdığımda, o eklentinin bazı sayfalarında 404 hatası alıyorum.