{"id":5547,"date":"2021-12-31T12:12:38","date_gmt":"2021-12-31T09:12:38","guid":{"rendered":"https:\/\/simurwp.simurdigital.com\/?p=5547"},"modified":"2026-10-12T16:00:21","modified_gmt":"2026-10-12T13:00:21","slug":"robots-txt-nedir","status":"publish","type":"post","link":"https:\/\/simur.org\/seo-blog\/robots-txt-nedir\/","title":{"rendered":"Robots TXT Nedir?"},"content":{"rendered":"\n

Arama motoru botlar\u0131n\u0131n web sitelerinin hangi b\u00f6l\u00fcmlerini ne \u015fekilde tarayaca\u011f\u0131n\u0131 direktiflerle aktarmaya yarayan txt dok\u00fcman\u0131na robots.txt denilir. Robots.txt dosyas\u0131n\u0131n verimli bir \u015fekilde kullan\u0131ld\u0131\u011f\u0131 durumlarda web sitesinin alt klas\u00f6rleri, alt klas\u00f6rler i\u00e7erisinde bulunmakta olan URL\u2019lerden herhangi biri ya da herhangi bir alt k\u0131r\u0131l\u0131m i\u00e7eren URL blo\u011fu arama motoru botlar\u0131n\u0131n taramas\u0131na tamamen a\u00e7\u0131labilir ya da kapat\u0131labilir. <\/p>\n\n\n\n

Robots.txt dosyas\u0131 web sitelerinin ana domain dizininde bar\u0131nd\u0131r\u0131l\u0131r. G\u00fcn\u00fcm\u00fczde t\u00fcm arama motorlar\u0131 robots.txt dosyalar\u0131n\u0131 takip etmektedir. Di\u011fer bir deyi\u015fle robots.txt dosyas\u0131nda olu\u015fturulacak olan komut direktifleri arama motoru botlar\u0131 taraf\u0131ndan takip edilmekte, kullan\u0131c\u0131n\u0131n y\u00f6nlendirmeleri do\u011frultusunda web sitesinin taranmas\u0131 i\u015flemleri ger\u00e7ekle\u015ftirilmektedir. B\u00fcy\u00fck arama motorlar\u0131n\u0131n b\u00fcy\u00fck k\u0131sm\u0131 robots.txt dosyas\u0131n\u0131n komut direktiflerine uyumluluk g\u00f6stermekle birikte robots.txt dosyas\u0131n\u0131 pas ge\u00e7en baz\u0131 bot tipleri de varl\u0131\u011f\u0131n\u0131 korumaya devam etmektedir. Bu durum nedeniyle Google robots.txt y\u00f6nlendirmelerine ilaveten sayfa kaynak kodlar\u0131ndan meta robots i\u015faretlemelerinin kullan\u0131lmas\u0131 tavsiyesinde bulunmaktad\u0131r. <\/p>\n\n\n\n

\u00d6ncelikli amac\u0131 tarama b\u00fct\u00e7esinin en verimli \u015fekilde tahsis edimesi i\u00e7in sayfalar\u0131n ve kaynak dosyalar\u0131n\u0131n taranmas\u0131n\u0131 \u00f6nlemek olan robots.txt dosyas\u0131; web sitesi ziyaret\u00e7ilerine herhangi bir fayda sa\u011flamayacak ve SERP s\u0131ralamalar\u0131n\u0131 etkilemeyecek olan bilgileri gizleme g\u00f6revini \u00fcstlenmektedir. Ayn\u0131 zamanda botlar\u0131 \u00f6zel klas\u00f6rlerden uzak tutmak, kaynaklar\u0131 kontrol alt\u0131nda tutmak, site haritas\u0131n\u0131n konumunu belirlemek ve yinelenen i\u00e7eri\u011fi SERP\u2019lerden uzak tutmak da robots.txt dosyas\u0131n\u0131n sa\u011flad\u0131\u011f\u0131 avantajlar aras\u0131nda say\u0131labilmektedir. Robots.txt dosyas\u0131 kullan\u0131larak ki\u015fisel veriler i\u00e7eren sayfalar, yaln\u0131zca belirli kullan\u0131c\u0131 eylemlerinin ard\u0131ndan g\u00f6r\u00fcnt\u00fclenebilen yard\u0131mc\u0131 sayfalar, y\u00f6netici kontrol paneli ve sistem dosyalar\u0131, arama ve kategori s\u0131ralama sayfalar\u0131 ile belirli bir formattaki dosyalar engellenebilmektedir.<\/p>\n\n\n\n

Robots.txt Dosyas\u0131 Nerede Bulunur?<\/h2>\n\n\n\n

Robots.txt dosyalar\u0131 web sitelerine \u00f6zel olarak olu\u015fturulmakta olup sitenin ana dizini \u00fczerinde yer al\u0131r. Herhangi bir sub folder yani alt klas\u00f6r eklenmeksizin do\u011frudan web sitesinin ana dizini i\u00e7indeki di\u011fer dok\u00fcmanlarla birlikte yal\u0131n olarak yani herhangi bir i\u015fleme tabi tutulmaks\u0131z\u0131n bar\u0131nd\u0131r\u0131lmaktad\u0131r.<\/p>\n\n\n\n

Robots.txt Dosyas\u0131 Nas\u0131l \u00c7al\u0131\u015f\u0131r?<\/h2>\n\n\n\n

\u0130\u00e7erisinde herhangi bir HTML i\u015faretleme bar\u0131nd\u0131rmayan bir web dok\u00fcman\u0131 olan .txt dosyas\u0131 olduk\u00e7a kolay bir \u015fekilde olu\u015fturulabilmektedir. Robots.txt dosyas\u0131 ana dizine eklendikten sonra web sitesinin URL uzant\u0131s\u0131 b\u00f6l\u00fcm\u00fcne \/robots.txt yaz\u0131larak g\u00f6r\u00fcnt\u00fclenebilmektedir. Robots.txt dosyalar\u0131 bir\u00e7ok kullan\u0131c\u0131 a\u00e7\u0131s\u0131ndan herhangi bir \u00f6nem ta\u015f\u0131masa da robots.txt dosyas\u0131n\u0131n yer ald\u0131\u011f\u0131 URL arama motoru botlar\u0131n\u0131n web sitesine ger\u00e7ekle\u015ftirdi\u011fi ziyaretlerde u\u011frad\u0131\u011f\u0131 mutlak adres olma \u00f6zelli\u011fine sahiptir.<\/p>\n\n\n\n

Arama motoru botlar\u0131 web sitelerini ziyaret ettiklerinde tarama i\u015flemine ba\u015flamadan \u00f6nce ilk olarak robots.txt dosyas\u0131n\u0131 ziyaret ederler. B\u00f6ylece web sitesinin taramaya a\u00e7\u0131k olan b\u00f6l\u00fcmleri ile ilgili direktifleri kontrol ederler. Bu a\u00e7\u0131dan robots.txt dosyalar\u0131 arama motoru botlar\u0131n\u0131n tarama bi\u00e7imlerinin y\u00f6netilmesinde bir rehber g\u00f6revini \u00fcstlenirler. Ancak robots.txt dosyalar\u0131 arama motoru botlar\u0131 i\u00e7in ba\u011flay\u0131c\u0131 bir yap\u0131 olma \u00f6zelli\u011fi ta\u015f\u0131maz. Di\u011fer bir deyi\u015fle arama motoru botlar\u0131n\u0131n tamam\u0131n\u0131n robots.txt dosyas\u0131nda bulunan direktiflere uyma gibi bir y\u00fck\u00fcml\u00fcl\u00fc\u011f\u00fc bulunmaz. Google, Bing gibi arama motoru botlar\u0131 robots.txt dosyas\u0131ndaki direktifleri takip etmekle birlikte harici botlar\u0131n \u00e7o\u011fu serbest tarama yaparlar. <\/p>\n\n\n\n

Robots.txt dosyas\u0131 ile ilgili olarak dikkate al\u0131nmas\u0131 gelen konular\u0131n ba\u015f\u0131nda; subdomainin bir alt domain yap\u0131s\u0131 i\u00e7inde ayr\u0131ca bir robots.txt dosyas\u0131 olu\u015fturulmas\u0131 gerekti\u011fi gelir. Subdomain \u00fczerinde bulunmakta olan URL adresleriyle ilgili tarama direktifleri subdomain i\u00e7inde olu\u015fturulacak farkl\u0131 bir robots.txt dosyas\u0131 ile y\u00f6netilmektedir.<\/p>\n\n\n\n

Robots.txt Dosyas\u0131n\u0131n Olu\u015fturulmas\u0131 ve Kullan\u0131lmas\u0131<\/h2>\n\n\n\n

Robots.txt dosyas\u0131 herhangi bir text edit\u00f6r\u00fc kullan\u0131larak kolayca olu\u015fturulabilmektedir. Robots.txt dosyas\u0131n\u0131n olu\u015fturulmas\u0131 s\u0131ras\u0131nda \u00e7e\u015fitli protokol formatlar\u0131 kullan\u0131lmakta ve arama motoru robotlar\u0131 i\u00e7in web sitesini tarama direktifleri olu\u015fturulmaktad\u0131r. Direktifler protokol formatlar\u0131n\u0131n kullan\u0131lmas\u0131yla arama motoru botlar\u0131n\u0131n anlayaca\u011f\u0131 bir \u015fekilde iletilmektedir. Arama motoru botlar\u0131 i\u00e7in kullan\u0131lan protokole Robots Exclusion Protocol ad\u0131 verilmektedir.<\/p>\n\n\n\n

Robots.txt dosyas\u0131 i\u00e7inde kullan\u0131lan protokollerden bir di\u011feri sitemap protokol\u00fc olarak adland\u0131r\u0131l\u0131r. Sitemap protokol\u00fc, arama motoru botlar\u0131na web sitesinin haritas\u0131n\u0131n iletilmesiyle site i\u00e7indeki URL\u2019ler ile ilgili arama motoru botlar\u0131n\u0131n takip edebilece\u011fi bir site haritas\u0131 sunulmaktad\u0131r.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

User-Agent Nedir? Nas\u0131l Kullan\u0131l\u0131r?<\/h2>\n\n\n\n

Robots.txt i\u00e7inde yer alan user-agent b\u00f6l\u00fcm\u00fc arama motoru botlar\u0131n\u0131n do\u011frudan hedeflendi\u011fi, internette dola\u015fmakta olan her bir kullan\u0131c\u0131 ve program i\u00e7in olu\u015fturulmakta olan bilgilendirici bir string\/kod dizisi olarak tan\u0131mlanabilir. User-agent b\u00f6l\u00fcm\u00fc web \u00fczerinde gezinen kullan\u0131c\u0131lar ve programlar i\u00e7in olu\u015fturulmakta olup ziyaret edilen sunuculara ziyeret eden ki\u015fiyle ya da programla ilgili bilgilendirme yapar.<\/p>\n\n\n\n

Bot olmayan kullan\u0131c\u0131lar i\u00e7in tipik bir user-agent i\u00e7inde ba\u011flant\u0131 yap\u0131lan bilgisayar\u0131n i\u015fletim sistemi, ba\u011flant\u0131n\u0131n yap\u0131ld\u0131\u011f\u0131 taray\u0131c\u0131n\u0131n ismi gibi bilgiler yer almaktad\u0131r.<\/p>\n\n\n\n

Robots.txt dosyas\u0131 i\u00e7inde user-agent kullan\u0131m\u0131yla dosya i\u00e7inde bulunan protokollerin ve direktiflerin hangi user-agent\u2019a sahip olan bot i\u00e7in olu\u015fturuldu\u011fu bilgisine ula\u015f\u0131labilmektedir.<\/p>\n\n\n\n

Allow ve Disallow Nedir? Nas\u0131l Kullan\u0131l\u0131r?<\/h2>\n\n\n\n

Robots.txt i\u00e7inde kullan\u0131lmakta olan allow ve disallow direktifleri web sitesi i\u00e7inde bulunan hangi sayfalar\u0131n arama motoru botlar\u0131n\u0131n taramas\u0131na a\u00e7\u0131l\u0131p kapanaca\u011f\u0131n\u0131 belirten protokoller olarak tan\u0131mlanabilir. Allow protokol\u00fc kullan\u0131larak web sitesi i\u00e7erisindeki herhangi bir dizin, URL yolu t\u00fcm\u00fcyle ya da k\u0131smen taramalara a\u00e7\u0131labilir. Disallow protokol\u00fc kullan\u0131larak herhangi bir dizin, URL yolu t\u00fcm\u00fcyle ya da k\u0131smen taramalara kapat\u0131labilir.<\/p>\n\n\n\n

Robots.txt \u00d6zel Direktifleri<\/h2>\n\n\n\n

Robots.txt \u00fczerinden arama motoru botlar\u0131na sa\u011flanacak olan direktiflerin yo\u011funlu\u011fu ve ihtiya\u00e7lar web sitesinin yap\u0131s\u0131n\u0131n derinli\u011fine ve web sitesinin b\u00fcy\u00fckl\u00fc\u011f\u00fcne g\u00f6re de\u011fi\u015fiklik g\u00f6sterebilmektedir.<\/p>\n\n\n\n

Robots.txt dosyas\u0131 i\u00e7erisinde \u201c*\u201d direktifi s\u0131kl\u0131kla kullan\u0131lmaktad\u0131r. User-agent i\u00e7inde ve dizinlerle alakal\u0131 direktiflerde t\u00fcm\u00fc anlam\u0131na gelmektedir. Herhangi bir protokol i\u00e7erisinde \u201c-\u201c ifadesinin kullan\u0131lmas\u0131 durumunda robots.txt dosyas\u0131n\u0131 g\u00f6r\u00fcnt\u00fcleyen arama motoru botlar\u0131na t\u00fcm\u00fcn\u00fcn kastedildi\u011fi bilgisi verilmektedir.<\/p>\n\n\n\n

Robots.txt dosyas\u0131 i\u00e7erisinde s\u0131kl\u0131kla kullan\u0131lan \u00f6zel direktiflerin bir di\u011feri \u201c$\u201d dir. Robots.txt \u00fczerinde belirtilen herhangi bir URL ya da uzant\u0131 i\u00e7in \u201c$\u201d ifadesinin kullan\u0131lmas\u0131 durumunda arama motoru botlar\u0131 ilgili i\u015flemin belirtilen string ile s\u0131n\u0131rl\u0131 oldu\u011funu anlamaktad\u0131r.<\/p>\n\n\n\n

Robots.txt dosyas\u0131nda user-agent, allow ve disallow d\u0131\u015f\u0131nda kullan\u0131labilecek farkl\u0131 komutlar da bulunmaktad\u0131r:<\/p>\n\n\n\n

Crawl-delay: Sadece Yandex\u2019te kullan\u0131lmakta olup sunucuda a\u015f\u0131r\u0131 y\u00fck oldu\u011fu ve indirme isteklerini i\u015flemeye yeti\u015filemedi\u011fi durumlarda kullan\u0131lan bir y\u00f6nergedir. Bir sayfay\u0131 indirme i\u015fleminin birmesiyle sonraki sayfay\u0131 indirmeye ba\u015flanmas\u0131 aras\u0131nda ge\u00e7mesi gereken en az s\u00fcreyi saniye baz\u0131nda arama motoruna belirtme g\u00f6revini \u00fcstlenir.<\/p>\n\n\n\n

Clean-param: Web sitesinin sayfa adresleri i\u00e7eriklerini etkilemeyen dinamik parametreler i\u00e7erdi\u011fi durumlarda yaln\u0131zca Yandex\u2019te kullan\u0131lan Clean-param y\u00f6nergesinden yararlan\u0131labilir.<\/p>\n\n\n\n

Sitemap: Web sitesinde XML format\u0131nda sitemap kullan\u0131ld\u0131\u011f\u0131 ve arama motoru robotlar\u0131n\u0131n bunu bilmesinin istendi\u011fi durumlarda sitemap y\u00f6nergesi ile dosya yolu belirtilebilmektedir.<\/p>\n\n\n\n

Robots.txt Kullan\u0131rken Nelere Dikkat Edilmelidir?<\/h2>\n\n\n\n

Robots.txt kullan\u0131l\u0131rken hedeflenilen botlara \u00f6zel olarak olu\u015fturulan direktiflere ve user-agent isimlerine dikkat edilmesi gerekmektedir. Herhangi bir bot i\u00e7in taramaya kapat\u0131lmak istenilen sayfan\u0131n yanl\u0131\u015fl\u0131kla t\u00fcm botlar i\u00e7in kapat\u0131lmamas\u0131 konusunda dikkatli olunmal\u0131d\u0131r.<\/p>\n\n\n\n

Web sitelerinde kullan\u0131lan robots.txt dosyalar\u0131 d\u00fczg\u00fcn yap\u0131land\u0131r\u0131lm\u0131\u015f olmal\u0131d\u0131r. Hatal\u0131 formata sahip olan orbots.txt dosyalar\u0131 direktiflerin ge\u00e7ersiz olmas\u0131na neden olabilmektedir.<\/p>\n\n\n\n

Robots.txt i\u00e7inde mutlaka Sitemap protokol\u00fc kullan\u0131lmal\u0131 ve sitenin site haritas\u0131 robots.txt dosyalar\u0131nda belirtilmelidir.<\/p>\n\n\n\n

Web sitesinin \u00f6nemsiz ya da taranmas\u0131 istenmeyen alanlar\u0131 robots.txt kullan\u0131larak engellenmelidir. Robots.txt dosyas\u0131n\u0131n tarama b\u00fct\u00e7esinin optimize edilmesinde son derece kritik bir g\u00f6rev \u00fcstlendi\u011fi g\u00f6z ard\u0131 edilmemelidir.<\/p>\n\n\n\n

Subdomain ve ana domain i\u00e7in ayr\u0131 robots.txt dosyalar\u0131 olu\u015fturulmal\u0131d\u0131r. Ana domainde olu\u015fturulan robots.txt dosyas\u0131 subdomaini kapsamad\u0131\u011f\u0131 gibi, subdomainde olu\u015fturulan direktifler de ana domaini etkilememektedir.<\/p>\n","protected":false},"excerpt":{"rendered":"

Arama motoru botlar\u0131n\u0131n web sitelerinin hangi b\u00f6l\u00fcmlerini ne \u015fekilde tarayaca\u011f\u0131n\u0131 direktiflerle aktarmaya yarayan txt dok\u00fcman\u0131na robots.txt denilir. Robots.txt dosyas\u0131n\u0131n verimli bir \u015fekilde kullan\u0131ld\u0131\u011f\u0131 durumlarda web sitesinin alt klas\u00f6rleri, alt klas\u00f6rler i\u00e7erisinde bulunmakta olan URL\u2019lerden herhangi biri ya da herhangi bir alt k\u0131r\u0131l\u0131m i\u00e7eren URL blo\u011fu arama motoru botlar\u0131n\u0131n taramas\u0131na tamamen a\u00e7\u0131labilir ya da kapat\u0131labilir.  Robots.txt […]<\/p>\n","protected":false},"author":1,"featured_media":9304,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-5547","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog"],"_links":{"self":[{"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/posts\/5547","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/comments?post=5547"}],"version-history":[{"count":1,"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/posts\/5547\/revisions"}],"predecessor-version":[{"id":9306,"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/posts\/5547\/revisions\/9306"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/media\/9304"}],"wp:attachment":[{"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/media?parent=5547"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/categories?post=5547"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/simur.org\/seo-blog\/wp-json\/wp\/v2\/tags?post=5547"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}