‘Webmaster’ Kategorisi için Arşiv
robots.txt ne işe yarar?
Yorum YapınArama motorlarının indeksleme robotları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir. Robotlar sadece kök dizindeki robots.txt dosyasına bakacakları için alt dizinlere bu dosyayı yerleştirmek anlamsızdır. Eğer alt dizinlerden birisine ait url (veya url’lerin) indekslenmesini istemiyorsanız bunlar da kök dizindeki robots.txt dosyasında bildirmeniz gerekiyor. Ya da alternatif olarak indekslenmesini istemediğiniz sayfalarda Meta Tag kullanabilirsiniz. Çoğu ücretsiz blog servisi kök dizine erişime izin vermediğinden Meta Tag’lardan yararlanmak gerekecetir.Örnek bir robots.txt adresi şu şekilde olmalıdır;http://www.acemiblogcu.com/robots.txt
veya
http://acemiblogcu.blogspot.com/robots.txtAşağıdaki örneklerdeki robots.txt dosyaları ise, bulundukları hatalı pozisyon nedeni ile, robotlar tarafından dikkate alınmayacaklardır;http://www.acemiblogcu.com/fotograflar/robots.txt
veya
http://acemiblogcu.blogspot.com/ozel/robots.txtrobots.txt dosyası sadece belirli bir şekilde düzenlenmiş metin içeriğine sahip olmalıdır ve asla HTML kodları içermemelidir. Aşağıdaki örnekleri inceleyelim;
Tüm robotların blog’unuzun tamamını indekslemesini engellemek için;
User-agent: *
Disallow: /
Blog’unuzun tamamının robotların birisi tarafından indekslenmesini engellemek için;
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:
Tüm robotların blog’unuzun tamamını indekslemesi için;
User-agent: *
Disallow:Not: Boş bir robots.txt dosyası da aynı mesajı verecektir.
Bir dizinin tüm robotlar tarafından indekslenmesini engellemek için;
User-agent: *
Disallow: /dizin-adi/
Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek için;
User-agent: *
Disallow: /dizin-adi/ozel-sayfa.htmlRobots.txt dosyasında “/dizin-adi/*” veya “/dizin-adi/*.html” gibi ifadeler kullanamazsınız. Hariç tutulmasını istediğiniz sayfaları ve dizinleri teker teker belirtmek zorundasınız. Tabii ki hariç tuttuğunuz bir dizinin içindeki dosyaları ayrıca belirtmenize gerek yok :)Örnek bir kod aşağıdaki şekilde olabilir;# www.ornek.com için robots.txt dosyası
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/private/
Disallow: /private.htmlKaynak: acemiblogcu.com
Site erişim hataları
Yorum Yapın403.8 Forhidden – Site access denied
HTTP 403,8 Yasak: Siteye erişim reddedildi
————————————————–
403.7 Forhidden – Client certificate requred
HTTP 403,7 Yasak: İstemci sertifikası gerekiyor
————————————————–
403.6 Forhidden – IP address rejected
HTTP 403,6 Yasak: IP adresi reddedildi
————————————————–
403.5 Forhidden – SSL 128 required
HTTP 403,5 Yasak: SSL 128 gerekiyor
————————————————–
403.4 Forhidden – SSL required
HTTP 403,4 Yasak: SSL gerekiyor
————————————————–
403.3 Forhidden – Write access forhidden
HTTP 403,3 Yasak: Yazma Erişimi Yasak
————————————————–
403.2 Forhidden – Read access forhidden
HTTP 403,2 Yasak: Okuma Erişimi Yasak
————————————————–
403.1 Forhidden – Execute access forhidden
HTTP 403.1 Yasak: Yürütme Erişimi Yasak
————————————————–
401.5 Unauthorized – Authorization failed by ISAPI/CGI app
HTTP 401.5 – Yetki yok: ISAPI ya da CGI uygulaması tarafından yetki verilmedi
—————————————————
401.4 Unauthorized – Authorization failed by filter
HTTP 401,4 – Yetki yok: Yetkilendirme işlemi filtre tarafından reddedildi
—————————————————
401.3 Unauthorized – Authorization due to ACL on resource
HTTP 401.3 – Erişim; kaynaktaki EDL tarafından reddedildi
—————————————————-
401.2 Unauthorized – Authorization to server configuration
HTTP 401,2 – Yetki yok: Sunucu yapılandırması nedeniyle oturum açılamadı
—————————————————–
401.1 Unauthorized – Logon failed
HTTP 401,1 – Yetki yok: Oturum Açılamadı
—————————————————–
400 – Bad Request
HTTP 400 – Yanlış İstek
Kaynak kodu gizleme kodu
Yorum Yapın<pre>
<html>
<head>
<title>Hide HTML Source Code</title>
</head>
<body>
<table border=”0″ cellpadding=”0″ cellspacing=”0″ style=”border-collapse: collapse” bordercolor=”#111111″ width=”100%” background=”images/bg-1.gif”>
<tr>
<td valign=”top”>
<script language=”JavaScript”><!–
if (!document.layers) document.write(“<style>.box{ font-size:10pt;background-color:white;border:1px solid #919191; font-family:Verdana;scrollbar-face-color:EEEEEE;scrollbar-highlight-color:F1F1F1;scrollbar-shadow-color:909090;scrollbar-3dlight-color:909090;scrollbar-arrow-color:909090;scrollbar-track-color:EFEFEF;scrollbar-darkshadow-color:f0f0f0;}.but{ font-size:9pt; background-color:white;border:1px solid #919191; font-family:Verdana;}<”+”\/”+”style>”);
//–></script>
<script language=”JavaScript”><!–
i=0;
s=0;
num=0;
seq1=”",seq2=”";
ie = document.all?1:0;
ns = document.layers?1:0;
ns6 = document.getElementById?1:0;
svet = “”;
function generate(what)
{
code = document.pad.text;
if (code.value.length>0) code.value = “<script language=JavaScript>m=’”+escape(code.value)+”‘;d=unescape(m);document.write(d);<\/script>”;
else if (code.value.length == “”)
{
alert(‘To lock HTML code you need to enter it first.’);
document.pad.text.focus();
}
}
function unlock()
{
if (document.pad.text.value.length == “”)
{
alert(‘To unlock HTML code you have to paste it in the box above.’);
document.pad.text.focus();
}
else
{
code = document.pad.text.value;
pass = “”;
pass = code.replace(/m=\’(.*)\’;d=/g, “[[$1[[");
ut = pass.split("[[");
document.pad.text.value = unescape(ut[1]);
}
}
function selectCode()
{
padText=document.pad.text;
if(padText.value.length>0)
{
if (ie)
{
therange=padText.createTextRange();
therange.execCommand(“Copy”);
window.status=”Code copied into Clipboard!”;
setTimeout(“window.status=””,1800);
}
padText.focus();
padText.select();
}
else alert(‘Nothing to be selected!’)
}
function LightOn(what, message)
{
if (ie||ns6)
{
window.status=message;
what.style.backgroundColor=’#EAEAEA’;
what.style.cursor=’hand’;
}
else window.status=message;
}
function LightOut(what)
{
if (ie||ns6)
{
what.style.backgroundColor=’white’;
window.status=”;
}
else window.status=”;
}
// –></script>
<table border=”0″ width=”100%” cellspacing=”0″ cellpadding=”5″ style=”border-collapse: collapse” bordercolor=”#111111″>
<tr>
<td valign=”top” align=”left”>
<table border=”0″ cellpadding=”5″ cellspacing=”0″ style=”border-collapse: collapse” width=”100%”>
<tr>
<td>
<p><b><font face=”Tahoma”>Hide HTML Source Code</font></b><font face=”Tahoma” size=”3″><br>
</font></p>
</td>
</tr>
</table>
<form method=”post” name=”pad” align=”center”>
<table border=”0″ cellspacing=”0″ cellpadding=”0″ style=”border-collapse: collapse” bordercolor=”#111111″>
<tr>
<td align=”right” valign=”top” class=”text”>
<font face=”Tahoma” size=”2″><b>HTML Code: </b></font></td>
<td width=”484″>
<textarea nowrap class=”box” rows=”11″ name=”text” cols=”51″ wrap></textarea></td>
</tr>
<tr>
<td width=”116″></td>
<td width=”484″>
<input class=”but” type=”button” value=”Lock Code” name=”compileIt” onClick=”generate()” onMouseOver=”LightOn(this, ‘Lock the code in the box above!’)” onMouseOut=”LightOut(this)”>
<input class=”but” type=”button” value=”Select Code” name=”select” onClick=”selectCode()” onMouseOver=”LightOn(this, ‘Select the code in the box and copy it!’)” onMouseOut=”LightOut(this)”>
<input class=”but” type=”button” value=”Unlock Code” name=”retur” onClick=”unlock()” onMouseOver=”LightOn(this, ‘Unlock a locked code!’)” onMouseOut=”LightOut(this)”>
<input class=”but” type=”reset” value=”Clear” name=”clear” onMouseOver=”LightOn(this, ‘Clear the code from the box above!’)” onMouseOut=”LightOut(this)”>
</td>
</tr>
<tr>
<td colspan=”2″ class=”text” align=”right”> </td>
</tr>
</table>
</form>
</td>
</tr>
</body>
</html>
</pre>
<pre>…</pre> kodları dikkate alınmayacak
