“Crawler” olarak da bilinen arama motoru “örümceği (spider)” Google gibi arama motorlarının web üzerinde ne olup bittiğini bulması için geliştirilmiş bir yazılımdır. Web dünyası çok geniş bir alandır, bu yüzden bu alanda gezinen ve her gün her saniye web’e ne önerildiğini gören bir şeye ihtiyaç vardır. İşte bu noktada, örümcekler devreye girer.
Bilgilerinize bakan örümcek, sayfa yüklendikten sonra, her bir sayfadaki köprülerinizin (hyperlink) hepsini takip eder. Bir örümceğin ağlarda sürünüp diğer böcekleri yakaladığı gibi, bu “örümcek” yazılımı da web üzerindeki siteleri tek tek dolaşır ve sonunda sizin bilgilerinize de ulaşır.
Örümcek sitenizi ziyret ettiği zaman, sayfanızdaki içerik bir veri tabanına yüklenir. Web siteniz alındıktan sonra, arama motorları, içeriğinizi indekslerine yükler.Google örümcek dolaşıp sayfalarınızı bulur, sayfanızdaki bütün kelimeleri analiz eder ve sonra bütün URL’lerinizi programı içinde güçlendirir.
Sayfanızı ziyaret ettiği zaman bir örümceğin yaptığı ilk şey, “robots.txt” denilen dosyayı bulmaktır. Bu, örümceğe neyi indeksleyip indekslememesi gerektiğini söyleyen özel bir dosyadır. Eğer örümcek dosyayı bulamazsa, bu sayfayı dikkate almayacaktır. Bu yüzden de, arama motorları tarafından fark edilmeyebilirsiniz. Bir örümceğin sayfanızı görmesini sağlamanın tek yolu “robots.txt” dosyasına sahip olmaktır. Örümcek, sayfanızı köprüleri veya “aranan sayfaları” takip ederek bulacaktır.
Arama motorunun, sitenizi onun indekslerine ekleme talebini isteyeceğiniz bir URL teslim formu olabilir ve bu da çoğu durumda yapılması iyi bir fikirdir. Söylemek istediğim son şey, sitenizi bir arama motoruna verdiyseniz, bunu, bulduğunuz sitelere veya sitenizi yüzlerce arama motoruna önerecek bir yazılıma vermemeniz çok önemlidir. Bu işe yaramaz. Ayrıca son olarak, sahip olacağınız çok fazla link, arama motorundaki sıralamanızı yükseltecektir.
Bir önceki yazımız olan Seo İçin Önemli Unsurlar başlıklı makalemizi de okumanızı öneririz.
destekli ve detaylı anlatımlarınız ve verdiğiniz bilgilerden dolayı çok teşk ederim
Makalenin için ve detay anlatımı başarabilirse olmuş teşekkürler
Makaleniz için ve detay anlatımı başarılı olmuş teşekkürler
Makaleniz için ve detay anlatımı başarılı olmuş harbiden cok güzel takipdeyim sizi
Google bazı anahtar kelimeler girildiğinde Sitem ilk sayfada İlk dördüncü sırada yer almasını istiyorum Bunun için ne yapmamız gerek
emeğinize sağlık çok iyi bir paylaşım olmuş.
Yararlı bilgiler teşekkür ederim
verdiğiniz bilgiler çok faydalı oldu.
teşekkür ederim.
Paylaşımınız için acilexpresskurye.com ailesi olarak teşekkür ederim..Oldukça faydalı bir paylaşım oldu ellerinize sağlık
Güzel paylaşım detaylı anlatım. Elinize saglık
vermiş olduğunuz değerli bilgileri sıkılmadan yorulmadan okudum akışı güzel bir makale hazırlamış emek vermişssiniz belli teşekkürler..
Makaleniz için ve detay anlatımı başarılı olmuş teşekkürler
Harika bi paylasim devamini bekliyoruz
tebrikler paylasiminiz cok güzel iyi calismalar sizle calismak isterdim
Makaleniz için ve detay anlatımı başarılı olmuş harbiden cok güzel takipdeyim sizi
merhaba arkadaşlar websitesi üst sıralara çıkarmak için html uzantılı link ekleyip bunu kabul eden forum sitelerinde sitemi üst sıralara çıkarmak istiyorum yardımlarınız için şimdiden teşekkür ediyorum.
http://www.aquatemizlikgroup.com
Detaylı paylaşım için teşekkürler…
Verdiğiniz bilgiler için çok teşekkür ediyorum. Anlayamadığım örümcekleri siteye nasıl çekeceğim. Yani her değişiklikte örümceklerin gelmesi lazım ama site analizi yaptığımda yandex vb. sitelerin indexlediğini ama google ın indexlemediğini görüyorum. Ayrıca nedense içerik girdiğim halde sitem http://www.proekspertizkonya.com üst sıradayken epey bir arka sıralara düştü bunun sebebi ne olabilir?
Şimdiden teşekkür ediyorum.
Merhaba Arkadaşlar Haftada 10 bin takipçi kasmak istiyorsanız http://www.instagramhilecin.com girip takipçi kasabilirsiniz.
merblar. öncelikle Caner beyin yazmış oldugu makele oldukça anlaşılır ve faydalı bir durum benim i.çin. kendisine burdan teşekkürümü iletiyorum..
http://www.madalyaburda.com tüm okul madalyaları yapılmaktadır..
merhaba arkadaşlar temizlik sitesi üzerine bir site açtım yardımlarınızı bekliyorum
Noralift olaraktan makale ve anlatımınızdan çok şey kattık kendimize takipte ve uygulamadayız.
http://www.noralift.com/
http://www.atasehirhurdaci.net tskrler
http://vipcanlibahis.com sitemiz için tavsiyelerinizi alıyoruz. Teşekkürler.