Apa crawler a? alat crawler "Yandex" lan Google

Saben dina ing Internet ana jumlah ageng saka bahan anyar kanggo nggawe website dianyari ing kaca web lawas, upload foto lan video. Tanpa didelikaké saka mesin ora bisa ditemokake ing World Wide Web, ora ana dokumen iki. Alternatif kaya program robot ing sembarang wektu tartamtu ora ana. Apa robot search, apa sing kudu dadi lan carane operate?

Apa robot search

Situs Crawler (search engine) - iku program otomatis sing bisa kanggo ngunjungi mayuta-yuta kaca web, cepet navigasi liwat internet tanpa melu-melu operator. Bot saya scan papan saka World Wide Web, nemokake kaca web anyar lan ajeg ngunjungi wis indeks. Jeneng liya kanggo web CRAWLERS angga, CRAWLERS, bot.

Apa sing angga search engine

Fungsi utama sing nindakake angga search engine - kaca web indeks, uga minangka teks, gambar, audio lan file video sing ing wong. Bot mriksa referensi, Camping mirror (salinan) lan nganyari. Robot uga nindakake kontrol HTML-kode kanggo standar aturan saka Organization, kang develops lan nindakake standar teknologi kanggo World Wide Web.

Apa indeksasi, lan apa iku perlu

Indexing - wis, ing kasunyatan, iku proses ngunjungi kaca web sing dening mesin. program mindai teks ing situs iki, gambar, video, pranala outbound, banjur kaca katon ing asil panelusuran. Ing sawetara kasus, situs ora bisa mentas otomatis, banjur bisa ditambahake menyang search engine manual webmaster. Biasane, iki ana ing anané pranala jaba menyang kaca tartamtu (asring mung nggawé).

Pripun angga engine golèk

Saben search engine wis bot dhewe karo robot search Google bisa beda-beda Ngartekno miturut mekanisme dianggo ing program padha, "Yandex" utawa sistem liya.

Umumé, asas apa robot iku minangka nderek: ing program "rawuh" ing situs lan pranala njaba saka kaca utama, "maos" Web sumber (kalebu sing looking nduwur sirah sing ora weruh pangguna). Kayak carane kanggo navigasi antarane kaca situs lan nerusake kanggo wong.

Program bakal milih situs kanggo indeks? Liyane asring saka ora "trip" Spider wiwit karo berita utawa petunjuk sumber utama lan aggregators karo bobot referensi gedhe. Crawler terus-terusan mindai kaca siji, ing tingkat lan konsistensi saka indeksasi faktor ing ngisor iki:

• Internal: perelinovka (pranala internal antarane kaca sing padha), ukuran situs, kode bener, lan supaya ing pangguna-loropaken;
• Njaba: total referensi bobot, kang ndadékaké ing situs iki.

Wangsulan: Bab ingkang kawitan searches search robot ing situs dening robots.txt. indeksasi sumber luwih dileksanakake adhedhasar informasi ditampa iku saka kene. Berkas iki ngandhut instruksi tartamtu kanggo "angga-angga" sing bisa ningkatake kemungkinan saka kaca kunjungan dening mesin, lan, Akibate, kanggo entuk situs hit awal ing "Yandex" utawa Google.

Program analog CRAWLERS

Asring istilah "search robot" wis bingung karo pinter, panganggo utawa agen otonomi, "semut" utawa "Cacing". Nyemplungaken beda wujud mung ing comparison karo agen, ukara liyane deleng jinis padha robot.

Contone, agen bisa:

• intelektual: program, kang pindhah saka situs kanggo situs, independen panentu carane nerusake, padha ora banget umum ing internet;
• Otonomi: agen Iki bantuan pangguna ing milih produk, search, utawa Isi metu formulir, sing dadi-disebut saringan, kang sethitik related kanggo program jaringan;.
• user: program kontribusi kanggo interaksi user karo World Wide Web, browser sing (contone, Opera, IE, Google Chrome, Firefox), utusan (Viber, Telegram) utawa program e-mail (MS Outlook lan Qualcomm).

"Semut" lan "Cacing" luwih padha search engine "angga-angga". Wangun kawitan antarane jaringan lan terus-terusan sesambungan kaya koloni semut iki, "Cacing" bisa nurun ing babagan sanèsipun padha crawler standar.

Macem-macem robot search engine

Mbedakake antarane akeh jinis CRAWLERS. Gumantung ing tujuan program, lagi:

• "Pangilon" - duplikasi browsing situs.
• Mobile - fokus ing versi seluler saka kaca web.
• Cepet - ndandani informasi anyar cepet dening ndeleng paling keri.
• Reference - referensi indeks, Count nomer sing.
• Indexers macem-macem jinis isi - program tartamtu kanggo teks, audio, video, gambar.
• "Spyware" - looking kanggo kaca sing durung katampil ing search engine.
• "Singgahsana" - periodik bukak kanggo mriksa relevansi lan efficiency.
• National - nelusur sumber Web dumunung ing salah siji saka domain negara (eg, .mobi, utawa .kz .ua).
• Global - indeks sedaya nasional.

Robot mesin utama

Ana uga sawetara angga search engine. Ing téori, fungsi bisa beda-beda digunakake, nanging ing laku program sing meh podho rupo. Beda utama indeksasi kaca web robot loro mesin utama iku minangka nderek:

• The stringency saka testing. Punika pitados bilih ing mekanisme saka crawler "Yandex" prakiraan Luwih cethané situs kanggo tundhuk marang standar saka World Wide Web.
• Pengawetan saka integritas ing situs iki. Ing indeks crawler Google kabèh situs (kalebu isi media), "Yandex" bisa uga ndeleng isi selektif.
• test kacepetan kaca anyar. Google nambah sumber anyar ing asil panelusuran ing sawetara dina, ing cilik saka "dening Yandex" proses uga rong minggu utawa luwih.
• Frekuensi saka re-indeksasi. Crawler "Yandex" mriksa kanggo kaping pindho menyang minggu, lan Google - siji saben 14 dina.

Internet, mesthi, ora winates kanggo loro mesin. Mesin duwe robot sing tindakake paramèter indeksasi dhewe. Kajaba iku, ana sawetara "angga-angga" sing dirancang sumber ora utama search, lan tim individu utawa webmasters.

salah paham umum

Nalisir populer yakin, "angga-angga" ora proses informasi. Program mung mindai lan nyimpen kaca web lan luwih Processing njupuk robot temen beda.

Uga, akeh kedhaftar sing pracaya angga search engine impact negatif lan "mbebayani" Internet. Ing kasunyatan, sawetara versi "angga-angga" Ngartekno bisa kakehan server. Ana uga faktor manungsa - webmaster, sing digawe program, bisa nggawe kesalahane ing konfigurasi robot. Nanging sing paling saka program sing wis ana uga dirancang lan ngatur ahli, lan masalah berkembang sakcepete dibusak.

Carane ngatur indeksasi ing

robot search engine sing program otomatis, nanging proses indeksasi bisa sebagian kontrol dening webmaster. Iki nemen mbantu external lan Optimization internal saka sumber. Kajaba iku, sampeyan bisa kanthi manual nambah situs anyar kanggo search engine: sumber daya gedhe duwe wangun khusus saka Pendhaftaran kaca Web.