WEB SEARCH

MATERI 4

WEB SEARCH

Mesin pencari atau search engine adalah website yang mengumpulkan dan mengorganisir konten dari seluruh bagian internet. Untuk menggunakannya, Anda tinggal memasukkan apa yang ingin Anda cari dan mesin pencari akan memberikan Anda berbagai link ke konten yang sesuai dengan apa yang dicari. Hasil halaman pencarian, biasa disebut search engine results page atau SERP, memberikan hasil kepada Anda dari konten yang paling relevan sampai tidak. Cara mesin pencari menentukan ranking memang berbeda-beda.

Mesin pencari juga suka mengubah-ubah algoritma untuk meningkatkan user experience. Setiap search engine bertujuan untuk mengerti bagaimana users menggunakan search engine dan memberi mereka jawaban yang terbaik untuk pencarian mereka. Dengan begitu, search engine bisa memberikan jawaban yang berkualitas tinggi dan paling relevan.

Cara kerja mesin pencarian

Mesin pencari menggunakan program yang sering disebut dengan istilah spiders, robots, atau crawlers untuk mencari konten dari seluruh sudut internet. Hasil-hasil pencarian crawler ini kemudian digunakan mesin pencari untuk membangun index internet.

Sebagian besar mesin pencari akan memberi tahu Anda tentang cara meningkatkan peringkat halaman Anda di halaman hasil pencarian, algoritma yang mereka gunakan dijaga dengan baik dan sering berubah untuk menghindari penyalahgunaan. Tetapi dengan mengikuti beberapa teknik optimasi mesin pencari (SEO) yang sudah terbukti, Anda dapat memastikan bahwa website Anda terindeks dengan baik dan tetap tinggi dalam peringkat.

Jenis-jenis mesin pencarian

Berikut ini adalah beberapa search engine yang popular di internet. Cara kerjanya sendiri memang sama, yaitu Anda tinggal memasukkan kata kunci dan tekan tombol enter. Tetapi mereka bisa memberikan hasil serta fitur-fitur yang berbeda-beda.

Google

Google adalah mesin pencari yang paling banyak digunakan di dunia. Google memproses jutaan pencarian setiap harinya. Search engine Google sendiri tersedia dalam 123 bahasa. Google sendiri mengumpulkan jutaan informasi dari penggunanya dan menggunakannya untuk menambahkan fitur untuk mesin pencarinya. Sebagai mesin pencari yang paling banyak digunakan, Google mengontrol 90% pasar mesin pencarian. Ini menjadikan Google jauh lebih besar jika dibanding dengan competitor.

Bing

Bing adalah search engine dari Microsoft. Sebelum ada Bing, Microsoft memiliki MSN Search, Windows Live Search, dan Live Search. Bing adalah search engine terbesar kedua di Amerika Serikat. Bing memegang 20% dari keseluruhan volume pencarian, di belakang Google yang memegang 64% dan Yahoo dengan 12% dari keseluruhan volume pencarian di Internet.

Yahoo

Sebelum Google menguasai pasar mesin pencari, Yahoo! adalah salah satu mesin pencari terbesar dunia. Sejak tahun 2011, mesin pencari Yahoo sudah dijalankan oleh Bing. Untuk saat ini, Yahoo adalah mesin pencari terbesar ketiga di US setelah Google dan Bing.

Ask.com

Sebelum dikenal dengan namanya sekarang, Ask.com dikenal dengan nama Ask Jeeves. Ask.com sebenarnya memiliki format yang berbeda dengan search engine lainnya. Mesin pencari yang satu ini memiliki format tanya/jawab dimana pertanyaan-pertanyaannya nantinya akan dijawab oleh user lainnya. Selain tanya/jawab ada juga format polling.

DuckDuckGo

DuckDuckGo adalah private search engine yang paling popular. Private search engine sendiri adalah mesin pencari yang tidak melacak penggunanya dan menampilkan halaman hasil pencariannya dengan perlindungan tambahan. User bisa menggunakan DuckDuckGo tanpa melihat advertisements atau iklan.

Yandex.ru

Menurut data dari Alexa, Yandex.ru adalah Yandex.ru adalah salah satu dari 30 situs web paling populer di Internet. Selain itu, Yandex.ru juga menempati posisi peringkat 4 dalam website berbahasa Rusia. Yandex menampilkan diri sebagai perusahaan teknologi yang membangun produk dan layanan cerdas yang didukung oleh pembelajaran mesin. Menurut Wikipedia, Yandex mengoperasikan mesin pencari terbesar di Rusia dengan sekitar 65% pangsa pasar di negara itu.

Web Crawling and Indexes

Dasar-dasar penelusuran

Proses crawling dimulai dengan daftar alamat web dari aktivitas crawling sebelumnya dan peta situs yang diberikan oleh pemilik situs. Saat mengunjungi situs, crawler kami menggunakan tautan pada situs tersebut untuk menemukan halaman lainnya. Software ini memberikan perhatian khusus ke situs baru, perubahan pada situs yang sudah ada, dan tautan yang tidak lagi aktif. Program komputer akan menentukan situs mana yang di-crawl, serta seberapa sering dan berapa banyak halaman yang diambil dari tiap situs.

Mencari informasi dengan crawling

Web itu seperti perpustakaan yang terus berkembang dengan miliaran buku tanpa sistem pengarsipan terpusat. Kami menggunakan software yang dikenal sebagai crawler web untuk menemukan halaman yang tersedia secara publik. Crawler akan memeriksa halaman dan mengikuti tautan di halaman tersebut, sama seperti yang Anda lakukan saat browsing konten di web. Crawler akan memeriksa setiap tautan dan mengirimkan data terkait halaman tersebut kembali ke server Google.

Mengelola informasi dengan pengindeksan

Saat crawler menemukan halaman web, sistem kami akan merender konten halaman tersebut, sama seperti yang dilakukan browser. Kami mencatat sinyal-sinyal penting mulai dari kata kunci hingga update situs dan kami tetap melacak semuanya di indeks Penelusuran.

Indeks Google Penelusuran berisi ratusan miliaran halaman dan memiliki kapasitas hingga lebih dari 100.000.000 GB. Fungsinya sama seperti indeks di bagian belakang buku — dengan entri untuk setiap kata yang terlihat di setiap halaman yang kami indeks. Saat mengindeks halaman web, kami menambahkannya ke entri untuk semua kata yang ada di dalam halaman tersebut.

Google mencari informasi dengan perayapan

Google menggunakan perangkat lunak yang disebut dengan “perayap web” untuk menemukan laman web yang tersedia untuk publik. Perayap yang paling terkenal disebut “Googlebot”. Perayap melihat laman web dan mengikuti tautan pada laman tersebut, hampir sama seperti yang Anda lakukan jika Anda menjelajahi konten di web. Perayap membuka tautan satu ke tautan lainnya dan membawa data tentang laman web tersebut kembali ke server Google.

Proses perayapan dimulai dari daftar alamat web dari perayapan petasitus sebelumnya yang diberikan oleh pemilik situs web. Saat perayap Google mengunjungi situs web ini, perayap mencari tautan laman lain untuk dikunjungi. Perangkat lunak ini memberikan perhatian khusus terhadap situs baru, perubahan terhadap situs yang sudah ada, dan tautan yang mati.

Google mengatur informasi dengan pengindeksan

Web itu bagaikan perpustakaan umum yang terus berkembang dengan miliaran buku dan tanpa administrasi pusat. Google pada dasarnya mengumpulkan laman selama proses perayapan, lalu membuat indeks, sehingga Google tahu persis cara untuk mencari sesuatu. Hampir seperti indeks di bagian belakang buku, indeks Google meliputi informasi tentang kata dan lokasinya. Saat Anda menelusuri, pada level yang paling dasar, algoritme Google mencari istilah penelusuran Anda di indeks untuk menemukan laman yang sesuai.

Link Analisys

Analisis tautan adalah teknik analisis data yang digunakan untuk mengevaluasi hubungan (koneksi) antar node. Hubungan dapat diidentifikasi di antara berbagai jenis node (objek), termasuk organisasi , orang dan transaksi. Analisis tutan telah digunakan untuk penyelidikan aktivitas criminal (deteksi penipuan, kontraterorisme, dan inteelijen), analisis keamanan computer, optimisasi mesin pencarian, riset pasar, penelitian medis, dan seni.

Penemuan Pengetahuan (Knawlage)

Penemuan pengetahuan adalah proses interaktif dan interaktif yang digunakan untuk mengidentifikasi , menganalisis dan memvisualisasikan pola dalam data. Analisis jaringan, analisis tautan dan analisis jaringan sosial adalah semua metode penemuan pengetahuan, masing-masing subset yang sesuai dari metode sebelumnya. Sebagian besar metode penemuan pengetahuan mengikuti langkah-langkah ini (pada tingkat tertinggi):

* Pengolahan data

* Transformasi

* Analisis

* Visualisasi

Pengumpulan dan pemrosesan data membutuhkan akses ke data dan memiliki beberapa masalah yang melekat, termasuk kelebihan informasi dan kesalahan data. Setelah data dikumpulkan, itu akan perlu diubah menjadi format yang dapat digunakan secara efektif oleh analisis manusia dan komputer. Alat visualisasi manual atau yang dihasilkan komputer dapat dipetakan dari data, termasuk bagan jaringan. Beberapa algoritma ada untuk membantu analisis data - algoritma Dijkstra , pencarian luas pertama , dan pencarian kedalaman-pertama .

Analisis tautan berfokus pada analisis hubungan antar node melalui metode visualisasi ( diagram jaringan , matriks asosiasi). 

Berikut ini contoh hubungan yang mungkin dipetakan untuk investigasi kejahatan:

Hubungan / Jaringan	Sumber data
Kepercayaan	Kontak sebelumnya di keluarga, lingkungan, sekolah, militer, klub atau organisasi. Catatan publik dan pengadilan. Data hanya tersedia di negara asal tersangka.
Tugas	Log dan catatan panggilan telepon, surat elektronik, ruang obrolan, pesan instan, kunjungan situs web. Catatan perjalanan. Kecerdasan manusia: observasi pertemuan dan kehadiran di acara-acara umum.
Uang & Sumber Daya	Rekening bank dan catatan transfer uang. Pola dan lokasi penggunaan kartu kredit. Catatan pengadilan sebelumnya. Kecerdasan manusia: pengamatan kunjungan ke sumber daya perbankan alternatif seperti Hawala
Strategi & Tujuan	Situs web. Video dan disk terenkripsi yang dikirim oleh kurir. Catatan perjalanan. Kecerdasan manusia: observasi pertemuan dan kehadiran di acara-acara umum.

Analisis tautan digunakan untuk 3 tujuan utama:

* Temukan kecocokan dalam data untuk mengetahui pola minat yang diketahui;

* Temukan anomali di mana pola yang diketahui dilanggar;

* Temukan pola baru yang menarik (analisis jaringan social, penambangan data).