Facebook kian lama kian digemari dan mempunyai banyak member. Padal bulan maret 2008 saja telah terjadi traffic data sebesar 200GB perhari. Permasalahan yang muncul adalah bagaimana caranya server yang dimiliki oleh facebook dapat melayani itu semua. Dalam bab ini akan dibahas mengenai trik dari facebook untuk membuat server mereka mampu melayani jutaan pengguna facebook.Untuk sebuah sistem jejaring sosial, yang diperlukan adalah kenyamanan dalam penggunaan. Selain itu pelayanan yang bagus serta murah bahkan gratis (tidak dipungut biaya ketika mendaftar maupun menggunakan layanan) merupakan senjata ampuh yang digunakan facebook untuk menarik jutaan pengguna(300 juta).1.1 Cara Optimalisasi transfer data.Pertanyaan yang akan timbul setelah membaca ulasan diatas adalah bagai mana facebook menjaga servernya agar tidak down?. Jawabannya akan sangat banyak, karena facebook mempunyai berbagai cara untuk melayani ratusan juta penggunanya. Caranya dengan jumlah server, cache, dan hadoop hive, dll. Dibawah ini akan dijelaskan semua (tetapi yang paling ditonjolkan adalah penggunaan hadoop/hive). Penjelasan caranya adalah sepertti dibawah ini. adalah:a. Jumlah serverCara yang paling dasar dan wajib dilakukan adalah dengan membangun sebanyak mungkin sub server yang melayani sejumlah 300an juta pengguna sehingga beban server utama dapat dikurangi. Secara logika ini akan mudah tetapi tidak murah. Untuk saat ini facebook mempunyai jumlah server hampir 30.000 unit server. Tapi cara ini dirasa kurang efisien karena membutuhkan biaya yang sangat mahal untuk membangun server baru.b. Cache
Gambar Server yang Dimiliki Facebook
Cara kedua adalah dengan membuat cache data. Yaitu dengan software semacam hash yang dapat menyimpan data (string, integer, object,dll) didalam RAM sehingga data dapat cepat terproses. Tapi cara inin juga akan timbul masalah ketika kapasitas ruang cache yang tidak akan mencukupi ketika traffic yang ada terlalu tingi. Gambarannya adalah seperti dibawah ini.
c. Hive and HadoopSetelah solusi diatas dikemukakan, maka dirasa kurang efisien untuk menyelesaikan permasalahan yang ada. Kemudian pihak facebook mencoba untuk mencari cara yang efisien, murah dan efektif untuk melayani traffic data. Caranya adalah menggunakan Hadoop dan Hive. Hadoop dan Hive adalah sebuah sistem yang biasanya digunakan untuk melayani traffic skala petabyte data.Sebuah hadoop mempunyai beberapa keunggulan yaitu:a. Superior didalam memanage(manageability), melakukan penyekalaan (scalability), ketersediaan (availibility)b. Efisien dengan tidak membutuhkan banyak hardware.c. Kemampuan untuk menskala data (memecah mecah data)Kekurangannyaa. Map-reduce sulit diprogram (tidak seperti sql, phyton,dll)
b. Membutuhkan skema yang jelas untuk mempublish data
Jelas sekali penggunaan hadoop ini mutlak digunakan karena dapat memangae, memilah milah data dengan meminimalisir hardware sehingga sangat efisien bila digunakan untuk traffic dengan skala data petabyte. Tetapi masih ada kekurangan yang dapat dilihat pada pemaparan sebelumnya. Makanya diperlukan Hive untuk mendukung sistem hadoop. Hive adalah sistem untuk memanage dan men query (mengantrikan) data yang dibuat diatas sistem hadoop. Untuk membuat kedua sistem ini sinkron maka digunakanlah SQL untuk alat penyimpanan data yang familiar.Dan yang perlu sipehatikan adalah tipe data yang biasanya digunakan, atau fungsi/scrip/format dari data itu sendiri . Cara ini digunakan untuk meningkatkan performa dari server itu sendiri (mempermudah server). Untuk mengetahui lebih lanjut penggunaan hadoop/hive sistem lebih lanjut akan dijelaskan pada bagian traffic data dibawah ini.
1.2 Traffic Data Pada Facebook
Cara cara diatas semua dilakukan oleh facebook untuk mengatisipasi trafic data dari facebook yang sangat besar. Sehingga selain cara diatas juga harus dilakukan atau dibuat sebuah architekture yang bagus sehingga kenyamanan dalam pengiriman data dilakukan dengan baik. Berikut ini akan ditampilkan gambaran aliran data pada facebook.
a. Scribe & hadoop cluster pada Fcebook
Scribe & hadoop cluster digunakan untuk meng-log data dari web server. Dan cluster ditempatkan dengan webserver. Setiap cluster mempunyai 50 node. Statistik dari data yang di log perhari adalah 2TB perhari dan 99% data akan tersedia dalam 20 detik.
b. Hadoop/hive cluster
Hadoop/hive cluster ini memiliki :
- 8400 core
- Kapasitas RAW12.5PB
- 8core+12TB per node
- 32GB RAM tiap node
- Didalam topologi level jaringan mempunyai kecepatan 1Gbit/sec dari node ke rack switch dan 4 Gbit/sec ke level tertinggi dari rack switch.
Mempunyai 2 macam cluster dimana satu untuk adhoc user dan satu untuk SLA jobs.
1.3 Penggunaan Hive-Hadoop
Statistik menunjukkan bahwa 12 TB data baru terkompresi setiap hari, 135TB data scan terkompresi tiap hari dan 7000 lebih Hive jobs perhari.
Dengan begitu maka Hive mencoba memudahkan hadoop. Facebokk melakukannya dengan mengerahkan 200 orang perhari untuk mengurusi jobs pada hadoop/hive, mengerahkan engineer baru untuk mengembangka hive, dan menganalisis hadoop melalui hive.
Bahasa yang digunakan dalam hive adalh SQL dengan meliputi tipe data integer, float, sting, bolean. Sistem ini juga menggunakan sistem Hash sebagai pemercepat transfer data.
Beberapa angota pengguna hive selain facebook adalah cnet, digg, chitika, bizo,g rooveshark, hi5, last.fm dll.
Arsitektur Server Facebook
Asal Mula Terbentuknya Facebook
asal
mula Facebook berawal ketika Mark Zuckerberg (saat itu mahasiswa
semester II Harvard University) membuat sebuah situs kontak jodoh untuk
rekan-rekan kampusnya. Zuckerberg yang terinspirasi dari situs Hot or
Not menamai situs buatannya Facemash.com. Metode situs ini yaitu
menampilkan dua foto pasangan (pria dan wanita), di mana selanjutnya dua
pasangan ini akan dipilih oleh para anggota situs mana pasangan yang
paling “hot”. Nah, untuk menampilkan foto-foto pasangan di situs ini,
Zuckerberg berupaya dengan segala cara mencari foto-foto rekannya dengan
cara keliling ‘door-to-door’ untuk meminta foto.1
Saking
nekatnya, Zuckerberg membobol akses jaringan komputer kampusnya untuk
mendapatkan foto-foto tambahan. Namun aksi ini diketahui pihak kampus
dan mereka selanjutnya memblokir situs Facemash.com diikuti dengan
tindakan sanksi kepada Zuckerberg dengan ancaman akan memecatnya dari
kampus (walaupun ancaman ini tidak jadi direalisasikan). Atas
tindakannya itu, Zuckerberg membela diri dengan mengatakan “Tindakan
pihak kampus yang memblokir situs facemash.com memang benar alasannya,
namun sayang mereka tidak menyadari potensinya yang bisa saja menjadi
alat pendongkrak popularitas bagi kampus itu sendiri”. Ia melanjutkan
“Cepat atau lambat, nanti juga akan ada orang lain yang membuat situs
serupa”.
2004
Tidak kapok, pada semester berikutnya, tepatnya pada tanggal 4 Februari 2004, Zuckerberg membuat sebuah situs baru bernama “The Facebook” yang beralamat URL:..http://www.thefacebook.com.. Untuk situs barunya ini, Zuckerberg berkomentar sarkas: “Menurutku upaya pihak kampus yang ingin membuat media pertukaran informasi antar civitas akademik yang butuh waktu bertahun-tahun adalah hal yang konyol. Dengan situsku ini, aku bisa mengerjakannya cuma dalam waktu seminggu saja”.2
Saat pertama kali diluncurkan “The Facebook” hanya terbatas di kalangan kampus Harvard saja. Dan sungguh menakjubkan! Dalam waktu satu bulan para penggunanya sudah mencakup lebih dari setengah jumlah mahasiswa Harvard saat itu. Selanjutnya, sejumlah rekan Zuckerberg turut bergabung memperkuat tim thefacebook.com. Mereka adalah Eduardo Saverin (analis usaha), Dustin Moskovitz (programmer), Andrew McCollum (desainer grafis), dan Chris Hughes.
Bulan maret 2004, thefacebook.com mulai merambah ke beberapa kampus lain di kota Boston, AS dan juga ke sejumlah kampus ternama seperti Stanford, Columbia, Yale, dan Ivy League. Tak butuh waktu lama, situs ini telah tersebar penggunaannya di hampir semua kampus di AS dan Kanada. Bulan Juni 2004, Zuckerberg, McCollum dan Moskovitz memindahkan markas ke Palo Alto, California. Di sini mereka turut dibantu juga oleh Adam D'Angelo dan Sean Parker.
Pertengahan 2004, thefacebook.com mendapat investasi pertamanya dari
salah seorang pendiri PayPal, Pieter Thiel.
2005
Bulan Mei 2005, thefacebook.com mendapat suntikan dana segar hasil join venture dengan Accel Partners. Tanggal 23 Agustus 2005, thefacebook secara resmi membeli nama domain mereka dari Aboutface.com seharga USD 200.000 dan sejak saat itu penggalan frase “the” tidak dipakai lagi sehingga nama mereka resmi menjadi facebook.com.
Pada tahun 2005 ini juga, facebook telah memperluas jangkauan pengguna ke kalangan pelajar SMA. Masih di tahun yang sama, sejumlah universitas di Meksiko, Inggris Raya, Australia dan Selandia Baru juga sudah bisa menikmati jaringan Facebook.
2006
Awal tahun 2006, Facebook diisukan akan diakuisisi oleh sebuah perusahaan dengan harga USD 750 juta, bahkan tawarannya melonjak hingga USD 2 miliar. Namun kabar ini tak terbukti. Pada bulan April 2006, Facebook mendapat suntikan dana segar USD 25 juta hasil investasi dari Peter Thiel, Greylock Partners, dan Meritech Capital Partners. Bulan Mei tahun yang sama Facebook mulai merambah benua Asia melalui India. Di pertengahan tahun, gilliran Israel dan Jerman. Akhirnya pada 11 September 2006, Facebook merubah status registrasinya menjadi “free to join” bagi semua pemilik alamat email valid di seluruh dunia.
2007
Bulan September 2007, Microsoft mengumumkan telah membeli 1,6% saham Facebook senilai USD 15 miliar. Dalam pengambilan saham ini juga tercakup kesepakatan bahwa Microsoft memiliki hak untuk memasang iklan mereka di Facebook. Melihat langkah ini sejumlah pemain raksasa lain seperti Google, Viacom, Friendster juga mengungkapkan minat mereka untuk berinvestasi di Facebook. Sebelumnya di tahun 2006, Yahoo! telah menawarkan tawaran akuisisi senilai USD 1 miliar. November 2007, seorang miliuner Hongkong Li Ka-shing menanam investasi senilai USD 60 juta di Facebook.
2008
Pada Agustus 2008, majalah Business Week melaporkan sejumlah pihak lain telah ikut menanamkan saham di Facebook sehingga diperkirakan nilai Facebook berkisar antara USD 3.75 miliar sampai USD 5 miliar
Situasi Situs
Pengguna Facebook kini dapat bebas bergabung ke banyak jaringan yang diatur berdasarkan kota, lokasi kerja, sekolah maupun negara. Jaringan-jaringan ini kemudian akan menghubungkan para anggotanya. Sesama pengguna dapat berhubungan dengan teman-temannya dan bisa saling melihat isi profil pribadi.
Situs Facebook mendapatkan pemasukan utama dari iklan-iklan yang terpasang padanya. Para pengguna bebas membuat profilnya masing-masing yang di dalamnya bisa berisi foto dan info-info pribadi lainnya. Selain itu dapat juga saling mengirim pesan, bergabung dengan sebuah grup atau lebih. Secara default, Facebook mengatur profil pengguna hanya bisa diakses oleh sesama pengguna yang telah berteman. Namun pengaturan ini bisa nanti dirubah jika diinginkan.
Microsoft adalah mitra eksklusif Facebook dalam menayangkan iklan-iklan banner. Inilah sebabnya mengapa Facebook hanya menayang iklan-iklan yang termuat dalam jaringannya Microsoft. Menurut comScore (situs periset internet marketing) saat ini Facebook mengumpul data pengguna sebanyak yang dikumpulkan oleh Google dan Microsoft.
Dalam hal tampilan, Facebook sering dibanding-bandingkan dengan MySpace dan Friendster. Namun perbedaaan utama antara mereka ialah MySpace dan Friendster mengizinkan pengguna mendekorasi tampilan profilnya dengan fitur HTML dan CSS, sedangkan Facebook hanya mengizinkan fitur teks saja sehingga semua tampilan profil pengguna terlihat seragam.
Fitur
Facebook memiliki sejumlah fitur interaksi antar sesama pengguna yang di antaranya adalah fitur ‘Wall/Dinding’, ruang tempat sesama pengguna mengirimkan pesan-pesan terbuka, ‘Poke/Colek’, sarana untuk saling mencolek secara virtual, ‘Photos/Foto’ ruang untuk memasang foto, dan ‘Status’ yang menampilkan kondisi/ide terkini pengguna. Mulai Juli 2007, Facebook mengizinkan pengguna untuk mengirim berbagai lampiran (tautan, aplikasi, dsb) langsung ke Wall/Dinding, di mana sebelumnya yang diizinkan hanya teks saja.
Seiring perjalanan waktu, Facebook menambahkan beberapa fitur baru ke dalam situsnya. Pada September 2006, Facebook mengumumkan peluncuran News Feed/Rangkaian Kabar Berita yang berisi kilasan informasi dari masing-masing pengguna. Mulanya fitur ini bersifat terbuka dan bisa dilihat oleh siapa saja. Namun setelah mendapat keluhan dari beberapa pengguna, pihak Facebook merubah pengaturan fitur ini sehingga kini pengguna dapat mengatur mana yang bisa ditampilkan di News Feed/Rangkaian Kabar Berita dan mana yang tidak.
Fitur Catatan/Notes ditambahkan pada 22 Agustus 2006. Dalam fitur ini pengguna bisa mengimpor tulisannya di blog lain (Xanga, LiveJournal, Blogger, dll) untuk ditampilkan di Facebook. Tanggal 7 April 2008, Facebook meluncurkan salah satu fitur favorit yaitu ‘Chat/Obrolan’, tempat di mana para pengguna bisa saling berkirim pesan pribadi secara langsung dan real time.
Fitur ‘Gifts/Hadiah’ dimulai pada 8 Februari 2007. Fitur ini adalah fitur untuk saling berkirim hadiah. ‘Hadiah’ bisa dibeli dengan harga USD 1 dan ditambahkan pesan pribadi. Tanggal 14 Mei 2007, Facebook memperkenalkan ‘Marketplace’ yang mengizinkan pengguna untuk beriklan secara gratis. Fitur beriklan gratis ini dibuat untuk menyaingi fitur serupa yang diperkenalkan oleh Craiglist.
Juli 2008, Facebook merapikan tampilan situs sehingga setiap kategori (dinding, info, foto, dll) memiliki tab-tab terpisah. Mulai Maret 2009, Facebook merapikan tampilan “Home/Beranda”.
Platform
Pada 24 Mei 2007, Facebook mempromosikan Facebook Platform. Ini adalah sarana bagi para pengembang software untuk menciptakan aplikasi yang bisa digunakan di Facebook. Langkah ini segera disambut oleh para pengembang software sehingga sampai 25 Maret 2009 tercatat ada 52.000 aplikasi dengan jumlah pengembang sebanyak 660.000 pihak.
2004
Tidak kapok, pada semester berikutnya, tepatnya pada tanggal 4 Februari 2004, Zuckerberg membuat sebuah situs baru bernama “The Facebook” yang beralamat URL:..http://www.thefacebook.com.. Untuk situs barunya ini, Zuckerberg berkomentar sarkas: “Menurutku upaya pihak kampus yang ingin membuat media pertukaran informasi antar civitas akademik yang butuh waktu bertahun-tahun adalah hal yang konyol. Dengan situsku ini, aku bisa mengerjakannya cuma dalam waktu seminggu saja”.2
Saat pertama kali diluncurkan “The Facebook” hanya terbatas di kalangan kampus Harvard saja. Dan sungguh menakjubkan! Dalam waktu satu bulan para penggunanya sudah mencakup lebih dari setengah jumlah mahasiswa Harvard saat itu. Selanjutnya, sejumlah rekan Zuckerberg turut bergabung memperkuat tim thefacebook.com. Mereka adalah Eduardo Saverin (analis usaha), Dustin Moskovitz (programmer), Andrew McCollum (desainer grafis), dan Chris Hughes.
Bulan maret 2004, thefacebook.com mulai merambah ke beberapa kampus lain di kota Boston, AS dan juga ke sejumlah kampus ternama seperti Stanford, Columbia, Yale, dan Ivy League. Tak butuh waktu lama, situs ini telah tersebar penggunaannya di hampir semua kampus di AS dan Kanada. Bulan Juni 2004, Zuckerberg, McCollum dan Moskovitz memindahkan markas ke Palo Alto, California. Di sini mereka turut dibantu juga oleh Adam D'Angelo dan Sean Parker.
Pertengahan 2004, thefacebook.com mendapat investasi pertamanya dari
salah seorang pendiri PayPal, Pieter Thiel.
2005
Bulan Mei 2005, thefacebook.com mendapat suntikan dana segar hasil join venture dengan Accel Partners. Tanggal 23 Agustus 2005, thefacebook secara resmi membeli nama domain mereka dari Aboutface.com seharga USD 200.000 dan sejak saat itu penggalan frase “the” tidak dipakai lagi sehingga nama mereka resmi menjadi facebook.com.
Pada tahun 2005 ini juga, facebook telah memperluas jangkauan pengguna ke kalangan pelajar SMA. Masih di tahun yang sama, sejumlah universitas di Meksiko, Inggris Raya, Australia dan Selandia Baru juga sudah bisa menikmati jaringan Facebook.
2006
Awal tahun 2006, Facebook diisukan akan diakuisisi oleh sebuah perusahaan dengan harga USD 750 juta, bahkan tawarannya melonjak hingga USD 2 miliar. Namun kabar ini tak terbukti. Pada bulan April 2006, Facebook mendapat suntikan dana segar USD 25 juta hasil investasi dari Peter Thiel, Greylock Partners, dan Meritech Capital Partners. Bulan Mei tahun yang sama Facebook mulai merambah benua Asia melalui India. Di pertengahan tahun, gilliran Israel dan Jerman. Akhirnya pada 11 September 2006, Facebook merubah status registrasinya menjadi “free to join” bagi semua pemilik alamat email valid di seluruh dunia.
2007
Bulan September 2007, Microsoft mengumumkan telah membeli 1,6% saham Facebook senilai USD 15 miliar. Dalam pengambilan saham ini juga tercakup kesepakatan bahwa Microsoft memiliki hak untuk memasang iklan mereka di Facebook. Melihat langkah ini sejumlah pemain raksasa lain seperti Google, Viacom, Friendster juga mengungkapkan minat mereka untuk berinvestasi di Facebook. Sebelumnya di tahun 2006, Yahoo! telah menawarkan tawaran akuisisi senilai USD 1 miliar. November 2007, seorang miliuner Hongkong Li Ka-shing menanam investasi senilai USD 60 juta di Facebook.
2008
Pada Agustus 2008, majalah Business Week melaporkan sejumlah pihak lain telah ikut menanamkan saham di Facebook sehingga diperkirakan nilai Facebook berkisar antara USD 3.75 miliar sampai USD 5 miliar
Situasi Situs
Pengguna Facebook kini dapat bebas bergabung ke banyak jaringan yang diatur berdasarkan kota, lokasi kerja, sekolah maupun negara. Jaringan-jaringan ini kemudian akan menghubungkan para anggotanya. Sesama pengguna dapat berhubungan dengan teman-temannya dan bisa saling melihat isi profil pribadi.
Situs Facebook mendapatkan pemasukan utama dari iklan-iklan yang terpasang padanya. Para pengguna bebas membuat profilnya masing-masing yang di dalamnya bisa berisi foto dan info-info pribadi lainnya. Selain itu dapat juga saling mengirim pesan, bergabung dengan sebuah grup atau lebih. Secara default, Facebook mengatur profil pengguna hanya bisa diakses oleh sesama pengguna yang telah berteman. Namun pengaturan ini bisa nanti dirubah jika diinginkan.
Microsoft adalah mitra eksklusif Facebook dalam menayangkan iklan-iklan banner. Inilah sebabnya mengapa Facebook hanya menayang iklan-iklan yang termuat dalam jaringannya Microsoft. Menurut comScore (situs periset internet marketing) saat ini Facebook mengumpul data pengguna sebanyak yang dikumpulkan oleh Google dan Microsoft.
Dalam hal tampilan, Facebook sering dibanding-bandingkan dengan MySpace dan Friendster. Namun perbedaaan utama antara mereka ialah MySpace dan Friendster mengizinkan pengguna mendekorasi tampilan profilnya dengan fitur HTML dan CSS, sedangkan Facebook hanya mengizinkan fitur teks saja sehingga semua tampilan profil pengguna terlihat seragam.
Fitur
Facebook memiliki sejumlah fitur interaksi antar sesama pengguna yang di antaranya adalah fitur ‘Wall/Dinding’, ruang tempat sesama pengguna mengirimkan pesan-pesan terbuka, ‘Poke/Colek’, sarana untuk saling mencolek secara virtual, ‘Photos/Foto’ ruang untuk memasang foto, dan ‘Status’ yang menampilkan kondisi/ide terkini pengguna. Mulai Juli 2007, Facebook mengizinkan pengguna untuk mengirim berbagai lampiran (tautan, aplikasi, dsb) langsung ke Wall/Dinding, di mana sebelumnya yang diizinkan hanya teks saja.
Seiring perjalanan waktu, Facebook menambahkan beberapa fitur baru ke dalam situsnya. Pada September 2006, Facebook mengumumkan peluncuran News Feed/Rangkaian Kabar Berita yang berisi kilasan informasi dari masing-masing pengguna. Mulanya fitur ini bersifat terbuka dan bisa dilihat oleh siapa saja. Namun setelah mendapat keluhan dari beberapa pengguna, pihak Facebook merubah pengaturan fitur ini sehingga kini pengguna dapat mengatur mana yang bisa ditampilkan di News Feed/Rangkaian Kabar Berita dan mana yang tidak.
Fitur Catatan/Notes ditambahkan pada 22 Agustus 2006. Dalam fitur ini pengguna bisa mengimpor tulisannya di blog lain (Xanga, LiveJournal, Blogger, dll) untuk ditampilkan di Facebook. Tanggal 7 April 2008, Facebook meluncurkan salah satu fitur favorit yaitu ‘Chat/Obrolan’, tempat di mana para pengguna bisa saling berkirim pesan pribadi secara langsung dan real time.
Fitur ‘Gifts/Hadiah’ dimulai pada 8 Februari 2007. Fitur ini adalah fitur untuk saling berkirim hadiah. ‘Hadiah’ bisa dibeli dengan harga USD 1 dan ditambahkan pesan pribadi. Tanggal 14 Mei 2007, Facebook memperkenalkan ‘Marketplace’ yang mengizinkan pengguna untuk beriklan secara gratis. Fitur beriklan gratis ini dibuat untuk menyaingi fitur serupa yang diperkenalkan oleh Craiglist.
Juli 2008, Facebook merapikan tampilan situs sehingga setiap kategori (dinding, info, foto, dll) memiliki tab-tab terpisah. Mulai Maret 2009, Facebook merapikan tampilan “Home/Beranda”.
Platform
Pada 24 Mei 2007, Facebook mempromosikan Facebook Platform. Ini adalah sarana bagi para pengembang software untuk menciptakan aplikasi yang bisa digunakan di Facebook. Langkah ini segera disambut oleh para pengembang software sehingga sampai 25 Maret 2009 tercatat ada 52.000 aplikasi dengan jumlah pengembang sebanyak 660.000 pihak.
