Big data saat ini sudah tidak asing lagi di dunia IT. Teknologi terus berkembang dan penggunaan data yang terus meningkat membuat Big Data menjadi fenomena yang tidak dapat dihindari. Penggunaan big data sangat diperlukan untuk dapat mengelola, menyimpan, memanajemen segala informasi yang berbentuk data terstruktur dan tersistem maupun tidak terstruktur. Banyak institusi yang membutuhkan kapasitas data sangat besar untuk menyimpan data terkait organisasi tersebut.

Untuk proyek dengan skala kecil, pada umumnya cukup dengan menggunakan bantuan database yang bersifat open source seperti MySQL, PostGre, MariaDB, dll. Akan tetapi, untuk kebutuhan yang menampung berbagai jenis data, maka dapat mengakibatkan proses penanganan data menjadi lambat dan kurang efektif. Langkah terbaik untuk menangani masalah tersebut adalah dengan menggunakan big data. Konsep big data mungkin belum banyak dipahami, tapi manfaat big data telah banyak dirasakan, terutama bagi pengguna internet yang setiap saat mengakses informasi secara online.

Big Data adalah istilah yang diberikan pada kumpulan data yang berukuran sangat besar dan kompleks, sehingga tidak memungkinkan untuk diproses menggunakan perangkat pengelola database konvensional ataupun aplikasi pemroses data lainnya. Dalam Gartner IT Glossary, Big Data didefinisikan sebagai : Big Data is high-volume, high-velocity and/or high-variety information assets that demand costeffective, innovative forms of information processing that enable enhanced insight, decision making, and process automation.

Dengan mengacu pada definisi tersebut, maka dapat disimpulkan bahwa karakteristik utama Big Data meliputi tiga hal – biasa disingkat dengan 3V – yaitu volume, velocity, dan variety.

1.      Volume terkait dengan besaran data yang harus dikelola yang berukuran super besar

2.      Velocity berkenaan dengan kecepatan pemrosesan data yang harus mengimbangi pesatnya pertumbuhan jumlah data

3.      Variety merujuk pada karakteristik sumber data yang sangat beragam, baik itu yang berasal dari basis data yang terstruktur maupun juga dari data-data yang tidak terstruktur.

Sebagai contoh, awalnya informasi penting mungkin berupa data nama, alamat dan nomor telepon. Namun saat ini, data yang dimiliki makin beragam, termasuk postingan di media sosial, riwayat belanja di marketplace, hingga pencarian di mesin pencari yang menunjukkan ketertarikan tentang suatu topik. Semua data tersebut terus dihasilkan bersamaan dengan data dari pengguna lain di seluruh dunia. Bahkan, pengguna internet menghasilkan data sekitar 2,5 quintillion bytes setiap hari. Oleh karena itu, penting untuk mampu mengelola big data dengan baik agar dapat dimanfaatkan untuk mendukung aktifitas sebagai pribadi maupun untuk organisasi.

Dalam hal teknologi, Big Data adalah terobosan baru dalam hal pengolahan, penyimpanan dan analisis data dari berbagai sumber dengan jumlah yang besar. Software yang digunakan untuk memproses big data ini tidak bisa dilakukan dengan software database biasa, perlu menggunakan software khusus. Tidak hanya berkutat pada besarnya data, analisa dari big data bisa diambil untuk mendapatkan hasil dalam pengambilan keputusan dan strategi dalam institusi agar tidak keliru.

Sejarah Big Data

Sejarah big data di awali di awal tahun 60 – 70 an. Di tahun-tahun itulah ‘warga dunia’ mulai melek data serta analisisnya melalui ilmu statistika. Sementara itu kemunculan Facebook dan berbagai media sosial lainnya di tahun 2000 an membuat orang mulai menyadari betapa pentingnya data user yang dimiliki platform media sosial tersebut. Meski demikian permasalahan timbul, karena inputan dari platform-platform media sosial di masa itu terlalu besar untuk disimpan dan diolah. Masalah ini kemudian ditangani secara perlahan, diawali dengan kemunculan Apache Hadoop (saat ini bersama Apache Spark) dan NoSQL. Tools big data dapat dipilih salah satunya sebagai program database pada institusi. Setiap software memiliki kelebihan masing – masing yang tujuan utamanya tentu saja untuk mempermudah proses penganalisisan data. Tools big data yang ada diantaranya adalah Tableau, Spark, Domo, Looker, Sisense, Knime, Skytree, Xplenty, Rapidminer, Hadoop, Map Reduce, Grid Gain, HPCC, Disco, Lumify, Pandas, Storm, MongoDB,  Pentaho dan Cassandra

Penerapan Big Data

Ada lima langkah yang harus dilakukan agar implementasi big data dapat dilakukan yaitu

1.      Menetapkan strategi yang digunakan untuk big data

Dibandingkan dengan data-data tradisional yang bisa ditangani dengan cara “ETL” extract transform and load, cara pengolahan big data jauh lebih rumit dari itu. Alasannya karena big data terdiri dari sekumpulan input yang berbeda-beda dan harus diproses sebelum benar-benar bisa diolah.

2.      Mengidentifikasi dari mana sumber big data berasal

Pengumpulan data diantaranya dapat berupa komentar masyarakat di ruang publik, data foto-foto masyarakat dengan keluhannya di media sosial, atau bahkan traffic di laman website dan media sosial

3.      Mengelola data

Untuk bisa me-manage data dengan benar, faktor terpenting yang tidak bisa dilupakan adalah cara menyimpan data tersebut. Pilihannya memang sangat banyak, tapi bagi yang memiliki dana terbatas tentu cloud storage merupakan salah satu solusinya. Bagaimana akses, kelola dan simpan data, apakah menggunakan warehouse database, cloud, data lake atau hadoop

4.      Melakukan analisis data

Software-software olah data tradisional tidak akan mampu mengolah big data yang begitu besar dan kompleks. Pengguna harus bisa membuat pemodelan data menggunakan machine learning dan artificial intelligence sehingga bisa dianalisis dengan baik.

5.      Mengambil keputusan setelah mendapatkan hasil analisis data

Bila data sudah dianalisis, pengguna akan menemukan banyak input, insight, dan penemuan baru yang bisa dimanfaatkan untuk kemajuan institusi.

Manfaat Big Data

Penggunaan Big Data di bidang pemerintahan membuat proses pemerintahan jauh lebih mudah dan efisien. Meski demikian dengan penguasaan big data, artinya pemerintah memiliki kontrol dan kendali yang semakin kuat atas rakyatnya. Salah satu pemanfaatan big data di bidang pemerintahan yang cukup populer saat ini adalah sistem CRVS (Civil Registration and Vital Statistics) yang diperkenalkan WHO sebagai pencatatan sipil yang mencakup data kelahiran, kematian, secara detil termasuk penyebab kematian, dan riwayat pernikahan dan perceraian. Beberapa negara yang menginisiasi CVRS berbasis big data diantaranya adalah Rwanda, Oman, dan Selandia Baru. Adapula WHO dengan sistem Monitoring of Vital Events (MOVE-IT) dan negara-negara afrika dengan iCivil Africa nya.

Melalui Pidato Kenegaraan, Presiden Jokowi juga menuturkan bahwa “data adalah jenis kekayaan baru bagi bangsa kita, dan kini data lebih berharga dari minyak.”. Hal ini kemudian menegaskan kepada kita semua bahwa memiliki data raksasa atau dalam jumlah besar adalah aset berharga. Data yang jumlahnya banyak dan kemudian disebut sebagai big data ini mungkin berisi data-data yang penting dan bercampur dengan data tidak penting. Namun poin terpenting bukan jumlah dan tingkat kepentingan data. Melainkan pada proses pengelolaan data besar tersebut. Jika institusi bisa mengelolanya dengan baik, maka akan mendukung perkembangan institusi tersebut. Begitu juga sebaliknya, jika kurang perhatian atau salah langkah maka data hanyalah berupa daftar data tanpa arti atau makna.

Manfaat/implikasi yang didapat dari penerapan big data diantaranya

1.      Big Data dapat memberikan andil dengan menyajikan berbagai informasi berharga kepada Pemerintah Daerah

2.      Big Data dapat membantu dalam mendapatkan feedback dan respon masyarakat sebagai dasar penyusunan kebijakan Pemerintah Daerah dan perbaikan pelayanan publik

3.      Big Data dapat membantu menemukan solusi atas permasalahan yang ada berdasarkan data yang ada