Tantangan Terbesar Big Data: Proses Persiapan Data

Sebuah artikel dari ZDNet, membahas mengenai tantangan yang dihadapi Big Data.
Poin dari artikel ini adalah tantangan bagaimana mengawinkan data yang sudah terstruktur dengan data yang (belom) tidak memiliki struktur (dari sumber eksternal).

Yang menarik dari artikel ini adalah ditemukannya fakta berikut:

According to a study by data integration specialist Xplenty, a third of business intelligence professionals spend 50% to 90% of their time cleaning up raw data and preparing to input it into the company’s data platforms. That probably has a lot to do with why only 28% of companies think they are generating strategic value from their data.

Luar biasa, 50 – 90% waktu dihabiskan untuk data cleansing!
Bagaimana dengan data IoT yang jauh lebih “heterogen” ?

hard

Namun, terlepas dari tantangan besar yang harus dihadapi. 3 fakta berikut mungkin dapat memberi angin segar, terutama untuk implementasi IoT:

  1. Software analitik big data makin hari makin baik
    Makin banyaknya perusahaan yang masuk ke dunia big data dalam 5 tahun belakangan ini, cukup menyakinkan. Diharapkan akan terus ada peningkatan dari sisi kualitas software yang berkaitan dengan pengolahan big data.
  2. Para pengolah data telah menjadi “paralegal” bagi data science
    Seperti halnya paralegal membantu para pengacara dalam ha mempersiapkan pekerjaan – pekerjaan yang mungkin sepele namun cukup penting, para pengolah data ini juga telah banyak membantu, mereka menjadi seperti paralegal bagi para data scientist. Pengolah data ini dapat mengambil alih beberapa pekerjaan data scientist dan karenanya mengurangi beban dari data scientist itu sendiri.
  3. AI (Artificial Intelligence) akan sangat membantu proses data cleansing
    Software dengan algoritma tingkat lanjutan akan sangat membantu proses pembersihan, penyortiran dan pengkategorian data; Microsoft, IBM dan Amazon adalah contoh yang baik untik ini, mereka sudah ber-investasi begitu besar dalam pengembangan software untuk mengerjakan pekerjaan yang tidak mampu dikerjakan oleh manusia.

 
Sumber: Big data’s biggest problem: It’s too hard to get the data in

 

Leave a Reply

Your email address will not be published. Required fields are marked *