Tag Archives: Java

Migrasi Data dengan Talend Open Studio

Ketika sebuah instansi memutuskan untuk hijrah dari menggunakan sebuah sistem yang lama ke sistem yang baru, hal yang tak kalah pentingnya ikut menjadi perhatian adalah bagaimana memindahkan data yang ada di sistem lama ke sistem baru tersebut. Akan tetapi hal itu tidak akan menjadi persoalan jika data di sistem yang lama memang benar-benar ingin di-cut off dan benar-benar memulai dari awal di sistem yang baru.

Memindahkan data dari sistem yang lama ke sistem yang baru bukanlah hal yang semudah memindahkan file dari satu perangkat ke perangkat yang lain. Utamanya karena struktur basis data yang digunakan di sistem baru sudah pasti berbeda dari sistem yang lama. Kalau tidak, ya tidak bisa disebut sistem baru juga. Cuma ganti wajah saja tapi dalaman tetap sama, hehehe.

Setidaknya diperlukan effort untuk memetakan kolom-kolom pada basis data di sistem lama dengan yang di sistem baru. Belum lagi jika ada attribut data seperti tipe data, format, jumlah digit atau karakter, nilai default, dsb yang berubah di sistem yang baru, sehingga memerlukan penanganan khusus, atau yang biasa disebut dengan data cleansing.

Untuk menyelesaikan persoalan tersebut ternyata ada satu kakas (tool) yang menurut saya sangat membantu. Dan yang tak kalah pentingnya, gratis! Hehehe.

Talend namanya. Talend sendiri memiliki beberapa produk. Produk yang saya gunakan untuk mengerjakan kasus tadi adalah Talend Open Studio For Big Data. Kebetulan bisa dibilang ini Continue reading

Advertisements

Menggunakan Stanford NER dengan Spring MVC

Pada tulisan kali ini saya ingin berbagi mengenai bagaimana membuat aplikasi sederhana memanfaatkan Stanford NER dengan framework Spring MVC (versi 3). Oke, pertama-tama apa itu Stanford NER? Sederhananya, NER, sebagaimana kepanjangannya Name Entity Recognizer, berguna untuk melabeli kata-kata dalam suatu teks menurut entitasnya, antara lain seperti nama orang, organisasi, atau lokasi. Sedangkan yang disebut dengan Stanford NER itu sendiri adalah implementasi NER dalam Java yang dibuat oleh The Stanford Natural Language Processing Group.

Di tulisan ini saya tidak membahas mengenai bagaimana implementasi NER tersebut dilakukan atau model yang mana yang digunakan dalam Stanford NER itu. Semua pembahasan mengenai itu sudah tersedia di webnya → http://nlp.stanford.edu/software/CRF-NER.shtml. Bahkan ada pranala juga menuju paper terkait dengan model yang digunakan. Di web tersebut juga, tepatnya di bagian menu Download, kita bisa mengunduh file JAR Stanford NER yang akan digunakan.

Masih belum beranjak dari situs Stanford NER itu, di sana kita juga bisa mencoba secara live Stanford NER itu melalui pranala berikut → http://nlp.stanford.edu:8080/ner/process. Di form aplikasi Stanford NER tersebut kita bisa memilih classifier yang akan kita gunakan, kemudian memasukkan input berupa teks. Dalam contoh saya, saya menggunakan sebuah kalimat yang saya kutip dari artikel situs BBC. Dari input kalimat yang saya berikan, saya mendapatkan output 4 labeled words (baik berupa kata tunggal ataupun majemuk) dengan entitasnya masing-masing.

Contoh input & output pada Stanford NER

Contoh input & output pada Stanford NER

Dari contoh di atas setidaknya terlihat dengan jelaslah ya apa sih kegunaan NER ini, terutama bagi rekan-rekan yang mungkin baru mendengar apa itu NER. NER ini akan sangat berguna untuk aplikasi-aplikasi yang menyediakan fitur auto-tagging. Yah … semacam fitur recommendation tag-nya Wordpress lah.

Nah, selanjutnya adalah bagaimana cara memanfaatkan Stanford NER ini untuk Continue reading