[Ask] tentang j2ee dan handling data

ga ada yg bales

kalo gw dulu....
bikin 1 function yang side effect free. trus bikin 1 worker buat ngisi 1 syncronize queue yang tugasnya baca line. trus bikin worker lagi 1-4 untuk baca dari queue dan execute function itu. karena ga da side effect, tinggal collect resultnya ke queue/list dan stream itu keluar...

ribet emang. tapi cepet.


kalo mau yang lama..lebih gampang. read 1 line pake stream, trus lo ETL trus stream kefile n loop aja terus. udah kelar...

brb gan...... ane cobain dulu......



thx anyway

gw baca berulang2 kok engga ngerti yah pertanyaannya apa
sebenernya ini outofmemory karena baca file log atau gimana?
kalo buat baca file doang, harusnya ga sulit
kamu baca 1 row, proses lalu flush, pindah ke row selanjutnya
kemaren gw pakek Talend ETL buat proses file yg contentnya 1juta row lancar2 aja
atau kalo ribet, 1file besar kamu pecah jadi file kecil2 baru diproses setelah itu

jadi gini gan..
ane mau extract data..dari sumber log..
nah sumber lognya itu terdiri dari banyak file gan, nyampe bergiga2,
ane bingung, kl ribuan file log itu di extract, letop ane ga kuat, jdnya nghang gan......

tapi kl file log nya ane pecah2 nantinya tktnya beda2 gan waktunya.

kata dosen sih, tinggal baca per-line nya ajah.
tp ane bingung gmn cara baca per-line biasa......
ane selama ini masih dimasukin ke memory letop gan, jdnya lama......

agan tau cara ngebaca file besar, tapi proses bacanya bisa cepet?

maap gan, kl ngebingungin.

tinggal extract dan baca aja...gw baca file bergiga2 ga masalah koq. gw baca file 2 juta line n simple ETL cuma makan waktu 6 detik kalo non thread...

kalo ga kuat karena apapun, coba java NIO pake buffer instead of stream...tapi harusnya ga masalah lah manapun. mana coba codingnya sini --_--

stream / buffer harusnya asal di flush setelah process mah ga ada limitnya...

caranya udah bener kayak yang dikasih tau sama dosen agan, baca+proses nya per-line.

teorinya begini, ada salah 2 approach yang bisa dipake,
approach 1

hal ini akan menyebabkan data disimpan di memory sebesar file yang diproses

approach 2

maka nilai maksimum yang akan ada di memory adalah sebanyak 1 line data, dan nggak akan menyebabkan OutOfMemoryError

cmiiw.

contoh code approach 1, misal:
public static void testRead1(String file) throws Exception {
        BufferedReader reader = null;
        try {
            reader = new BufferedReader(new FileReader(file));
            String line = null;
            int lineCount = 0;
            List<String[]> datas = new ArrayList<String[]>();
            long start = System.currentTimeMillis();
            while((line = reader.readLine()) != null) {
                String[] data = line.split(",");
                datas.add(data);
                lineCount++;
            }
            long end = System.currentTimeMillis();
            System.out.println("ELAPSED TIME: " + (end-start) + " ms");
        } finally {
            if(reader != null) {
                try {
                    reader.close();
                } catch(IOException ignore) {}
            }
        }
    } 

hasilnya kalau dijalanin:

perhatiin memory langsung naek, dan kalau sudah selesai:


perhatiin bedanya dengan approach 2:
public static void testRead2(String file) throws Exception {
        BufferedReader reader = null;
        try {
            reader = new BufferedReader(new FileReader(file));
            String line = null;
            int lineCount = 0;
            long start = System.currentTimeMillis();
            while((line = reader.readLine()) != null) {
                String[] data = line.split(",");
                System.out.println("Data ["+(lineCount+1)+"]:");
                System.out.println("* name: " + data[0]);
                System.out.println("* age: " + data[1]);                
                lineCount++;
            }
            long end = System.currentTimeMillis();
            System.out.println("ELAPSED TIME: " + (end-start) + " ms");
        } finally {
            if(reader != null) {
                try {
                    reader.close();
                } catch(IOException ignore) {}
            }
        }
    } 




penggunaan memory relatif datar