caranya udah bener kayak yang dikasih tau sama dosen agan, baca+proses nya per-line.
teorinya begini, ada salah 2 approach yang bisa dipake,
approach 1
Quote:
- baca file besar per line, simpan ke string / byte array
- simpan string / byte array ke list / array lain
- jika selesai baca file maka proses list data di atas
hal ini akan menyebabkan data disimpan di memory sebesar file yang diproses
approach 2
Quote:
- baca file besar per line, simpan ke string / byte array
- proses string / byte array
- selagi masih ada line, ulangi proses baca + proses
maka nilai maksimum yang akan ada di memory adalah sebanyak 1 line data, dan nggak akan menyebabkan OutOfMemoryError
cmiiw.
contoh code approach 1, misal:
PHP Code:
public static void testRead1(String file) throws Exception {
BufferedReader reader = null;
try {
reader = new BufferedReader(new FileReader(file));
String line = null;
int lineCount = 0;
List<String[]> datas = new ArrayList<String[]>();
long start = System.currentTimeMillis();
while((line = reader.readLine()) != null) {
String[] data = line.split(",");
datas.add(data);
lineCount++;
}
long end = System.currentTimeMillis();
System.out.println("ELAPSED TIME: " + (end-start) + " ms");
} finally {
if(reader != null) {
try {
reader.close();
} catch(IOException ignore) {}
}
}
}
hasilnya kalau dijalanin:
![[Ask] tentang j2ee dan handling data](https://s.kaskus.id/_.gif)
perhatiin memory langsung naek, dan kalau sudah selesai:
perhatiin bedanya dengan approach 2:
PHP Code:
public static void testRead2(String file) throws Exception {
BufferedReader reader = null;
try {
reader = new BufferedReader(new FileReader(file));
String line = null;
int lineCount = 0;
long start = System.currentTimeMillis();
while((line = reader.readLine()) != null) {
String[] data = line.split(",");
System.out.println("Data ["+(lineCount+1)+"]:");
System.out.println("* name: " + data[0]);
System.out.println("* age: " + data[1]);
lineCount++;
}
long end = System.currentTimeMillis();
System.out.println("ELAPSED TIME: " + (end-start) + " ms");
} finally {
if(reader != null) {
try {
reader.close();
} catch(IOException ignore) {}
}
}
}
penggunaan memory relatif datar
![[Ask] tentang j2ee dan handling data](https://s.kaskus.id/images/2014/02/26/872875_20140226101624.png)
![[Ask] tentang j2ee dan handling data](https://s.kaskus.id/images/2014/02/26/872875_20140226101711.png)
![[Ask] tentang j2ee dan handling data](https://s.kaskus.id/images/2014/02/26/872875_20140226101758.png)