Вопрос по database, java – Java - хранение и загрузка массивов в / из памяти на диск

2

У меня есть массив int и float длиной 220 миллионов (исправлено). Теперь я хочу сохранить / загрузить эти массивы в / из памяти и диска. В настоящее время я использую JavaC NIO FileChannel и MappedByteBuffer для решения этой проблемы. Он отлично работает, но занимает около 5 секунд (время настенных часов) для сохранения / загрузки массива в / из памяти на диск. На самом деле, я хочу более быстрый. Кто-нибудь может мне помочь, есть ли встроенная Java-библиотека / база данных / любой другой подход, чтобы сделать загрузку / хранение массивов намного быстрее? Я особенно забочусь о загрузке в память с диска. Я хочу сделать это быстрее. Так что, если время хранения увеличится, у меня нет проблем. Заранее спасибо.

Код, который я использую, приведен ниже (если требуется):

int savenum = 220000000 ;

public void save() {
 try {
    long l = 0 ;
FileChannel channel = new RandomAccessFile(str1, "rw").getChannel();
MappedByteBuffer mbb = channel.map(FileChannel.MapMode.READ_WRITE, 0, savenum * 8);
mbb.order(ByteOrder.nativeOrder());

for(int i = 0 ; i < savenum ; i++){
l = a[i] ;
 mbb.putLong(l);
}
channel.close();

FileChannel channel1 = new RandomAccessFile(str2, "rw").getChannel();
MappedByteBuffer mbb1 = channel1.map(FileChannel.MapMode.READ_WRITE, 0, savenum * 4);
mbb1.order(ByteOrder.nativeOrder());

for(int i = 0 ; i < savenum ; i++){
 int ll = b[i] ;
 mbb1.putInt(ll);
 }
 channel1.close();
 }
  catch (Exception e){
    System.out.println("IOException : " + e);
  }
 }

 public void load(){
 try{
 FileChannel channel2 = new RandomAccessFile(str1, "r").getChannel();
  MappedByteBuffer mbb2 = channel2.map(FileChannel.MapMode.READ_ONLY, 0, channel2.size());
 mbb2.order(ByteOrder.nativeOrder());
  assert mbb2.remaining() == savenum * 8;
 for (int i = 0; i < savenum; i++) {
 long l = mbb2.getLong();
 a[i] = l ;
 }
 channel2.close();

  FileChannel channel3 = new RandomAccessFile(str2, "r").getChannel();
   MappedByteBuffer mbb3 = channel3.map(FileChannel.MapMode.READ_ONLY, 0, channel3.size());
   mbb3.order(ByteOrder.nativeOrder());
   assert mbb3.remaining() == savenum * 4;
    for (int i = 0; i < savenum; i++) {
    int l1 = mbb3.getInt();
    b[i] = l1 ;
    }
    channel3.close();
    }

    catch(Exception e){
    System.out.println(e) ;
      }
    }
@HunterMcMillen, я хочу еще быстрее :). Arpssss
Для 440 миллионов предметов 5 секунд звучат довольно неплохо. Hunter McMillen
@ davidfrancis, спасибо. На самом деле, я запускаю его на серверном компьютере, который я не могу обновить. Я могу только установить некоторое программное обеспечение или запустить свой код. Arpssss
Насколько большой файл попадает на диск? Я склонен согласиться с Хантером - время звучит довольно хорошо для меня. Очевидно, что вы могли бы обновить свой компьютер (например, с RAID), чтобы улучшить производительность диска? Не уверен, что SSD помогает с записью? davidfrancis
Сказав, что если вы после чтения производительности, SSD может помочь там davidfrancis

Ваш Ответ

1   ответ
3

вы можете изменить свой код, чтобы вообще не делать копию. то есть используйте ByteBuffer, или IntBuffer, или LongBuffer. Преимущество заключается в том, что вы сохраняете копию в кучу того, что у вас уже есть, но вы загружаете ее только по мере использования. т. е. ваша обработка может выполняться одновременно с загрузкой.

Использование этого подхода должно сократить вашу первоначальную «нагрузку» время около 10 мсек, и «сохранения» не существует время, потому что оно уже будет доступно для ОС.

Похожие вопросы