Pergunta sobre java, database – Java - Armazene e carregue matrizes de / para memória para disco

2

Eu tenho um int e float array de comprimento 220 milhões (fixo). Agora, quero armazenar / carregar essas matrizes de / para a memória e o disco. Atualmente, estou usando o FileChannel e MappedByteBuffer do Java NIO para resolver isso. Funciona bem, mas demora cerca de 5 segundos (Tempo de Relógio da Parede) para armazenar / carregar o array de / para a memória para o disco. Na verdade, quero um mais rápido. Alguém pode me ajudar, existe alguma biblioteca java / banco de dados embutido / qualquer outra abordagem para fazer o upload / armazenamento de matrizes muito mais rápido? Eu me importo especialmente com o upload para a memória do disco. Eu quero fazer isso mais rápido. Então, se o tempo de armazenamento aumentar, eu não tenho problema. Desde já, obrigado.

O código que estou usando é dado abaixo (se necessário):

int savenum = 220000000 ;

public void save() {
 try {
    long l = 0 ;
FileChannel channel = new RandomAccessFile(str1, "rw").getChannel();
MappedByteBuffer mbb = channel.map(FileChannel.MapMode.READ_WRITE, 0, savenum * 8);
mbb.order(ByteOrder.nativeOrder());

for(int i = 0 ; i < savenum ; i++){
l = a[i] ;
 mbb.putLong(l);
}
channel.close();

FileChannel channel1 = new RandomAccessFile(str2, "rw").getChannel();
MappedByteBuffer mbb1 = channel1.map(FileChannel.MapMode.READ_WRITE, 0, savenum * 4);
mbb1.order(ByteOrder.nativeOrder());

for(int i = 0 ; i < savenum ; i++){
 int ll = b[i] ;
 mbb1.putInt(ll);
 }
 channel1.close();
 }
  catch (Exception e){
    System.out.println("IOException : " + e);
  }
 }

 public void load(){
 try{
 FileChannel channel2 = new RandomAccessFile(str1, "r").getChannel();
  MappedByteBuffer mbb2 = channel2.map(FileChannel.MapMode.READ_ONLY, 0, channel2.size());
 mbb2.order(ByteOrder.nativeOrder());
  assert mbb2.remaining() == savenum * 8;
 for (int i = 0; i < savenum; i++) {
 long l = mbb2.getLong();
 a[i] = l ;
 }
 channel2.close();

  FileChannel channel3 = new RandomAccessFile(str2, "r").getChannel();
   MappedByteBuffer mbb3 = channel3.map(FileChannel.MapMode.READ_ONLY, 0, channel3.size());
   mbb3.order(ByteOrder.nativeOrder());
   assert mbb3.remaining() == savenum * 4;
    for (int i = 0; i < savenum; i++) {
    int l1 = mbb3.getInt();
    b[i] = l1 ;
    }
    channel3.close();
    }

    catch(Exception e){
    System.out.println(e) ;
      }
    }
@Arpssss, prime o cache do sistema de arquivos, adote o buffer readahead. Pré-leia os dados antes do início do seu programa. Desculpe, não há muita coisa que você possa fazer no nível java. J-16 SDiZ
@davidfrancis, obrigado. Na verdade, estou executando em uma máquina de servidor que não posso atualizar. Eu só posso instalar algum software ou executar meu código. Arpssss
Para 440 milhões de itens, 5 segundos soam muito bem. Hunter McMillen
@HunterMcMillen, eu quero mais rápido :). Arpssss

Sua resposta

1   a resposta
3

poderá alterar seu código para não fazer a cópia. isto é, use o ByteBuffer ou IntBuffer ou LongBuffer. Isso tem o benefício de salvar uma cópia em um heap do que você já está fora do heap, mas também carrega apenas quando você a utiliza. ou seja, seu processamento pode ser concorrente com o carregamento.

Usar essa abordagem deve reduzir seu tempo inicial de "carregamento" para cerca de 10 ms, e não há tempo para "salvar", porque ele já estará disponível para o sistema operacional.

Perguntas relacionadas