Qual è il modo migliore per gestire grandi file compressi tramite FTP?

Question

Qual è il modo migliore per gestire grandi file compressi tramite FTP?

#1 da (1 voti)

0

Nella mia applicazione, ricevo i file di informazioni sul prodotto da un server FTP. Sono file di testo che sono stati compressi con ZIP.

All'inizio pensavo che il file sul server non fosse compresso, quindi il testo sul Web funzionava, ma i file non compressi sono ~ 900 MB, il che lo rende lento e inefficiente causando eccezioni di memoria esaurita.

Come devo gestire questo tipo di problema? Devo scaricare i file compressi, decomprimere e processarli localmente, quindi ricaricarli? O c'è un altro modo più efficace per farlo?

compression ftp

posta karthi 08.12.2011 - 06:00

fonte

1 risposta

Leggi altre domande sui tag compression ftp

reverse engineering js / html controls come parte dello sviluppo Quale di queste implementazioni è più appropriata per il mio REST API?

score 1 · Answer 1

Suppongo che tu voglia farlo a livello di programmazione.

Non è necessario prima decomprimere. Ad esempio, in Java, puoi leggere direttamente i file in un archivio zip, usando java.util.zip.ZipFile :

ZipFile zipfile = new ZipFile(filename);
Enumeration e = zipfile.entries();
while(e.hasMoreElements()) {
    entry = (ZipEntry) e.nextElement();
    is = zipfile.getInputStream(entry));
    // now read from is and write to ftp outputstream 
}

Così facendo eviti l'overhead della decompressione, che potrebbe salvarti da un errore di memoria insufficiente.