Affidabilità Hard Disk e Linux

[PPoli]

Per fortuna che ho tutti i computer in dual boot.
Giusto per aggiungere altre motivazioni ll'impiego di Linux.

Mi ero già accorto che Win 7 se la tira un poco quando gli butto su degli HD removibili.
Ma partiamo con ordine...
non essendomi mai deciso per un bel NAS domestico, anche perchè il modello che mi interesserebbe (Qnap 419p+ con quattro bei dischetti certificati per RAID) supera equipaggiato il migliaio di euro, e neanche di pochissimo....ho continuato a giochicchiare con un paio i HD USB della Western Digital. Quei mattoncini neri da 2,5" abbastanza economici (quando in offerta). Ci ho messo sopra molti dischi, ben organnizzati per cartelle, i file scaricati (regolarmente) dal sito della Society of Sound (B&W) a cui sono abbonato, ma anche molti film che riesco così a tirarmi dietro quando vado in giro in camper. Tutto molto comodo.

Peccato che passando da un PC con winXP a uno con Win7 a uno con Linux, ogni tanto Win7 si arrabbiava. Se facevo su altre macchine molte modifiche alla FAT (ad esempio spostando o rinominando intere cartelle) eseguiva un bel test di integrità ogni volta che lo ricollegavo. Collegamenti e scollegamenti sepre con la regolare procedura software ovviamente.

Perchè parlo al passato (all'imperfetto in realtà)? Perche questa mattina win 7 di uno dei due dischi mi ha detto: "impossibile riconoscere il disco o la directry". E da quel momento nemmeno WinXP. Nemmeno il nome del disco o la capacità. Come se fosse una unità da formattare.

Backup sull'audio-video ovviamente ne ho solo parziali e spesso non aggiornati.

E allora, invece che disperarmi, ho prima provato a infilare l'HD in un macchina Linux e...... letto senza problemi. Siccome in questi casi si fanno delle scemenze, invece che preoccuparmi dei dati ho spento il computer e ho riprovato con un altro (sempre Linux). Nessun problema. In questo momento sto copiando 1TB di roba su un disco di salvataggio.

Poi ovviamente mi preoccuperò dei tipi di formattazione (penso che siano FAT) e di mettere viaq qualche soldino per un buon NAS.

[UnixMan]

In questo momento sto copiando 1TB di roba su un disco di salvataggio.

DOPO cha hai finito di salvare tutti i dati, prova a fare un fsck da Linux:

# fsck.vfat -vVrw /dev/<...>

(ovviamente devi essere "root" oppure usare sudo).

Poi ovviamente mi preoccuperò dei tipi di formattazione (penso che siano FAT)

volumi da 1TB in FAT? non è il massimo...

e di mettere via qualche soldino per un buon NAS.

Se in giro per casa hai un PC fisso cui attaccare un po' di HDD, puoi anche risparmiarti il NAS: il RAID lo fai con Linux.

[PPoli]

In questo momento sto copiando 1TB di roba su un disco di salvataggio.

DOPO cha hai finito di salvare tutti i dati, prova a fare un fsck da Linux:

# fsck.vfat -vVrw /dev/<...>

volumi da 1TB in FAT? non è il massimo...

Infatti. Ho sempre usato i due dischetti senza nemmeno guardarci. Il sospetto me lo ha messo un amico questa mattina mentre gliene ho parlato. Lui ha detto che quando li compra li riformatta subito NTFS o Ext3. Grazie per il suggerimento, ma penso che se sono realmente Fat32 li riformatto anche io.

Se in giro per casa hai un PC fisso cui attaccare un po' di HDD, puoi anche risparmiarti il NAS: il RAID lo fai con Linux.

Ne avevamo già parlato, avevo anche tenuto un vecchio PC per installarci FreeNAS o qualcosa di equivalente. ma poi ho abbandonato l'idea per una serie di ragioni.
Principalmente:
- Consumi. Un buon NAS consuma 17-20W contro oltre 100 di un vecchio PC
- Raid. Quelli software non mi entusiasmano. Quelli hardware sui vecchi PC non sono implementati. O solo in modo rudimentale. E questo mi obbliga a fare i back-up dell'audio-video, mentre se prendo 4 buoni dischi specifici per RAID (MTBF molto più lunghi e gestione degli errori che non impalla il NAS) da 2TB ci tiro fuori 6GB affdabili. Il NAS che ho visto supporta l'HotSwap e mi sembra consenta anche incrementi automatici della capacità nella sostituzione dei dischi.

[PPoli]

Un'altra limitazione ddell'utilizzo di un vecchio PC come NAS è la vlocità garantita sul traffico di rete.

Macchine di qualche anno fa (altrimenti non avrebbe senso rottamarle) hanno geramente una scheda di rete a 100Mbit.
Da prove effettuate è sufficiente per garantire uno streaming regolare con tracce audio 16Bit-44.1kHz, e, stranamente, anche con i file video DVD. Sempre che la rete non sia contemporaneamente utilizzata per un sacco di altre cose.
Ma con audio in ala risoluzione, anche solo 24-96, non ce la fa.

Certo, si può sempre installare una schedina di rete da 1Gbit, ma a parte che sono comunque altri soldi (pochi a dire il vero) destinati al progetto, il collo di bottiglia in quel caso sarebbe nel bus di sistema. Mi sembra di ricordare che oltre 300mBit non si riesca ad andare.

[PPoli]

"A chi nasce disgraziato tutti i cani gli pisciano addosso" diceva un vecchio proverbio polare.

Stamattina. Dopo una dozzina di ore di copia dal vecchio HD danneggiato la signora che viene a fare le pulizie ha pensato bene di dare una bella spolverata alla tastiera (con due filemanager aperti)....è sucesso di tutto. Ho trovato finestre aperte che non avevo mai visto. E per finire, siccome non le piace proprio spegnere l'aspirapolvere, ma preferisce tirare la spina con il motore acceso, è riuscita anche a fare saltare la corrente.

Siccome non ho la voglia di mettermi li a controllare se ho salvato tutto (un primo controllo sulle dimensioni non è stato confortante), ho deciso per un tentativo di rianimazione.

Ho usato TestDisk (mi ha già tolto d'impaccio varie volte anche con casi disperati) sotto Linux (ma esiste anche per win, e addirittura una versione bootable.

Con quello ho recuperato la partizione. In realtà era una NTFS, ma windows non la riconosceva come tale. Poi un bel chkdsk /f sotto win e il disco è tornato come nuovo.

A questo punto però urge sia mettere in cantiere la soluzione NAS, sia un programma di archiviazione dei dischi. Per sapere cosa ho. Magari da allargare in futuro ad una versione "enterprise" in cui tra amici riusciamo a sapere cosa ha chi.

[UnixMan]

io uso banalmente questo scriptino:

makelist.sh

Codice: Seleziona tutto

#!/bin/sh
find . -type d -not -name extras \
  | sort \
  | tee list.txt \
  | a2ps -MA4 --columns=1 --landscape --font-size=8 -o list.ps

che mi genera un file di testo con la lista di tutte le directories (ed un corrispondente file postscript formattato bellino per una eventuale stampa). Dato come è strutturata la mia collezione, quello che ottengo è grosso modo la lista ordinata degli album.

Se hai più di un albero (e.g., dischi diversi) e ad es. vuoi la lista completa senza duplicati, non hai che da fare il merge:

Codice: Seleziona tutto

cat list1.txt list2.txt | sort -u > lista_completa.txt

se viceversa vuoi fare un confronto (vedere cosa c'è da una parte e NON nell'altra), usi banalmente "diff" (o colordiff).

È un po' rozzo, ma efficacie. Ed estremamente versatile.

P.S.: nota bene che quello nello script in realtà è un unico comando (pipeline) che potresti dare anche direttamente dalla command line:

Codice: Seleziona tutto

find . -type d -not -name extras | sort | tee list.txt | a2ps -MA4 --columns=1 --landscape --font-size=8 -o list.ps 

[UnixMan]

Ne avevamo già parlato, avevo anche tenuto un vecchio PC per installarci FreeNAS o qualcosa di equivalente. ma poi ho abbandonato l'idea per una serie di ragioni.

si, ricordo quella discussione. Ma in questo caso non pensavo a quello: l'idea era di far fare da NAS ad uno degli "utilizzatori" dei dischi stessi (non c'è alcun motivo per cui il NAS debba essere su un sistema dedicato, che fa solo quello: può essere un desktop o al limite anche lo stesso "media center").

- Consumi. Un buon NAS consuma 17-20W contro oltre 100 di un vecchio PC

si, casomai conviene utilizzare un sistema moderno a basso consumo basato su CPU Atom o ARM con sopra un sistemino Linux. Che poi è esattamente quello che c'è "dentro" i comuni NAS per uso domestico/SoHo (ed anche molti storage system per datacenter).

BTW, pensi di lasciare lo storage acceso 24/7?

- Raid. Quelli software non mi entusiasmano.

e perché mai? Non so' le soluzioni per windoze, ma il RAID gestito dal kernel Linux è comodo e funziona benissimo. E con l'avvento del bus SATA, anche l'hot-swap dei dischi non è più un problema (basta assicurarsi che il controller supporti tale funzione).

Quelli hardware sui vecchi PC non sono implementati.

guarda che tutti i cosiddetti "controller RAID" integrati nelle motherboard (ed anche la quasi totalità di quelli nelle schede aggiuntive) NON sono affatto controller RAID hardware ma, nel migliore dei casi, sono solo "hardware-assisted". Che fanno comunque tutto o quasi in software (nel "driver").

I veri controller RAID "hardware" ormai si trovano solo tra i prodotti "pro" per uso data-center, per lo più integrati in sistemi di storage di fascia alta (e.g. Nexsan, Infortrend, ecc).

E questo mi obbliga a fare i back-up dell'audio-video,

attenzione che il RAID non ti mette al riparo da tutto, ad es. dal classico errore umano o da problemi logici (corruzioni accidentali) del file system.

Magari non è questo il caso, ma se i dati sono vitali e/o non riproducibili, almeno un backup "off-line" (meglio più di uno, e preferibilmente su media "ROM") serve comunque. E va' conservato in luogo sicuro e diverso da dove tieni lo storage "on-line" (per proteggerlo da eventi catastrofici quali incendi, ecc).

[PPoli]

- Avevo pensato di far fare lo storage al media center, ma ho preso un case piccolino per potermelo tirare dietro (ad esempio in camper) e quindi i dischi non ci stanno
- Il televisore che ho preso vede molti formati su risorse di rete e li riproduce da solo. Anche in questo caso un NAS di quelli che ho visto tornerebbe comodo:
http://www.qnap.com/pro_detail_feature.asp?p_id=183
- Penserei di lasciarlo acceso 24 ore su 24. Perlomeno in standby. Il modello che ti ho indicato supporta il WakeOnLan. Anche perchè l'idea è di piazzarlo sulla dmz e avere gli archivi sempre disponibili tramite internet. Non solo audio a quel punto. Anche cose di lavoro, ad esempio le copie dei documenti dei clienti....
- Contiene un server web, e ci poi montre una serie di servizi molto comodi. Supporta ad esempio due telecamere IP per videosorveglianza. Ci puoi instalare MySQL. Addirittura puoi farci i download da Rapidshare. Insomma, fa tutto quello che fa un PC consumando di meno.
Puoi fare un upgrade del livello raid (es da 1 a 5, oppure da 5 con tre dischi a 5 con quattro dischi. Il pulsante per il backup automatico delle risorse di rete o delle schedine che ci infili

Costa forse qualcosina in più (mica poi tanto, si porta a casa con 450 euro, ma i modelli meno potenti anche con 300), ma considera che hai già un bel case con gli slot per l'hot-swap, tutte le spie per il funzionamento (o il malfunzionameto) dei dischi.

[UnixMan]

Bell'oggettino... e sicuramente molto comodo.

Se avesse anche il firmware customizzabile sarebbe perfetto!

[EF80]

Il tuo problema + grosso si chiama FAT32, il peggior filesystem del mondo, con una struttura talmente banale che se fosse solo un pelo piu' semplice non funzionerebbe nemmeno, aggiungi che i sistemi windows non eseguono controllo di coerenza al mount e che XP (sopratutto) a volte in maniera casuale non termina nemmeno correttamente il flush della cache di sistema, il risultato e' che la gente con dischi usb e fat32 perde dati in continuazione. NTFS e' un po' meglio ma la cosa + problematica e' il comportamento dei sistemi windows con i dischi removibili in genere, se non flusshi bene e non fai test di coerenza prima di scriverci sopra i problemi bene o male non li risolverai mai del tutto.

Al momento il filesystem + affidabile in assoluto e' EXT4 usabile solo da Linux, ma anche XFS e' il suo gran perche' usa driver multithread con bilanciamento della banda passante, quindi puoi spostare N file tutti ad una velocita' costante e omogenea che e' la velocita' del disco divisa epr i thread aperti. La velocita' di trasferimento generale tende ad essere sempre la piu' alta di tutti ai benchmark e il filesystem viene esaminato e autocorretto ad ogni mount, l'unico punto a sfavore e che a lungo andare puo' frammentare un pochino, mentre ad esempio EXT4 ha la deframmentazione online, cioe' mentre scrivi deframmenta porzioni di disco per far posto a cio' che sta scrivendo. Ma queste cose le godi solo con Linux, con windows devi imparare a convivere con questi problemi.