ファイルサーバのファイル数が多すぎる！定期的にアーカイブとゴミ掃除しよう

 

先日、ファイルサーバを移行しました。

 

ファイル数がほぼ1,000万個、データ容量では5TBになりました。

これだけあると、ファイルコピーだけでも一苦労。 

 

結局、2週間かかりましたよ。

 新しいファイルサーバは、かなり高性能なスペック。

 

ファイルサーバにするにはもったいないくらいですが、同時アクセスやメモリキャッシュを考えると、高性能の方が良いと判断しました。

 

 

ストレージはRAID5の12TBとタップリです。

 

HDD自体も旧ファイルサーバよりはるかに速いので、コピーにはそんなに時間がかからないと思ってました。

 

けど実際にコピーしてみると、なかなか進まない。

 

今回の移行では、ファイルコピーにもRobocopyを使いました。

 

途中でコピーを止めることもあるので、バックアップだけでなく、移行時にも便利なのです。

 

ファイルのコピー状況を眺めていると、数MB以上の大きなファイルはそれなりに速い。

インターフェイス上限の速度は出ているようです。

 

ただ、数KB程度の小さなファイルが非常に遅い！

時間がかかったのはこれが原因のようですね。

 

移行元のファイルサーバには小さなファイルが大量にあるので、なかなかファイルコピーが終わらず、結局は2週間かかってしまいました。

 

そう言えば、前回のファイルサーバ移行でも1週間かかった記憶があります。

あまりにも遅いので別のコピー方法も試してみました。

 

・普通のエクスプローラでコピーする。

　→ 余り変わらない。むしろ、コピー準備処理に時間がかかる。

・フリーソフトのFastCopyを使ってみる。

　→ ある程度の固まりでコピー処理をするらしい。

　　若干速くなりましたが、大幅アップでは無かったので今回は使いませんでした。

 

数倍の速度を目指しましたが良い方法は見つからず、結局、Robocopyを使うことに。

 

やはり、小さいファイルのコピーには時間がかかるようですね。

 

小さいファイルが大量にあると遅い、ということは、1ファイルにまとまっていれば速くなります。

 

頻繁には使わないファイルをある程度の固まりで、圧縮しておくのは有効そうです。

 

特にテキストファイルの場合、圧縮率も高いのでより省スペースに。

コピーも一瞬で終わりますし。

 

もう一つ有効なのは、いらないファイルを削除すること。

 

必要無くなったファイルをいつまでも残しておくのではなく、ばっさりと削除するのも大事です。

 

ファイルサーバは有限ですので。

 

移行に時間がたっぷり取れるのであれば問題ないですが、すぐ移行したいなど、時間的に厳しい場合は避けた方が無難です。やはり、日々の運用で定期的に作業しておくのが良さそう。

 

ファイルサーバは複数人で共有しますので、他の人にもキチンと説明しておく必要がありますね。

 

次回のファイルサーバ移行に向けて、定期的な「ファイルアーカイブとゴミ掃除」をやっていきたいと思います。

 

ファイルサーバのファイル数が多すぎて、移行時のコピーにとても時間がかかりました。

 

ファイルが増えてしまうのは仕方ないですが、

・小さなファイルが大量にある場合、アーカイブする。

・本当に必要ないファイルは削除する。

が大事だと思いました。

 

ファイルサーバは大事に使いたいものです。