パソコンのバックアップ方法を紹介します。


menu

パソコンのバックアップ方法まとめ

ファイルサーバのファイル数が多すぎる!定期的にアーカイブとゴミ掃除しよう

 
先日、ファイルサーバを移行しました。
 
ファイル数がほぼ1,000万個、データ容量では5TBになりました。
これだけあると、ファイルコピーだけでも一苦労。 
 
結局、2週間かかりましたよ。


スポンサーリンク

とにかく時間がかかる

 新しいファイルサーバは、かなり高性能なスペック。
 
ファイルサーバにするにはもったいないくらいですが、同時アクセスやメモリキャッシュを考えると、高性能の方が良いと判断しました。
 
 
ストレージはRAID5の12TBとタップリです。
 
HDD自体も旧ファイルサーバよりはるかに速いので、コピーにはそんなに時間がかからないと思ってました。
 
けど実際にコピーしてみると、なかなか進まない。
 

スポンサーリンク

2週間かかった。。。

今回の移行では、ファイルコピーにもRobocopyを使いました。
 
途中でコピーを止めることもあるので、バックアップだけでなく、移行時にも便利なのです。
 
 
ファイルのコピー状況を眺めていると、数MB以上の大きなファイルはそれなりに速い。
インターフェイス上限の速度は出ているようです。
 
ただ、数KB程度の小さなファイルが非常に遅い!
時間がかかったのはこれが原因のようですね。
 
 
移行元のファイルサーバには小さなファイルが大量にあるので、なかなかファイルコピーが終わらず、結局は2週間かかってしまいました。
 

小さいファイルは何をしても遅い

そう言えば、前回のファイルサーバ移行でも1週間かかった記憶があります。

 
ファイル数が倍程度になったので、時間も倍になった、ということなんでしょうか。
 
 
あまりにも遅いので別のコピー方法も試してみました。
 
・普通のエクスプローラでコピーする。
 → 余り変わらない。むしろ、コピー準備処理に時間がかかる。
・フリーソフトのFastCopyを使ってみる。
 → ある程度の固まりでコピー処理をするらしい。
  若干速くなりましたが、大幅アップでは無かったので今回は使いませんでした。
 
数倍の速度を目指しましたが良い方法は見つからず、結局、Robocopyを使うことに。
 
やはり、小さいファイルのコピーには時間がかかるようですね。
 

定期的なアーカイブ&ゴミ掃除

小さいファイルが大量にあると遅い、ということは、1ファイルにまとまっていれば速くなります。
 
 
頻繁には使わないファイルをある程度の固まりで、圧縮しておくのは有効そうです。
 
特にテキストファイルの場合、圧縮率も高いのでより省スペースに。
コピーも一瞬で終わりますし。
 
 
もう一つ有効なのは、いらないファイルを削除すること。
 
必要無くなったファイルをいつまでも残しておくのではなく、ばっさりと削除するのも大事です。
 
ファイルサーバは有限ですので。
 

いつするか?

移行に時間がたっぷり取れるのであれば問題ないですが、すぐ移行したいなど、時間的に厳しい場合は避けた方が無難です。
  
やはり、日々の運用で定期的に作業しておくのが良さそう。
 
 
ファイルサーバは複数人で共有しますので、他の人にもキチンと説明しておく必要がありますね。
 
 
次回のファイルサーバ移行に向けて、定期的な「ファイルアーカイブとゴミ掃除」をやっていきたいと思います。
 

まとめ

ファイルサーバのファイル数が多すぎて、移行時のコピーにとても時間がかかりました。
 
ファイルが増えてしまうのは仕方ないですが、
・小さなファイルが大量にある場合、アーカイブする。
・本当に必要ないファイルは削除する。
が大事だと思いました。
 
ファイルサーバは大事に使いたいものです。
 

スポンサーリンク

コメント

  • トラックバックは利用できません。

  • コメント (0)

  1. この記事へのコメントはありません。

だーしゅ
IT関係のお仕事してます。
バックアップが趣味。

[当ブログについて]

最近のコメント

  • だーしゅ { crowさん、コメントありがとうございます。 最近はセキュリティが厳しいですので、 会社でのフリーソフトは禁止になる傾向のようですね。 確かに、RobocopyはWindows標準なのでありがたいです。 性能や品質面でも安心ですし。 「監視ツール」はかなり厳しそうですね。 セキュアになるのは良いですが、使い勝手が悪く不便な面もありそうです。 どちらを取るか、バランスが難しい。 } – 8月 19, 2:30 AM
  • crow { Robocopyの丁寧な説明、ありがたいです。 私の職場だと、機密情報以外の自分のフォルダ内容は持ち出しOK、残業や休日出勤せず自宅で作業してよし、って環境なんですが、ウィルス対策やら情報漏洩やらいろいろ厳しくて、フリーソフトは使用禁止!ということになっています。となると、MicrosoftのSyncToyも使えません。SyncToyが使えればGUIで分かりやすく簡単にフォルダ内容を同期できるんですがね・・・ こっそり使おうかな?とも思ったのですが、ダメなんですね。社員のPCの画面、起動したアプリケーション、実行した操作等々、PCの挙動が管理者PCからチェックできるソフトが入っていて、例えば使用申告してないアプリケーションを起動しただけで即管理者にアラートが入るんです。で遠隔操作で画面確認されて始末書。同僚がこっそりフリーソフト使って数分後には管理部門から呼び出しでした。 ブリーフケースも廃止されてしまって、Windowsの標準機能だけで同期させるにはRobocopyくらいしかないわけですが、色々と複雑なコマンドなので困っていました。 バッチファイルを作って利用させていただきます。 } – 8月 17, 8:09 AM
  • だーしゅ { カッコ部分も表示されていました。 ご丁寧にありがとうございました。 また、使わせて頂きますね。 } – 4月 25, 4:55 PM
  • { 《補足》 コメント文中に不等号の記号を使ったためか 欠落してしまった部分がありました。 今度はうまく表示できますように。 powershell -command (get-content <ファイル名>)[-15..-1] 《説明》 <ファイル名>以外のところは丸括弧、角括弧の記号を含めてそのまま入力します。 <ファイル名>の部分は変数なので不等号の記号は入力しません。 } – 4月 24, 11:25 PM
  • だーしゅ { > powershell -command (get-content )[-15..-1] > > 《説明》 > これは「ファイルの後ろから数えて 15行目から最終行までを表示せよ」というコマンドです。 なるほど。 確かにサマリー部分は固定行数なので、この方法で表示できますね。 PowerShellはあまり使った事がなかったのですが、いろいろと便利な事ができそうです。 情報ありがとうございました。 } – 4月 24, 4:53 PM
  • いっちゅう { 回答ありがとうございます。 役立つサイトまで探してくださったのですね。 活用させてもらいます。 [1]に関して 「バックアップ先にしかないファイル」というのは長いので 「コピー先のみ」を採用させてもらいます。 [3]に関して 現状でもご所望のことは容易にできると思います(何もインストールの必要はありません)。 コマンドラインでコマンドを打つことになりますが、robocopyコマンド自体がそうなので たぶん苦にならないと思います。UNIXコマンドの tail 見たいなことをします。 コマンドラインで以下のように入力します。 powershell -command (get-content )[-15..-1] 《説明》 これは「ファイルの後ろから数えて 15行目から最終行までを表示せよ」というコマンドです。 Windows PowerShell の機能を利用します。 上記は普段使っているコマンドインタープリターが Windows... } – 4月 24, 8:50 AM