パソコンのバックアップ方法を紹介します。


menu

パソコンのバックアップ方法まとめ [あまおとろぐ]

ファイルサーバのファイル数が多すぎる!定期的にアーカイブとゴミ掃除しよう

  • このエントリーをはてなブックマークに追加
20151203
 
先日、ファイルサーバを移行しました。
 
ファイル数がほぼ1,000万個、データ容量では5TBになりました。
これだけあると、ファイルコピーだけでも一苦労。 
 
結局、2週間かかりましたよ。


スポンサーリンク

とにかく時間がかかる

 新しいファイルサーバは、かなり高性能なスペック。
 
ファイルサーバにするにはもったいないくらいですが、
同時アクセスやメモリキャッシュを考えると、高性能の方が良いと判断しました。
 
 
ストレージはRAID5の12TBとタップリです。
 
HDD自体も旧ファイルサーバよりはるかに速いので、
コピーにはそんなに時間がかからないと思ってました。
 
けど実際にコピーしてみると、なかなか進まない。
 

スポンサーリンク

2週間かかった。。。

今回の移行では、ファイルコピーにもRobocopyを使いました。
 
途中でコピーを止めることもあるので、
バックアップだけでなく、移行時にも便利なのです。
 
 
ファイルのコピー状況を眺めていると、数MB以上の大きなファイルはそれなりに速い。
インターフェイス上限の速度は出ているようです。
 
ただ、数KB程度の小さなファイルが非常に遅い!
時間がかかったのはこれが原因のようですね。
 
 
移行元のファイルサーバには小さなファイルが大量にあるので、
なかなかファイルコピーが終わらず、結局は2週間かかってしまいました。
 

小さいファイルは何をしても遅い

そう言えば、前回のファイルサーバ移行でも1週間かかった記憶があります。

 
ファイル数が倍程度になったので、時間も倍になった、
ということなんでしょうか。
 
 
あまりにも遅いので別のコピー方法も試してみました。
 
・普通のエクスプローラでコピーする。
 → 余り変わらない。むしろ、コピー準備処理に時間がかかる。
・フリーソフトのFastCopyを使ってみる。
 → ある程度の固まりでコピー処理をするらしい。
  若干速くなりましたが、大幅アップでは無かったので今回は使いませんでした。
 
数倍の速度を目指しましたが良い方法は見つからず、
結局、Robocopyを使うことに。
 
やはり、小さいファイルのコピーには時間がかかるようですね。
 

定期的なアーカイブ&ゴミ掃除

小さいファイルが大量にあると遅い、
ということは、1ファイルにまとまっていれば速くなります。
 
 
頻繁には使わないファイルをある程度の固まりで、圧縮しておくのは有効そうです。
 
特にテキストファイルの場合、圧縮率も高いのでより省スペースに。
コピーも一瞬で終わりますし。
 
 
もう一つ有効なのは、いらないファイルを削除すること。
 
必要無くなったファイルをいつまでも残しておくのではなく、
ばっさりと削除するのも大事です。
 
ファイルサーバは有限ですので。
 

いつするか?

移行に時間がたっぷり取れるのであれば問題ないですが、
すぐ移行したいなど、時間的に厳しい場合は避けた方が無難です。
  
やはり、日々の運用で定期的に作業しておくのが良さそう。
 
 
ファイルサーバは複数人で共有しますので、
他の人にもキチンと説明しておく必要がありますね。
 
 
次回のファイルサーバ移行に向けて、
定期的な「ファイルアーカイブとゴミ掃除」をやっていきたいと思います。
 

まとめ

ファイルサーバのファイル数が多すぎて、
移行時のコピーにとても時間がかかりました。
 
ファイルが増えてしまうのは仕方ないですが、
・小さなファイルが大量にある場合、アーカイブする。
・本当に必要ないファイルは削除する。
が大事だと思いました。
 
ファイルサーバは大事に使いたいものです。
 
スポンサーリンク

  • このエントリーをはてなブックマークに追加

コメント

  • トラックバックは利用できません。

  • コメント (0)

  1. この記事へのコメントはありません。

だーしゅ
IT関係のお仕事してます。
バックアップが趣味。

[当ブログについて]

最近のコメント

  • だーしゅ { crowさん、コメントありがとうございます。 最近はセキュリティが厳しいですので、 会社でのフリーソフトは禁止になる傾向のようですね。 確かに、RobocopyはWindows標準なのでありがたいです。 性能や品質面でも安心ですし。 「監視ツール」はかなり厳しそうですね。 セキュアになるのは良いですが、使い勝手が悪く不便な面もありそうです。 どちらを取るか、バランスが難しい。 } – 8月 19, 2:30 AM
  • crow { Robocopyの丁寧な説明、ありがたいです。 私の職場だと、機密情報以外の自分のフォルダ内容は持ち出しOK、残業や休日出勤せず自宅で作業してよし、って環境なんですが、ウィルス対策やら情報漏洩やらいろいろ厳しくて、フリーソフトは使用禁止!ということになっています。となると、MicrosoftのSyncToyも使えません。SyncToyが使えればGUIで分かりやすく簡単にフォルダ内容を同期できるんですがね・・・ こっそり使おうかな?とも思ったのですが、ダメなんですね。社員のPCの画面、起動したアプリケーション、実行した操作等々、PCの挙動が管理者PCからチェックできるソフトが入っていて、例えば使用申告してないアプリケーションを起動しただけで即管理者にアラートが入るんです。で遠隔操作で画面確認されて始末書。同僚がこっそりフリーソフト使って数分後には管理部門から呼び出しでした。 ブリーフケースも廃止されてしまって、Windowsの標準機能だけで同期させるにはRobocopyくらいしかないわけですが、色々と複雑なコマンドなので困っていました。 バッチファイルを作って利用させていただきます。 } – 8月 17, 8:09 AM
  • だーしゅ { カッコ部分も表示されていました。 ご丁寧にありがとうございました。 また、使わせて頂きますね。 } – 4月 25, 4:55 PM
  • { 《補足》 コメント文中に不等号の記号を使ったためか 欠落してしまった部分がありました。 今度はうまく表示できますように。 powershell -command (get-content <ファイル名>)[-15..-1] 《説明》 <ファイル名>以外のところは丸括弧、角括弧の記号を含めてそのまま入力します。 <ファイル名>の部分は変数なので不等号の記号は入力しません。 } – 4月 24, 11:25 PM
  • だーしゅ { > powershell -command (get-content )[-15..-1] > > 《説明》 > これは「ファイルの後ろから数えて 15行目から最終行までを表示せよ」というコマンドです。 なるほど。 確かにサマリー部分は固定行数なので、この方法で表示できますね。 PowerShellはあまり使った事がなかったのですが、いろいろと便利な事ができそうです。 情報ありがとうございました。 } – 4月 24, 4:53 PM
  • いっちゅう { 回答ありがとうございます。 役立つサイトまで探してくださったのですね。 活用させてもらいます。 [1]に関して 「バックアップ先にしかないファイル」というのは長いので 「コピー先のみ」を採用させてもらいます。 [3]に関して 現状でもご所望のことは容易にできると思います(何もインストールの必要はありません)。 コマンドラインでコマンドを打つことになりますが、robocopyコマンド自体がそうなので たぶん苦にならないと思います。UNIXコマンドの tail 見たいなことをします。 コマンドラインで以下のように入力します。 powershell -command (get-content )[-15..-1] 《説明》 これは「ファイルの後ろから数えて 15行目から最終行までを表示せよ」というコマンドです。 Windows PowerShell の機能を利用します。 上記は普段使っているコマンドインタープリターが Windows... } – 4月 24, 8:50 AM