パソコンのバックアップ方法を紹介します。


menu

パソコンのバックアップ方法まとめ [あまおとろぐ]

ファイルサーバのファイル数が多すぎる!定期的にアーカイブとゴミ掃除しよう

  • このエントリーをはてなブックマークに追加
20151203
 
先日、ファイルサーバを移行しました。
 
ファイル数がほぼ1,000万個、データ容量では5TBになりました。
これだけあると、ファイルコピーだけでも一苦労。 
 
結局、2週間かかりましたよ。


スポンサーリンク

とにかく時間がかかる

 新しいファイルサーバは、かなり高性能なスペック。
 
ファイルサーバにするにはもったいないくらいですが、
同時アクセスやメモリキャッシュを考えると、高性能の方が良いと判断しました。
 
 
ストレージはRAID5の12TBとタップリです。
 
HDD自体も旧ファイルサーバよりはるかに速いので、
コピーにはそんなに時間がかからないと思ってました。
 
けど実際にコピーしてみると、なかなか進まない。
 

スポンサーリンク

2週間かかった。。。

今回の移行では、ファイルコピーにもRobocopyを使いました。
 
途中でコピーを止めることもあるので、
バックアップだけでなく、移行時にも便利なのです。
 
 
ファイルのコピー状況を眺めていると、数MB以上の大きなファイルはそれなりに速い。
インターフェイス上限の速度は出ているようです。
 
ただ、数KB程度の小さなファイルが非常に遅い!
時間がかかったのはこれが原因のようですね。
 
 
移行元のファイルサーバには小さなファイルが大量にあるので、
なかなかファイルコピーが終わらず、結局は2週間かかってしまいました。
 

小さいファイルは何をしても遅い

そう言えば、前回のファイルサーバ移行でも1週間かかった記憶があります。

 
ファイル数が倍程度になったので、時間も倍になった、
ということなんでしょうか。
 
 
あまりにも遅いので別のコピー方法も試してみました。
 
・普通のエクスプローラでコピーする。
 → 余り変わらない。むしろ、コピー準備処理に時間がかかる。
・フリーソフトのFastCopyを使ってみる。
 → ある程度の固まりでコピー処理をするらしい。
  若干速くなりましたが、大幅アップでは無かったので今回は使いませんでした。
 
数倍の速度を目指しましたが良い方法は見つからず、
結局、Robocopyを使うことに。
 
やはり、小さいファイルのコピーには時間がかかるようですね。
 

定期的なアーカイブ&ゴミ掃除

小さいファイルが大量にあると遅い、
ということは、1ファイルにまとまっていれば速くなります。
 
 
頻繁には使わないファイルをある程度の固まりで、圧縮しておくのは有効そうです。
 
特にテキストファイルの場合、圧縮率も高いのでより省スペースに。
コピーも一瞬で終わりますし。
 
 
もう一つ有効なのは、いらないファイルを削除すること。
 
必要無くなったファイルをいつまでも残しておくのではなく、
ばっさりと削除するのも大事です。
 
ファイルサーバは有限ですので。
 

いつするか?

移行に時間がたっぷり取れるのであれば問題ないですが、
すぐ移行したいなど、時間的に厳しい場合は避けた方が無難です。
  
やはり、日々の運用で定期的に作業しておくのが良さそう。
 
 
ファイルサーバは複数人で共有しますので、
他の人にもキチンと説明しておく必要がありますね。
 
 
次回のファイルサーバ移行に向けて、
定期的な「ファイルアーカイブとゴミ掃除」をやっていきたいと思います。
 

まとめ

ファイルサーバのファイル数が多すぎて、
移行時のコピーにとても時間がかかりました。
 
ファイルが増えてしまうのは仕方ないですが、
・小さなファイルが大量にある場合、アーカイブする。
・本当に必要ないファイルは削除する。
が大事だと思いました。
 
ファイルサーバは大事に使いたいものです。
 
スポンサーリンク

  • このエントリーをはてなブックマークに追加

関連記事

コメント

  • トラックバックは利用できません。

  • コメント (0)

  1. この記事へのコメントはありません。

だーしゅ
IT関係のお仕事してます。
バックアップが趣味。

[当ブログについて]

最近のコメント

  • だーしゅ { カッコ部分も表示されていました。 ご丁寧にありがとうございました。 また、使わせて頂きますね。 } – 4月 25, 4:55 PM
  • { 《補足》 コメント文中に不等号の記号を使ったためか 欠落してしまった部分がありました。 今度はうまく表示できますように。 powershell -command (get-content <ファイル名>)[-15..-1] 《説明》 <ファイル名>以外のところは丸括弧、角括弧の記号を含めてそのまま入力します。 <ファイル名>の部分は変数なので不等号の記号は入力しません。 } – 4月 24, 11:25 PM
  • だーしゅ { > powershell -command (get-content )[-15..-1] > > 《説明》 > これは「ファイルの後ろから数えて 15行目から最終行までを表示せよ」というコマンドです。 なるほど。 確かにサマリー部分は固定行数なので、この方法で表示できますね。 PowerShellはあまり使った事がなかったのですが、いろいろと便利な事ができそうです。 情報ありがとうございました。 } – 4月 24, 4:53 PM
  • いっちゅう { 回答ありがとうございます。 役立つサイトまで探してくださったのですね。 活用させてもらいます。 [1]に関して 「バックアップ先にしかないファイル」というのは長いので 「コピー先のみ」を採用させてもらいます。 [3]に関して 現状でもご所望のことは容易にできると思います(何もインストールの必要はありません)。 コマンドラインでコマンドを打つことになりますが、robocopyコマンド自体がそうなので たぶん苦にならないと思います。UNIXコマンドの tail 見たいなことをします。 コマンドラインで以下のように入力します。 powershell -command (get-content )[-15..-1] 《説明》 これは「ファイルの後ろから数えて 15行目から最終行までを表示せよ」というコマンドです。 Windows PowerShell の機能を利用します。 上記は普段使っているコマンドインタープリターが Windows... } – 4月 24, 8:50 AM
  • だーしゅ { いっちゅうさん、コメントありがとうございます。 >ログって見にくくないですか 確かにズレるのは見にくいですね。 仕方ないので、確認する時は、 「"右から2つ目の数"が失敗のカウント」 と読んでましたよ。 >(別の記事によると、だーしゅさんはログファイル削除派だそうですが、 どちらかと言えば、一定期間が過ぎたログファイルは削除する感じですね。 1年分保持して、更に過去は削除することが多いです。 圧縮しても良いですね。 かなりファイルサイズが小さくなりますので。 [1] バックアップ先にしかないファイル」「コピー先のみ」とかでしょうか。 [2] 調べて見ると、@ITで良いページがありました。 http://www.atmarkit.co.jp/ait/articles/1309/27/news116.html 全部で8コあるようですね。 サイズや属性で更に細かく分類されてます。 [3] robocopyの処理結果は「robocopyコマンドを実行した単位」で表示されますが、 ログ内にファイルパスも出力している場合、サマリーを確認するのがちょっと面倒です。 テキストエディタの検索で「ディレクトリ:」を指定して、ジャンプしてます。 「サマリー表示だけを別ファイルに出力」できると良いかも知れませんね。 } – 4月 23, 3:40 PM
  • だーしゅ { sumi3さん、コメントありがとうございます。 3世代分のバックアップデータがあれば、かなり安心ですね。 シャドウコピーを組み合わせると、利便性がアップするのでおすすめですよ。 } – 4月 23, 2:52 PM