CDNetworks ドキュメントに戻る
Object Storage
CDNetworks ドキュメントセンター Object Storage Tools File Rsync Tool

File Rsync Tool

最終更新日：2024-06-19 10:21:12

ファイル同期ツールは、CDNetworksオブジェクトストレージAPIを利用してローカルデータをCDNetworksオブジェクトストレージに同期し、元のディレクトリ構造を維持します。このツールは既存のファイルを移行するのに最適です。増分ファイル同期には、APIアップロードインターフェースを使用してください。

ダウンロードリンク

開始前の準備

  1. Java（JDK 1.6以上）がインストールされていることを確認してください。
  2. 設定ファイルと同期ツールを同じディレクトリに配置してください。

使用方法

  1. wcs-rsync-hash ツールがあるディレクトリに移動します（例: Windowsでは F:\wcs-rsync、Linuxでは /home/tool/wcs-rsync）。
  2. 必要に応じて conf.json ファイルを編集してください。
  3. サービスを開始するには：
    • Windowsの場合：Shiftキーを押しながらフォルダーウィンドウで右クリックし、「ここでコマンドウィンドウを開く」を選択します。
    • コマンドを実行します：java -jar wcs-rsync-hash-xxx.jar conf.json。
    • ファイルの同期に失敗した場合、再度コマンドを実行して再同期を試みてください。
  4. 失敗したアップロードのリストを表示するには、次のコマンドを実行します：java -jar wcs-rsync-hash-xxx.jar -listfailed conf.json。
    • 結果はツールディレクトリ内のログファイルに保存されます。
  5. すべてのファイルを強制的に再アップロードするには、次のコマンドを実行します：java -jar wcs-rsync-hash-xxx.jar -igsync conf.json。
  6. 同期プロセス中にエラーが発生した場合、ツールディレクトリ内の wcs-rsync-hash.log ファイルでエラーレベルのログを確認し、問題を診断してください。

設定ファイルの調整可能な設定

以下は conf.json ファイル内のいくつかの調整可能な設定です。特定のニーズに基づいてこれらの設定を変更できます。

セクション 項目 要件 説明
基本認証 accessKey 必須 クラウドストレージアカウントにアクセスするための一意の識別子です。コンソールの “セキュリティ設定 - API情報管理 - AccessKey管理” セクションで取得できます。
secretKey 必須 アクセスキーとペアになっている秘密鍵で、身元確認に使用されます。同じくコンソールの “セキュリティ設定 - API情報管理 - AccessKey管理” セクションで取得できます。
ドメイン設定 uploadDomain 必須 ファイルをアップロードするための特定のドメインです。これは “バケット - 概要 - アップロードドメイン” で見つけることができます。
mgrDomain 必須 ツールがファイルのチェックサム検証などのバックエンド操作に使用するドメインです。同じく “バケット - 概要 - 管理ドメイン” で見つけることができます。
同期モード syncMode 必須 同期戦略を決定します：
- 0：単一バケット、多ディレクトリモードです。バケットと同期ディレクトリを指定する必要があります。キー接頭辞はオプションです。
- 1：多バケット、多ディレクトリモードです。この場合、バケットとディレクトリが必要です。
空間とパス bucket オプション ファイルが保存されるバケットを指定します。Sync Modeが0に設定されている場合、これは必須です。
syncDir オプション 例えば /data のようにアップロードされるファイルのローカルパスを指定します。複数のパスを構成でき、|で区切ります。例：D:/pic-2|D:/rsync3。
コマンドライン同期ツールを使用する場合、syncModeが0に設定されている場合、これが必要です。
注意: LinuxおよびWindowsシステムでローカルパスを構成する場合は、パス区切り記号として/を使用してください。Windowsシステムのパスにはドライブ文字を含める必要があります（例：C:/data）。
keyPrefix オプション オブジェクトストレージにアップロードされるファイルに追加される指定された接頭辞です。複数の構成が可能で、syncDirに定義されたパスと一対一で対応します。デフォルトは空です。例：
1. keyPrefixがdata/に設定され、アップロードされたファイルが1.apkの場合、このファイルはオブジェクトストレージにdata/1.apkとして保存されます。これはオブジェクトストレージにdataという新しいフォルダーが作成され、1.apkがこのフォルダー内に保存されることを意味します。
2. keyPrefixがdataに設定され、アップロードされるファイルが1.apkの場合、このファイルはオブジェクトストレージにdata1.apkとして保存されます。
3. syncDirがD:/rsync1|D:/rsync2|D:/rsync3に設定され、keyPrefixがtest1/|test2/に設定されている場合、rsync1のファイル（およびディレクトリ）はオブジェクトストレージのtest1ディレクトリに保存され、rsync2のファイル（およびディレクトリ）はtest2ディレクトリに保存され、rsync3のファイル（およびディレクトリ）はルートディレクトリに保存されます。keyPrefixの構成がsyncDirのパスより多い場合、追加のkeyPrefix設定は適用されず、最初のいくつかのディレクトリのみが考慮されます。
ターゲットスペースおよびローカルパス bucketAndDir オプション ファイルがアップロードされるターゲットバケットとローカルパスを指定します。syncModeが1に構成されている場合、このパラメータは必須です。例：
bucket1|D:/dir1,D:/dir2|prefix1,prefix2/;bucket2|D:/dir3,D:/dir4
注意:
1. 各バケットは複数のローカルパスを構成できます。ローカルパスはディレクトリまたはファイルを対象にすることができ、ファイル名にはその接尾辞が含まれている必要があります。
2. ローカルパスと接頭辞は一対一で対応します。接頭辞の適用規則はkeyPrefixパラメータと同じです。
3. バケット名、ローカルパス、接頭辞は|で区切られます。複数のローカルパスまたは複数の接頭辞はカンマ,で区切られます。
4. 複数のバケット、ローカルパス、接頭辞の構成を組み合わせてセミコロン;で区切ることができます。
パフォーマンス関連の設定 threadNum オプション 同時にアップロードされるファイル数を設定します。範囲は1-100、デフォルトは1です。
sliceThreshold オプション この値を超えるファイルの分割アップロードを有効にします。単位はMBで、範囲は1-100MB、デフォルトは4MBです。
sliceThread オプション 分割アップロードの同時実行スレッド数を設定します。範囲は1-100、デフォルトは5です。
sliceBlockSize オプション 分割アップロード中の個々のブロックサイズを設定します。範囲は4M-1024Mで、4の倍数である必要があります。デフォルトは4Mです。
sliceChunkSize オプション 各チャンクのサイズを設定します。単位はKBで、範囲は1024-1048576KBです。
同期動作 deletable オプション ローカルファイルが削除されたときにクラウドストレージファイルの動作を決定します。0は保持、1は同期削除、デフォルトは0です。
maxRate オプション アップロード速度制限を設定します。単位はKB/sで、0は無制限です。
taskBeginTime オプション 予定されたタスク開始時間を設定します。形式はhh:mm:ssです。
taskEndTime オプション 予定されたタスク終了時間を設定します。形式はhh:mm:ssです。
データ検証 isCompareHash オプション ファイルハッシュの比較を有効または無効にします。デフォルトは1（有効）です。
countHashThreadNumHash オプション ハッシュ値計算の同時実行レベルを設定します。範囲は1-100、デフォルトは1です。
compareHashThreadNumHash オプション ハッシュ値の比較の同時実行レベルを設定します。範囲は1-100、デフォルトは1です。
compareHashFileNumHash オプション 各バッチでクラウドストレージから比較されるファイル数を設定します。範囲は1-2000、デフォルトは100です。
フィルタリングルール minFileSize オプション この値より小さいファイルはアップロードに参加しません。単位はバイトで、デフォルトは0（制限なし）です。
overwrite オプション クラウドに既存のファイルを上書きするかどうかを決定します。1は上書き、0は上書きしない、デフォルトは1です。
isLastModifyTime オプション ファイルの変更時間をクラウドストレージに同期します。デフォルトは0（アップロード時間を使用）、1（ローカル変更時間を使用）です。
特殊機能 scanOnly オプション アップロードなしでスキャンに使用されます。0は通常のアップロード、1はスキャンのみ、デフォルトは0です。
uploadErrorRetry オプション アップロード失敗後の自動再試行回数を設定します。範囲は0-5、デフォルトは0（再試行なし）です。
isSkip406 オプション クラウドに既に存在するファイルをスキップするかどうかを決定します。1はスキップ、0はスキップしない、デフォルトは1です。
ログ記録 logLevel オプション ログレベルを指定します。debug、info、errorから選択してください。
logPrefix オプション ログファイルの場所とプレフィックスを定義します。指定されていない場合、ログはコンソールに直接出力されます。

CDNetworks Inc., © 2024. 1840 Enterprise Way, Monrovia, CA 91016 – All rights reserved.