最初の実行でモデルをダウンロードする理由

By Technical specialist

Easy Background Remover がオンデバイスモデルをダウンロードしている間、最初のカットアウトが一時停止する場合があります。モデルは、被写体を背景から分離するために使用される、学習された数値重みの大規模なセットです。利用可能になると、写真をリモートカットアウトサービスに送信する必要がなく、ブラウザ内で画像に対して実行できます。

したがって、「初回実行ダウンロード」と「ローカル処理」は、同じ設計の異なる部分を表します。ブラウザは処理ツールをダウンロードします。このツールを機能させるために、選択した各画像をアップロードする必要はありません。

モデルがすべてのスタートアップにバンドルされていない理由

拡張機能には、インターフェイスコード、アイコン、命令、および処理ロジックが含まれています。有用なセグメンテーションモデルは、別の種類の資産です。その重みは、エディターを開くために必要なコードよりもはるかに大きくなる可能性があります。

必要なときにモデルを取得すると、次のような実用的な利点があります。

拡張パッケージは起動のたびに完全なモデルをロードする必要はありません。
ブラウザはモデルをキャッシュして再利用できます。
通常のその後のセッションは、同じ転送を繰り返さずに開始できます。
処理パイプラインが更新されると、モデルアセットを置き換えることができます。

コストがかかります。必要なファイルが到着し、ランタイムがそれらを初期化するまで、最初の推論は開始できません。高速接続では、これは短いセットアップ画面のように感じるかもしれません。接続が低速または制限されている場合、最初のセッションの中で最も長い部分になる可能性があります。

ダウンロードされるもの

ダウンロードには推論に必要なモデルデータが含まれています。これは、写真のライブラリや画像内の被写体に関する検索リクエストではなく、特殊な数値関数のパラメーターであると考えてください。

ロード後、ブラウザーランタイムはこれらのパラメーターを使用して、選択したピクセルからマスクを計算します。画像のデコード、セグメンテーションの実行、マスクの調整、エクスポートといった日常的な作業は、拡張機能環境で実行されるように設計されています。

この区別は、ネットワークアクティビティを読み取るときに重要になります。固定モデルアセットのリクエストは、現在のイメージを運ぶリクエストと同等ではありません。ネットワークアクセスだけでは、画像推論がどこで行われるかはわかりません。データパスはそうします。

キャッシュの変更点

キャッシュがなければ、エディタを起動するたびに同じダウンロードコストを支払う可能性があります。ブラウザーはモデルアセットを保持できるため、後のセッションでそれを再利用できます。これにより、通常のシーケンスが変わります。

最初のセッションでは、必要なモデルが利用可能かどうかを確認します。
見つからない場合は、ブラウザがそれをダウンロードします。
ランタイムはモデルを初期化し、カットアウトを実行します。
その後の通常のセッションでは、通常、キャッシュされたコピーをロードできます。

「通常」は意図的なものです。キャッシュは再利用可能なストレージであり、永続的な保証ではありません。ブラウザまたは拡張機能のデータのクリア、プロファイルの変更、別のデバイスの使用、ストレージの圧迫、またはモデルのアップデートにより、ファイルが再び利用できなくなる可能性があります。

別のダウンロードが表示される理由

後でダウンロードしても、必ずしもキャッシュが失敗したことを意味するわけではありません。一般的な説明は次のとおりです。

拡張機能は新しいモデルバージョンを期待するようになりました。
ローカル拡張データがクリアされました。
ブラウザはストレージを回復するためにキャッシュされたデータを削除しました。
作業は別のブラウザプロファイルで行われます。
拡張機能が再インストールされ、そのストレージがリセットされました。
以前のダウンロードが完了しませんでした。

診断に役立つ質問は、「これをダウンロードしたことがありますか?」ではありません。「現在必要なモデルはこの拡張環境で利用可能ですか?」

ダウンロード時間は推論時間ではありません

2 つの待機は、異なる作業を表しながらも似ているように見えます。

ダウンロード時間 はモデルアセットの転送時間です。それは、接続速度、アセット配信、キャッシュ状態に大きく依存します。

初期化と推論時間は、アセットが利用可能になった後に発生します。ランタイムはモデルを準備し、画像を適切な入力に変換し、マスクを計算して結果を返します。これらの手順は、デバイス、ブラウザ、画像のサイズ、および利用可能なメモリに大きく依存します。

最初のセットアップ中の進行状況メッセージには、複数のフェーズが含まれる場合があります。モデルがすでにキャッシュされているにもかかわらず、大きな画像に時間がかかる場合、ネットワークに繰り返し再接続してもローカル計算は瞬時には行われません。

接続が切断された場合はどうなるか

必要なモデルがキャッシュされておらず、ダウンロードを完了できない場合は、自動削除を開始できません。ブラウザには必要な数値重みがまだありません。正しい対応は、安定した接続を復元し、セットアップを完了させることです。

必要なモデルがキャッシュされると、通常の処理は接続にあまり依存しなくなります。「オフラインに優しい」というのは、すべてのブラウザーの状態とすべての最初の起動がネットワークなしで機能することを約束するよりもさらに正確です。モデルファイルのない新しいプロファイルは、何らかの方法でそのファイルを取得する必要があります。

セットアップが繰り返し再起動される場合は、拡張データがセッション間で消去されているかどうか、ストレージが極度に制限されているかどうか、またはネットワークポリシーがアセット要求をブロックしていないかどうかを確認してください。トラブルシューティングガイドでは、一般的な障害チェックについて説明します。

プライバシー: アセット配信と画像処理

Easy Background Remover はブラウザ内でカットアウトが実行されるように構築されています。選択した画像は、拡張機能エディターとワーカーでデコードされて処理されます。短いローカル履歴には、最近のオリジナルと結果がブラウザーのストレージに保存される場合もあります。

最初に実行されるモデルのリクエストでは、そのイメージパスは変更されません。ローカル推論に必要な再利用可能なコンポーネントを取得します。製品ページにある Web サイト分析も、画像ピクセルや拡張機能の編集履歴とは別のものです。現在の完全な文言はプライバシーにあります。

アーキテクチャがサポートするよりも強力な主張は避けてください。「Chrome はネットワークを使用しません」は不正確です。「カットアウトパイプラインは、最初の実行でモデルをダウンロードする間、画像処理をローカルに保つように設計されています」は正確です。

ダウンロード後のブラウザの動作

モデルはブラウザ推論ランタイムによって初期化する必要があります。選択された画像はピクセルにデコードされ、数値入力として準備され、大量の計算のためにワーカーに送信されます。ワーカーはマスクを返し、エディターはそれをプレビューと調整に使用します。

そのマスクはサーバーから取得した 2 番目のイメージではありません。これは、ローカル画像入力とダウンロードされたモデルの重みから計算された結果です。オンデバイスカットアウトモデルに表示されるものでは、ピクセルからマスクへのステップについて説明します。 Web Worker 画像処理の基礎では、計算がインターフェイスの作業から分離されている理由を説明しています。

現実的な初回実行チェックリスト

最もクリーンな最初のテストの場合:

安定した接続でエディタを開きます。
処理速度を判断する前に、モデルのセットアップが完了するまで待ってください。
被写体がはっきりしている適度なサイズの画像から始めます。
一度エクスポートしてフルパスを確認します。
後でエディターを再度開き、キャッシュされたモデルを使用するとセットアップが短縮されることを確認します。

モデルの更新によって最終的に別のダウンロードが発生する場合は、結果を比較する前にダウンロードが完了するまで待ってください。モデルのバージョンが異なるとマスクが若干異なる場合があるため、再現性が重要な場合は拡張機能のバージョンを記録してください。

初回実行の待機により、実際的なトレードオフが発生します。つまり、処理モデルを 1 回または時々取得し、それをローカルカットアウトに再利用することになります。ピクセルからエクスポートまでのより広範なシーケンスについては、ローカル背景除去の仕組みを参照してください。