Extensión gratuíta de Chrome: recortes no dispositivo

Por que a primeira execución descarga un modelo

O primeiro recorte pode facer unha pausa mentres Easy Background Remover descarga un modelo no dispositivo. O modelo é un gran conxunto de pesos numéricos aprendidos usados ​​para separar o tema do fondo. Unha vez dispoñible, pode executarse contra a túa imaxe dentro do navegador en lugar de esixir que a foto se envíe a un servizo de recorte remoto.

Entón, a “descarga de primeira execución” e o “procesamento local” describen diferentes partes do mesmo deseño. O navegador descarga a ferramenta de procesamento; non é necesario cargar cada imaxe seleccionada para que esa ferramenta funcione.

Por que o modelo non se inclúe en todas as startups

Unha extensión contén código de interface, iconas, instrucións e lóxica de procesamento. Un modelo de segmentación útil é un tipo diferente de activo. Os seus pesos poden ser moito maiores que o código necesario para abrir o editor.

Obter o modelo cando sexa necesario ten beneficios prácticos:

Hai un custo: a primeira inferencia non pode comezar ata que chegan os ficheiros necesarios e o tempo de execución os inicializa. Nunha conexión rápida, isto pode parecer unha pantalla de configuración curta. Nunha conexión lenta ou restrinxida pode ser a parte máis longa da primeira sesión.

Que se descarga

A descarga contén os datos do modelo necesarios para a inferencia. Pense nel como parámetros para unha función numérica especializada, non como unha biblioteca das túas fotos e non como unha solicitude de busca sobre o tema da túa imaxe.

Despois da carga, o tempo de execución do navegador usa eses parámetros para calcular unha máscara a partir dos píxeles que seleccionou. O camiño diario (decodificar a imaxe, executar a segmentación, refinar a máscara e exportar) está deseñado para que se produza no entorno de extensión.

Esta distinción é importante ao ler a actividade da rede. Unha solicitude de activo de modelo fixo non é equivalente a unha solicitude que leva a imaxe actual. Só o acceso á rede non responde onde se produce a inferencia de imaxe; a ruta de datos fai.

Que cambia o caché

Sen caché, cada lanzamento de editor podería pagar o mesmo custo de descarga. O navegador pode conservar o recurso do modelo para que unha sesión posterior poida reutilizalo. Isto cambia a secuencia normal:

  1. A primeira sesión comproba se o modelo necesario está dispoñible.
  2. Se falta, o navegador descárgao.
  3. O tempo de execución inicializa o modelo e executa o recorte.
  4. As sesións ordinarias posteriores normalmente poden cargar a copia almacenada na caché.

“Normalmente” é deliberado. Unha caché é almacenamento reutilizable, non unha garantía permanente. Limpar os datos do navegador ou da extensión, cambiar os perfís, usar outro dispositivo, a presión de almacenamento ou unha actualización do modelo pode facer que o ficheiro non estea dispoñible de novo.

Por que pode aparecer outra descarga

Unha descarga posterior non significa necesariamente que fallou o almacenamento na caché. As explicacións comúns inclúen:

A pregunta de diagnóstico útil non é “Algunha vez descarguei isto?” pero “Está dispoñible o modelo actualmente necesario neste ambiente de extensión?”

O tempo de descarga non é tempo de inferencia

Dúas esperas poden parecer similares mentres representan traballos diferentes.

O tempo de descarga é a transferencia do recurso do modelo. Depende en gran medida da velocidade de conexión, a entrega dos activos e o estado da caché.

O tempo de inicialización e inferencia ocorre despois de que o recurso estea dispoñible. O tempo de execución prepara o modelo, converte a imaxe nunha entrada adecuada, calcula unha máscara e devolve o resultado. Eses pasos dependen máis do dispositivo, do navegador, das dimensións da imaxe e da memoria dispoñible.

Unha mensaxe de progreso durante a primeira configuración pode cubrir máis dunha fase. Se o modelo xa está almacenado na caché pero unha imaxe grande aínda leva tempo, volver conectarse repetidamente á rede non fará que o cálculo local sexa instantáneo.

Que pasa se a conexión cae

Se o modelo necesario non está na memoria caché e a descarga non pode rematar, a eliminación automática non pode comezar. O navegador aínda non ten os pesos numéricos que precisa. A resposta correcta é restaurar unha conexión estable e deixar que se complete a configuración.

Unha vez que se almacena en caché o modelo necesario, o procesamento ordinario depende menos da conexión. “Fóra de liña” aínda é máis preciso que prometer que cada estado do navegador e cada primeiro lanzamento funciona sen unha rede. Un perfil novo sen ficheiro modelo debe obter ese ficheiro dalgún xeito.

Se a configuración se reinicia repetidamente, comprobe se os datos de extensión se están borrando entre sesións, se o almacenamento está moi limitado ou se unha política de rede bloquea a solicitude de activos. A guía Solución de problemas recolle as comprobacións xerais de fallos.

Privacidade: entrega de activos versus procesamento de imaxes

Easy Background Remover está construído para que os recortes se executen no navegador. A imaxe escollida descodícase e procesarase no editor de extensións e no traballador. Un pequeno historial local tamén pode almacenar orixinais recentes e dar como resultado o almacenamento do navegador.

A solicitude de modelo de primeira execución non altera esa ruta da imaxe. Obtén o compoñente reutilizable necesario para a inferencia local. As análises de sitios web, cando están presentes nas páxinas de produtos, tamén están separadas dos píxeles da imaxe e do historial de edición de extensións. A redacción actual completa está en Privacidade.

Evite afirmacións máis fortes que as que admite a arquitectura. “Chrome nunca usa a rede” sería incorrecto. “A canalización de corte está deseñada para manter o procesamento de imaxes local, mentres que a primeira execución pode descargar o modelo” é preciso.

Que fai o navegador despois da descarga

O modelo aínda debe ser inicializado por un tempo de execución de inferencia do navegador. A imaxe seleccionada decodícase en píxeles, prepárase como entrada numérica e envíase a un traballador para realizar un cálculo pesado. O traballador devolve unha máscara, que o editor usa para a vista previa e o perfeccionamento.

Esa máscara non é unha segunda imaxe obtida dun servidor. É o resultado calculado a partir da entrada de imaxe local e dos pesos do modelo descargado. O que ve un modelo de recorte no dispositivo explica o paso de píxel a máscara; Conceptos básicos de procesamento de imaxes de Web Worker explica por que o cálculo está separado do traballo da interface.

Unha lista de verificación realista de primeira execución

Para a primeira proba máis limpa:

  1. Abre o editor cunha conexión estable.
  2. Permita que a configuración do modelo remate antes de xulgar a velocidade de procesamento.
  3. Comeza cunha imaxe de tamaño razoable cun tema claro.
  4. Exporta unha vez para verificar a ruta completa.
  5. Volve abrir o editor máis tarde e confirma que a configuración é máis curta co modelo almacenado na caché.

Se unha actualización de modelo finalmente provoca outra descarga, déixaa completar antes de comparar os resultados. As diferentes versións do modelo poden producir máscaras lixeiramente diferentes, polo que rexistra a versión da extensión cando importa a reproducibilidade.

A espera da primeira execución compra unha compensación práctica: obtén o modelo de procesamento unha vez ou de cando en vez, despois reutilízao para recortes locais. Para obter unha secuencia máis ampla de píxeles para exportar, consulta Como funciona a eliminación do fondo local.

Sigue explorando

Interesante