Tecnología

El segundo pilar de una IA confiable: las operaciones

Haga clic aquí para obtener más información sobre el autor Scott Reed.

El valor real de la IA no es el atractivo de los métodos avanzados e innovadores, sino el potencial de valor agregado que, en última instancia, se suma a su negocio. Cuando entrena su modelo a medida que lo desarrolla y observa un rendimiento sólido en los pliegues de validación cruzada, la retención y un conjunto de datos de predicción externo, puede ser tentador desplegar la alfombra roja y mostrar los resultados. Seguro, ellos potencial El valor comercial se ve en el modelo, pero ¿cómo lo protegemos y nutrimos con el tiempo? El rendimiento continuo del modelo puede ser impredecible y volátil, con la posibilidad de cambios en los datos de entrada o en el proceso empresarial. Sin una infraestructura general para salvaguardar este valor, la IA no puede lograr el efecto deseado.

La creación y el mantenimiento de una infraestructura de modelo de producción asegura que el valor que ofrece su modelo durará mientras la empresa se mantenga diligente. Con este sistema, no solo podemos beneficiarnos del valor que ofrece nuestro modelo, sino también garantizar transparencia, estabilidad y barandillas.

Hay tres pilares de una IA confiable: desempeño, operaciones y ética. El servicio incluye la calidad de los datos, la precisión del modelo y la velocidad. En este artículo, veremos nuestro segundo pilar de confianza, las operaciones.

La operación se relaciona con la pregunta: «¿Qué tan confiable es el sistema en el que se implementa mi modelo?» Este pilar se centra en la creación de un sistema de buen gobierno y supervisión que incorpore la humildad en el proceso de toma de decisiones y proporcione suficiente transparencia para cumplir con los requisitos reglamentarios. La operación tiene cinco componentes: gobierno y supervisión, humildad, cumplimiento, seguridad y reglas comerciales. En este artículo, nos centraremos en tres aspectos en particular: gobernanza y supervisión, humildad y cumplimiento.

Gobernanza y supervisión

En el contexto de la ciencia de datos y el aprendizaje automático, el control y la supervisión del sistema adecuados están respaldados por herramientas y procesos que garantizan la estabilidad, establecen permisos basados ​​en el usuario en función de roles y responsabilidades y crean flujos de trabajo de aprobación. Separaremos gobernanza y supervisión para mostrar cómo contribuyen a la arquitectura operativa general.

Comencemos a monitorear. Hay muchas cosas que monitorear relacionadas con un modelo de producción, que incluyen, entre otras, el seguimiento de precisión, las estadísticas de rendimiento del sistema y el problema común de la deriva de datos. La deriva de datos se produce cuando los datos de puntuación son diferentes (diferencia estadísticamente significativa) de los datos utilizados para entrenar el modelo. El origen suele ser un problema de calidad de los datos o un cambio en la composición de las características. En el caso de la deriva de datos, uno de los muchos indicadores potenciales del monitoreo, nuestro siguiente paso sería el reentrenamiento del modelo. ¿Cómo evaluamos este cambio en el modelo de producción y nos aseguramos de que todo el sistema y todos los componentes posteriores no se interrumpan?

¿Cuál es el flujo de trabajo de gobernanza después de que identificamos problemas con el modelo de producción a través del monitoreo? El proceso de capacitación, prueba, comparación de modelos potenciales, análisis de impactos posteriores y control de versiones del modelo debe estar empaquetado y ser repetible. Este conjunto de revisiones y aprobaciones debe administrarse a través de un flujo de trabajo de aprobación y protegerse con permisos basados ​​en el usuario. No se deben omitir las cancelaciones de suscripción ni las revisiones. Los permisos solo deben otorgarse a quienes los necesiten sobre la marcha. Pero cuando la gobernanza se trata del panorama general, ¿cómo apoyamos nuestras operaciones de modelo en tiempo real a nivel de predicciones individuales?

humildad

Un aspecto clave del diseño de un sistema en torno a la IA es darse cuenta de que las predicciones de un modelo son probables. En el caso de la clasificación binaria, por ejemplo, nuestro modelo hace predicciones en forma de valores brutos entre 0 y 1. Basado en un valor de umbral optimizado, el modelo predice tanto Clase 0 o clase 1. Sin embargo, hay situaciones en las que el modelo no confía en una predicción, por ejemplo, cuando está muy cerca de este umbral optimizado, en un área de «baja confianza». Existen otros escenarios a la hora de analizar los datos de calificación o realizar previsiones. Es posible que tengamos motivos para dudar de la precisión de la predicción del modelo. ¿Cómo podemos implementar esto en la protección en tiempo real para garantizar que nuestro modelo tome decisiones seguras y precisas a nivel de una predicción individual?

Con la ayuda de varios factores desencadenantes, como: B. la identificación de valores atípicos o un valor categórico invisible, el sistema puede tomar ciertas medidas predefinidas para protegerse de predicciones inciertas. Imagine un modelo que predice si una imagen es un perro o un lobo. Quizás los datos de entrenamiento fueron creados por un fotógrafo con equipo profesional. Otro fotógrafo toma una nueva imagen de puntuación con un equipo muy inferior, lo que da como resultado una imagen pequeña y borrosa. Esto da como resultado que nuestro modelo tenga una predicción cercana al umbral. El sistema identifica este disparador y puede utilizar un valor «seguro» de forma predeterminada en lugar del valor predicho, p. Ej. B. «Perro» y marcar el registro para revisión.

Atención

Una empresa debe poder generar documentación sólida para el modelo de producción actual. Hay partes interesadas clave con diferentes responsabilidades, antecedentes e inquietudes que necesitan comprender completamente el modelo y la infraestructura circundante. Es posible que el equipo legal necesite saber de dónde obtuvo los datos. Es posible que el Centro de análisis de excelencia deba aprobar el algoritmo y la selección de hiperparámetros que ha elegido. Es posible que Risk desee comprender en qué se diferencia la versión actual del modelo de las versiones anteriores. Por último, es posible que el patrocinador de su empresa desee comprender cómo las tasas de error se traducen en dólares y centavos. Desde el principio hasta hoy, cada una de estas diferentes personas necesita acceso constante a la documentación más reciente sobre sus modelos de producción.

Ahora que sabemos cómo confiar en el rendimiento de nuestro modelo y en lo que sucede en torno a los modelos de producción, la próxima vez nos centraremos en confiar en la ética y comprobar si su modelo tiene consecuencias no deseadas y defiende los valores de su empresa.