Contenido
La validación verifica la precisión de la representación del modelo del sistema real. La validación del modelo se define como "justificación de que un modelo computarizado dentro de su dominio de aplicabilidad posee un rango de precisión satisfactorio consistente con la aplicación prevista del modelo". Un modelo debe construirse para un propósito específico o un conjunto de objetivos y su validez debe determinarse para ese propósito.
Hay muchos enfoques que se pueden utilizar para validar un modelo de computadora. Los enfoques van desde revisiones subjetivas hasta pruebas estadísticas objetivas. Un enfoque que se usa comúnmente es hacer que los constructores del modelo determinen la validez del modelo a través de una serie de pruebas.
Naylor y Finger [1967] formularon un enfoque de tres pasos para la validación de modelos que se ha seguido ampliamente:.
Paso 1. Construye un modelo que tenga una alta validez facial.
Paso 2. Valida suposiciones del modelo.
Paso 3. Compare las transformaciones de entrada-salida del modelo con las transformaciones de entrada-salida correspondientes para el sistema real.[5].
Validez de cara
Un modelo que tiene validez aparente parece ser una imitación razonable de un sistema del mundo real para las personas que conocen el sistema del mundo real. La validez facial se prueba al hacer que los usuarios y las personas con conocimientos sobre el sistema examinen la salida del modelo para determinar si es razonable y, en el proceso, identificar deficiencias. Una ventaja adicional de tener a los usuarios involucrados en la validación es que aumenta la credibilidad del modelo para los usuarios y la confianza del usuario en el modelo. La sensibilidad a las entradas del modelo también se puede utilizar para juzgar la validez aparente. Por ejemplo, si una simulación de un recorrido en un restaurante de comida rápida se ejecutó dos veces con tasas de llegada de clientes de 20 por hora y 40 por hora, se espera que los resultados del modelo, como el tiempo de espera promedio o el número máximo de clientes que esperan aumente con la llegada tarifa.
Validación de supuestos del modelo.
Las suposiciones sobre un modelo generalmente se dividen en dos categorías: suposiciones estructurales sobre cómo funciona el sistema y suposiciones de datos.
Las suposiciones sobre cómo funciona el sistema y cómo se organiza físicamente son suposiciones estructurales. Por ejemplo, la cantidad de servidores en una unidad de comida rápida a través del carril y si hay más de uno, ¿cómo se utilizan? ¿Los servidores funcionan en paralelo cuando un cliente completa una transacción visitando un solo servidor o un servidor toma pedidos y maneja el pago mientras el otro prepara y sirve el pedido? Muchos problemas estructurales en el modelo provienen de supuestos pobres o incorrectos.Si es posible, se debe observar atentamente el funcionamiento del sistema real para comprender cómo funciona. La estructura y el funcionamiento de los sistemas también deben verificarse con los usuarios del sistema real.
Debe haber una cantidad suficiente de datos apropiados disponibles para construir un modelo conceptual y validar un modelo. La falta de datos apropiados es a menudo la razón por la que los intentos de validar un modelo fallan. Los datos deben ser verificados para provenir de una fuente confiable. Un error típico es asumir una distribución estadística inadecuada para los datos. El modelo estadístico supuesto tendría que ser probado utilizando bondad de pruebas aptas y otras técnicas. Ejemplos de pruebas de bondad de ajuste son el test Kolmogorov@–Smirnov test y el test chi-cuadrado. Cualquier valor atípico en los datos debe ser verificado.todos.
Validando entrada-transformaciones de producción
El modelo se ve como una transformación de entrada-salida para estas pruebas. La prueba de validación consiste en comparar las salidas del sistema en consideración con las salidas modelo para el mismo conjunto de condiciones de entrada. Los datos registrados mientras se observa el sistema deben estar disponibles para realizar esta prueba. La salida del modelo que es de interés primario se debe utilizar como medida del rendimiento. Por ejemplo, si el sistema que se está considerando es una unidad de comida rápida a través de donde la entrada al modelo es el tiempo de llegada del cliente y la medida de salida del rendimiento es el tiempo promedio del cliente en línea, entonces el tiempo real de llegada y el tiempo invertido en la línea para los clientes en la unidad sería grabado. El modelo se ejecutaría con los tiempos de llegada reales y el tiempo promedio del modelo en línea se compararía con el tiempo promedio real empleado en la línea utilizando una o más pruebas.
Test de hipótesis estadística que utiliza el t-test se puede utilizar como base para aceptar el modelo como válido o rechazarlo como no válido.
La hipótesis a probar es.
contra.
La prueba se realiza para un tamaño de muestra y un nivel de significación determinados o α. Para realizar la prueba, se realizan un número n de ejecuciones estadísticamente independientes del modelo y se produce un valor promedio o esperado, E (Y), para la variable de interés. Entonces la estadística de prueba, t se calcula para el α, n, E (Y) y el valor observado para el sistema μ.
Si.
rehúsa H, el modelo necesita ajuste.
Hay dos tipos de errores que pueden ocurrir al usar pruebas de hipótesis, rechazar un modelo válido llamado error de tipo I o "riesgo de constructores de modelos" y aceptar un modelo no válido llamado error de Tipo II, β, o "riesgo del usuario del modelo". El nivel de significancia o α es igual a la probabilidad de error de tipo I. Si α es pequeño, entonces rechazar la hipótesis nula es una conclusión sólida. Por ejemplo, si α = 0.05 y la hipótesis nula se rechaza, solo hay una probabilidad de 0.05 de rechazar un modelo que sea válido. Disminuir la probabilidad de un error de tipo II es muy importante. La probabilidad de detectar correctamente un modelo no válido es 1 - β. La probabilidad de un error de tipo II depende del tamaño de la muestra y la diferencia real entre el valor de la muestra y el valor observado. Aumentar el tamaño de la muestra disminuye el riesgo de un error de tipo II.
Una técnica estadística en la que la cantidad de precisión del modelo se especifica como un rango se ha desarrollado recientemente. La técnica utiliza la prueba de hipótesis para aceptar un modelo si la diferencia entre la variable de interés de un modelo y la variable de interés de un sistema se encuentra dentro de un rango de precisión específico.[6] Un requisito es que tanto los datos del sistema como los datos del modelo sean aproximadamente Normalmente Independientes y Distribuidos Idénticamente (NIID). Las t-test La estadística se utiliza en esta técnica. Si la media del modelo es μ y el medio del sistema es μ entonces la diferencia entre el modelo y el sistema es D = μ - μ. La hipótesis a probar es si D está dentro del rango aceptable de precisión. Sea L = el límite inferior de precisión y U = límite superior de precisión. Entonces.