Documentos e padrões envolvendo verificação e validação de simulação e modelagem computacional são desenvolvidos pelo Comitê de Verificação e Validação (V&V) da Sociedade Americana de Engenheiros Mecânicos (ASME). ASME V&V 10 fornece orientação para avaliar e aumentar a credibilidade de modelos computacionais de mecânica dos sólidos através dos processos de verificação, validação e quantificação de incertezas. V&V 40 fornece uma estrutura para estabelecer requisitos de credibilidade de modelo para modelagem computacional e apresenta exemplos específicos da indústria de dispositivos médicos.[10]​.

Contenido

La validación verifica la precisión de la representación del modelo del sistema real. La validación del modelo se define como "justificación de que un modelo computarizado dentro de su dominio de aplicabilidad posee un rango de precisión satisfactorio consistente con la aplicación prevista del modelo". Un modelo debe construirse para un propósito específico o un conjunto de objetivos y su validez debe determinarse para ese propósito.

Hay muchos enfoques que se pueden utilizar para validar un modelo de computadora. Los enfoques van desde revisiones subjetivas hasta pruebas estadísticas objetivas. Un enfoque que se usa comúnmente es hacer que los constructores del modelo determinen la validez del modelo a través de una serie de pruebas.

Naylor y Finger [1967] formularon un enfoque de tres pasos para la validación de modelos que se ha seguido ampliamente:.

Paso 1. Construye un modelo que tenga una alta validez facial.

Paso 2. Valida suposiciones del modelo.

Paso 3. Compare las transformaciones de entrada-salida del modelo con las transformaciones de entrada-salida correspondientes para el sistema real.[5]​.

validade facial

Um modelo com validade aparente parece ser uma imitação razoável de um sistema do mundo real para pessoas que conhecem o sistema do mundo real. A validade aparente é testada fazendo com que usuários e pessoas com conhecimento do sistema examinem a saída do modelo para determinar se ela é razoável e, no processo, identifiquem deficiências. Uma vantagem adicional de ter usuários envolvidos na validação é que isso aumenta a credibilidade do modelo para os usuários e a confiança do usuário no modelo. A sensibilidade aos dados do modelo também pode ser usada para julgar a validade aparente. Por exemplo, se uma simulação de um passeio em um restaurante fast food fosse executada duas vezes com taxas de chegada de clientes de 20 por hora e 40 por hora, seria esperado que os resultados do modelo, como o tempo médio de espera ou o número máximo de clientes em espera, aumentassem com a taxa de chegada.

Validação das premissas do modelo.

As suposições sobre um modelo geralmente se enquadram em duas categorias: suposições estruturais sobre como o sistema funciona e suposições de dados.

As suposições sobre como o sistema funciona e como está fisicamente organizado são suposições estruturais. Por exemplo, o número de servidores em uma pista de fast food e, se houver mais de um, como eles são usados? Os servidores funcionam em paralelo quando um cliente conclui uma transação visitando um único servidor ou um servidor recebe pedidos e processa o pagamento enquanto o outro prepara e atende o pedido? Muitos problemas estruturais do modelo provêm de suposições erradas ou incorretas. Se possível, a operação do sistema real deve ser cuidadosamente observada para entender como funciona. A estrutura e o funcionamento dos sistemas também devem ser verificados com os usuários do próprio sistema.

Deve haver uma quantidade suficiente de dados apropriados disponíveis para construir um modelo conceitual e validar um modelo. A falta de dados apropriados é muitas vezes a razão pela qual as tentativas de validar um modelo falham. Os dados devem ser verificados para serem provenientes de uma fonte confiável. Um erro típico é assumir uma distribuição estatística inadequada dos dados. O modelo estatístico assumido teria que ser testado usando testes de qualidade de ajuste e outras técnicas. Exemplos de testes de adequação são o teste Kolmogorov@–Smirnov e o teste qui-quadrado. Quaisquer valores discrepantes nos dados devem ser verificados.

Validando transformações de insumo-produção

O modelo é visto como uma transformação de entrada-saída para esses testes. O teste de validação consiste em comparar as saídas do sistema em consideração com as saídas do modelo para o mesmo conjunto de condições de entrada. Os dados registrados durante a observação do sistema devem estar disponíveis para realizar este teste. O resultado do modelo que é de interesse primário deve ser usado como medida de desempenho. Por exemplo, se o sistema considerado for uma unidade de fast food onde a entrada para o modelo é o tempo de chegada do cliente e a medida de desempenho de saída é o tempo médio do cliente na fila, então o tempo real de chegada e o tempo gasto na fila para os clientes na unidade seriam registrados. O modelo seria executado usando tempos reais de chegada e o tempo médio do modelo on-line seria comparado ao tempo real médio gasto na fila usando um ou mais testes.

O teste de hipótese estatística utilizando o teste t pode ser usado como base para aceitar o modelo como válido ou rejeitá-lo como inválido.

A hipótese a ser testada é.

contra.

O teste é realizado para um determinado tamanho de amostra e nível de significância ou α. Para realizar o teste, um número n de execuções estatisticamente independentes do modelo é realizado e um valor médio ou esperado, E(Y), é produzido para a variável de interesse. Em seguida, a estatística de teste, t é calculada para α, n, E (Y) e o valor observado para o sistema μ.

Sim.

rejeita H, o modelo precisa de ajuste.

Existem dois tipos de erros que podem ocorrer ao usar testes de hipóteses: rejeitar um modelo válido denominado erro Tipo I ou “risco dos construtores de modelo” e aceitar um modelo inválido denominado erro Tipo II, β, ou “risco do usuário do modelo”. O nível de significância ou α é igual à probabilidade de erro tipo I. Se α for pequeno, rejeitar a hipótese nula é uma conclusão forte. Por exemplo, se α = 0,05 e a hipótese nula for rejeitada, existe apenas uma probabilidade de 0,05 de rejeitar um modelo que seja válido. Diminuir a probabilidade de um erro tipo II é muito importante. A probabilidade de detectar corretamente um modelo inválido é 1 – β. A probabilidade de um erro tipo II depende do tamanho da amostra e da diferença real entre o valor da amostra e o valor observado. Aumentar o tamanho da amostra diminui o risco de erro tipo II.

Uma técnica estatística na qual a quantidade de precisão do modelo é especificada como um intervalo foi desenvolvida recentemente. A técnica usa testes de hipótese para aceitar um modelo se a diferença entre a variável de interesse de um modelo e a variável de interesse de um sistema estiver dentro de uma faixa de precisão específica.[6]​ Um requisito é que tanto os dados do sistema quanto os dados do modelo sejam aproximadamente normalmente independentes e distribuídos de forma idêntica (NIID). As estatísticas do teste t são usadas nesta técnica. Se a média do modelo for μ e a média do sistema for μ, então a diferença entre o modelo e o sistema é D = μ - μ. A hipótese a ser testada é se D está dentro da faixa aceitável de precisão. Seja L = o limite inferior de precisão e U = limite superior de precisão. Então.

Documentos e padrões envolvendo verificação e validação de simulação e modelagem computacional são desenvolvidos pelo Comitê de Verificação e Validação (V&V) da Sociedade Americana de Engenheiros Mecânicos (ASME). ASME V&V 10 fornece orientação para avaliar e aumentar a credibilidade de modelos computacionais de mecânica dos sólidos através dos processos de verificação, validação e quantificação de incertezas. V&V 40 fornece uma estrutura para estabelecer requisitos de credibilidade de modelo para modelagem computacional e apresenta exemplos específicos da indústria de dispositivos médicos.[10]​.