Em geral

A função valor de um problema de otimização fornece o valor "Valor (matemática)") alcançado pela função perda de uma solução, desde que dependa apenas dos parâmetros do problema.[1][2]​.

Em um sistema dinâmico controlado, a função de valor representa o resultado ótimo do sistema no intervalo [t, t] quando a variável de estado "variável de estado (sistema dinâmico)") é iniciada no tempo t x(t)=x.[3]​ Se a função objetivo representa algum custo que deve ser minimizado, a função de valor pode ser interpretada como o custo para terminar o programa ótimo e é, portanto, chamada de "função de custo inclinado".[4]​[5]​ Em um contexto econômico, onde a função objetivo geralmente representa a utilidade obtida "Utilidade (economia)"), a função de valor é conceitualmente equivalente à função de utilidade indireta.[6]​[7]​.

Num problema de controle ótimo, a função valor é definida como o elemento supremo e mínimo da função objetivo assumido sobre o conjunto de controles admissíveis. Dado, um problema típico de controle ótimo é:.

sujeito a.

com variável de estado inicial.[8]​ A função objetivo deve ser maximizada sobre todos os controles admissíveis, onde é uma função de Lebesgue mensurável dependente de algum conjunto arbitrário prescrito em . A função de valor é então definida como:

com , onde está o "valor residual". Se o par ideal de trajetórias de controle e estado for, então. A função que fornece controle ideal com base no estado atual é chamada de política de controle de feedback,[4]​ ou simplesmente função de política.[9]​.

O princípio de otimização de Bellman afirma aproximadamente que qualquer política ótima no momento, tomando o estado atual tratado como a "nova" condição inicial, deve ser ótima para o problema restante. Se a função de valor for continuamente diferenciável,[10]​ isso dá origem a uma importante equação diferencial parcial, conhecida como equação de Hamilton-Jacobi-Bellman.

onde o maximizador no lado direito da equação também pode ser reescrito como um hamiltoniano "Hamiltoniano (teoria de controle)"), , como.

com o desempenho do papel das variáveis ​​​​de custo").[11] Dada esta definição, também temos que, e depois de diferenciar ambos os lados da equação de Hamilton-Jacobi-Bellman em relação a,.