Los críticos argumentan que esta visión se enfrenta a muchos problemas, uno de los cuales es el de la dificultad de comparar la utilidad entre diferentes personas. Muchos de los primeros utilitaristas creían que la felicidad podía ser medida cuantitativamente y ser comparada a través de cálculos, aunque ninguno consiguió hacer un cálculo semejante en la práctica.
Se ha argumentado que la felicidad de personas diferentes es inconmensurable, y que este cálculo es imposible, pero no solo en práctica sino como principio. Los defensores del utilitarismo responden a esto afirmando que ante este problema se encuentra cualquiera que tenga que escoger entre dos estados alternativos que imponen serias cargas a las personas implicadas. Si la felicidad fuera inconmensurable, la muerte de cientos de personas no sería peor que la muerte de una.
Otro de los argumentos en contra del utilitarismo, según James Rachels en su Introducción a la Filosofía Moral, es la acusación de que esta forma de actuar es demasiado exigente y elimina la distinción entre deberes y acciones supererogatorias.[5] Para sustentar esto los antiutilitaristas parten de lo que reconoce el propio filósofo utilitarista John Stuart Mill: "el utilitarista obliga a ser tan estrictamente imparcial como un espectador desinteresado y benévolo".[6].
Tomando en cuenta como palabra clave "obliga", los filósofos adversos a Bentham y Mill plantearon a través de ejemplos imaginarios, dos maneras de distinguir las acciones caritativas de las personas: aquellas que adoptan una posición utilitaria, deben forzosa y obligatoriamente deshacerse de sus bienes para contribuir al bienestar de los demás, aun si por esta causa su estatus social queda a la altura de los más pobres.
El utilitarista congruente debería por decisión propia o por conciencia donar parte de sus riquezas si estas producen más felicidad que al conservarlas para sí, o utilizarlas como medio para generar más riqueza destinada a aumentar la felicidad de manera indefinida.
Por otro lado, los utilitaristas responden a tales críticas con el argumento de que los ejemplos propuestos son totalmente imaginarios y solo en la mente de algunos filósofos sucederían tales cosas, siendo que la utilidad se encarga de decir por qué son o no son convenientes en la vida real.
El filósofo utilitarista australiano J. J. C. Smart nos aclara que debemos de tener mucho cuidado con el sentido común, porque en ocasiones está influenciado por nuestros sentimientos, o sea que a veces la interpretación que hacemos de una situación determinada puede estar inspirada por las costumbres y preceptos aprendidos de nuestros padres, la sociedad, etc. Tal vez, ésta sea la más grande aportación del utilitarismo, su puesta en duda del sentido común como fuente de la moral.
El utilitarismo ha sido también criticado por llegar a tales conclusiones contrarias a la moral del sentido común. Por ejemplo, si estuviéramos forzados a escoger entre salvar a nuestro propio hijo o salvar a dos hijos de gente a la que no conocemos, la mayoría de gente escogería el salvar a su propio hijo. En cambio, el utilitarismo defendería salvar a los otros dos, pues dos personas tienen un potencial mayor de felicidad futura que una.
Los utilitaristas responden a este argumento diciendo que el sentido común ha sido utilizado para justificar muchas posiciones en temas controvertidos y esta noción de sentido común varía según el individuo, haciendo que no pueda ser una base sólida para una moralidad común.
John Rawls (1921-2002) rechaza el utilitarismo, tanto el normativo como el de los actos, pues hace que los derechos dependan de las buenas consecuencias de su reconocimiento, y esto es incompatible con el liberalismo. Por ejemplo, si la esclavitud o la tortura es beneficiosa para el conjunto de la población podría ser justificada teóricamente por el utilitarismo. Rawls defiende que la ética política debe partir de la posición original. Los utilitaristas argumentan que Rawls no tiene en cuenta el impacto indirecto de la aceptación de políticas inhumanas.
Es importante destacar que la mayoría de críticas van dirigidas al utilitarismo de los actos, y que es posible para un utilitarista de las normas llegar a conclusiones que sean compatibles con los críticos. De hecho, John Stuart Mill consideró que Immanuel Kant (1724-1804) era un utilitarista de las normas. Según Mill los imperativos categóricos de Kant solo tienen sentido en casos de violencia si consideramos las consecuencias de la acción. Kant afirma que el vivir de manera egoísta no puede ser universalizado pues todos necesitamos el afecto en algún u otro momento. Según Mill este argumento se basa en las consecuencias. Puede observarse que algunas formas de utilitarismo son potencialmente compatibles con el kantianismo y otras filosofías morales.
R. M. Hare es otro ejemplo de utilitarista que ha adaptado su filosofía al kantianismo. No basa su teoría en el principio de la utilidad. Cree que podemos hacer consideraciones utilitaristas al formular juicios universales. A esta filosofía la llama prescriptivismo universal.