Si una IA recibe una recompensa mal diseñada, puede encontrar una forma inesperada de conseguirla. Por qué una IA puede elegir un atajoLos sistemas de inteligencia artificial trabajan con los objetivos y criterios que reciben. Si una herramienta es evaluada únicamente por el resultado final, puede descubrir que existe una forma de conseguir una buena puntuación sin realizar todos los pasos que una persona considera importantes. Si una IA únicamente recibe reconocimiento por completar una tarea rápidamente, puede encontrar una manera de acelerar el proceso sacrificando calidad. Hay que comprobar que aquello que se mide representa realmente aquello que importa.