lunes, 10 de septiembre de 2012

La bola de cristal y la evaluación




En prácticamente todos los trabajos y actividades cotidianas uno se ve enfrentado a situaciones en las que debe de alguna forma, para su realización, estimar o imaginarse lo que ocurrirá en el futuro, ya sea como input a dicha actividad o como resultado de la misma.

En este sentido, hay un libro que creo que todos los que están involucrados con este tipo de actividades, especialmente cuando los resultados pueden influir en la vida de muchas personas, deberían leer. Se llama “The Black Swan”, de Nassim Nicholas Taleb. En este libro, el autor explica cómo los eventos que realmente producen cambios son los que son imposibles de predecir.

Además, entre muchas otras ideas muy interesantes, muestra
el error gigante que cometemos al intentar explicar el futuro basado en una simple extrapolación de la información que tenemos del pasado.

Esto lo muestra con un ejemplo muy simple. Imaginemos un pavo que, desde su nacimiento, durante muchos días, lo alimentan para eventualmente ser comido en una cena de navidad.
Si graficáramos el peso de este pavo, tendríamos algo así:



Entonces, si queremos predecir lo que ocurrirá con este pavo en el futuro, tomando como información lo que hemos observado hasta antes del día de la fatídica cena (al menos fatídica para el pavo), podríamos afirmar, con mucha seguridad, que el pavo seguirá aumentando de tamaño indefinidamente (aunque suene algo ridículo, ya que cualquier persona se daría cuenta que un pavo no puede aumentar de tamaño infinitamente, esto es lo que hacemos con información económica, precios, demanda, comercio internacional, etc.).

El problema es que, en el caso del pavo, podemos afirmar ingenuamente que cada día que pasa y lo alimentan, este hecho confirma la seguridad del pavo, o podemos decir que cada día que pasa y alimentan al pavo, lo acerca al día de la cena. En el caso de una persona, se podría afirmar que cada día que pasa y sobrevive, la acerca cada vez más a la inmortalidad, o que cada día que pasa y sobrevive la acerca más al día de su muerte.

Es decir, tomando como referencia la misma información pasada, podemos extrapolarla y sacar, a futuro, dos conclusiones totalmente opuestas.

El autor del libro muestra, como ejemplo, lo siguiente. Supongamos que tenemos información sobre el tamaño de una determinada población para los últimos 20 años. Esta información se puede ver en el siguiente gráfico:


  
Si queremos estimar lo que ocurrirá en el futuro, lo que cualquier persona haría, lo más simple, sería asumir un crecimiento lineal, extendiendo la curva según el único crecimiento lineal que calza:



 Sin embargo, hay otros modelos que calzan igual de bien:


 Pero en realidad, el patrón real de esta población es extremadamente simple, pero no tiene nada que ver con un modelo lineal:



Lo que nos ocurre es que vemos una parte que aparente ser lineal y nos engaña para que extrapolemos con una línea recta.

Es decir, no sólo el pasado puede engañarnos, sino que hay varios grados de libertad en nuestra interpretación de eventos pasados.

Este es un problema con el que nos vemos enfrentados constantemente en nuestra vida cotidiana. Sin embargo, en la evaluación de proyectos, cuando están en juego cuantiosas inversiones y el bienestar de la gente, este tema toma una relevancia mayor.

Me ha tocado estar en presentaciones donde el que evalúa un proyecto confía ciegamente en su modelo predictivo. De hecho, una vez estuve presente cuando, ante la pregunta de “qué ocurre si utilizamos el modelo presentado, tomando información de hace unos años, y estimamos los resultados del modelo para la actualidad, para ver cómo se comporta”, el presentador dijo que en la realidad hay mucha variabilidad, por lo que los resultados podían no ser tan buenos, pero, sin embargo, el confiaba más en su modelo que en lo que ocurriera realmente.

Al evaluar un proyecto, de cualquier tipo, las estimaciones y proyecciones son muy útiles, y en muchos casos absolutamente necesarias. Lo que estoy diciendo acá no es que no podemos estimar más lo que ocurrirá a futuro.

Lo que sí digo, es que tenemos que saber con certeza absoluta que cualquier modelo que hagamos va a estar mal, siempre. Es imposible modelar la realidad considerando todas las variables influyentes, y es imposible predecir el futuro basados sólo en información pasada.

Por esto, no debemos ser soberbios en nuestras estimaciones. Debemos, además de modelos, usar nuestro sentido común, que, lamentablemente, en muchos casos, es el menos común de los sentidos.



No hay comentarios:

Publicar un comentario