Cualquier organización independientemente del tamaño de su estructura debe tener definidos mecanismos de Gobierno, es lo que conocemos como “Gobernanza”, en términos académicos entendemos como Gobernanza organizacional a la estructura definida en las empresas que permite proporcionar dirección y control a los fines de poder cumplir con las metas estratégicas y operativas.
Como vemos el término Gobernanza es muy amplio y es aquí donde empezamos a desarrollar subconjuntos de gobernanza a los fines de enfocar esta definición a objetivos más específicos.
En el caso particular de las organizaciones tendremos entonces la Gobernanza de Tecnología de la información que entenderemos como “El alineamiento de las Tecnologías de la Información (TI) con las estrategias del negocio”.
Uno de los fines es precisamente proporcionar el mejor uso de la tecnología y de sus estructuras organizativas para alcanzar las metas definidas.
Estos últimos tiempos han introducido dentro de este subconjunto de Tecnología de Información, otro elemento fundamental y de impacto muy importante en las organizaciones, la Inteligencia Artificial y específicamente los algoritmos.
Entendemos de forma simple un algoritmo como un conjunto de instrucciones que sirven para resolver un problema, la inteligencia artificial ha introducido en las organizaciones este concepto dado que gracias a la automatización es posible realizar tareas sin la intervención humana, y uno de los elementos fundamentales son precisamente esas instrucciones que permiten resolver problemas que hemos llamado “algoritmos”.
Pero los algoritmos no están exentos de fallas, los algoritmos pueden tener sesgos, que podemos definirlo como “cuando estos algoritmos reflejan los valores de las personas que lo crearon” y por lo tanto podría ser “injusto”.
Este concepto de “injusticia” es el que las organizaciones actualmente tienen que resolver, la implementación de un algoritmo no implica que las soluciones dadas sean “ecuánimes y correctas” por el sólo hecho que lo está realizando un sistema de información, de hecho creer eso ya implica caer en el “sesgo de tecnología” que es la creencia que los sistema informáticos hacen mejor las cosas que los humanos.
Pero volviendo a los algoritmos, dado lo que comentamos de la posibilidad de que existe “injusticia” en sus decisiones es que actualmente tenemos que estar pensando en otro tipo de Gobernanza dentro de la función de TI que es la Gobernanza Algoritmia, que definiremos como el proceso de regular y controlar el uso de los algoritmos dentro de la organización, y ¿que deberemos controlar entre otros aspectos?
- Si el algoritmo utilizado es el correcto, ¿Estamos utilizando un algoritmo supervisado o no supervisado?, el algoritmo a utilizar debe corresponder con una determinada situación, sino los resultados pueden no ser los esperados,
- ¿Se han definido modelos de salida esperada, para poder confrontar las salidas devueltas por el algoritmo con dichos modelos?
- ¿Existe un proceso de análisis, prueba y puesta en productivo de los algoritmos, así como existen instancias apropiadas de autorización por niveles dentro de la organización?
- ¿Se ha establecido una estructura de datos apropiada? ¿Se realiza una curadoría de datos que alimentarán al algoritmo?
- ¿Se ha establecido una función que tiene la misión de supervisar aquellos algoritmos complejos que tomen decisiones relevantes?, es decir que no se deje librado al designo de un algoritmo decisiones que podrían impactar significativamente en personas, bienes de la compañía, etc.
- Los algoritmos, sus pruebas, salidas esperadas, etc., ¿Se encuentran adecuadamente documentados?
- ¿Se analizaron los aspectos de seguridad del algoritmo? ¿Es seguro? ¿el algoritmo maneja datos sensibles?, si es así ¿Cómo se resguardan esos datos sensibles?
- ¿Se han establecido mecanismos de mejora continua con respecto a los algoritmos utilizados?
Estas son alguna de las preguntas y temas que una Gobernanza de Algoritmos debería tener en cuenta.
Como Auditores Internos nuestra labor será empezar a entender que las organizaciones deben tener este instrumento de gobernanza implementado y saber cuales son algunos de sus ámbitos de aplicación para de esta forma empezar a evaluarlos.
Auditoría+ 