Enseñar con premios y castigos

Lo dijimos al final de 3.3. Hasta aquí solo había una manera de enseñarle a una IA: mostrarle la respuesta puesta al lado.

Eso funciona porque en una foto de gato puedes escribir «gato». Pero ¿y montar en bici? ¿Puedes escribir «ahora inclina el cuerpo 3,7 grados»?

No puedes. Y aun así aprendemos a montar en bici. Cayéndonos. Es la bici por la que preguntaste a una persona mayor en 1.2: entonces tampoco nadie te escribió la respuesta.

Al principio coloca de verdad en cualquier sitio. Pero pasadas unas cien partidas se hace difícil ganarle.

Nadie le escribió ninguna regla. Ni «el centro es bueno» ni «si hay dos en fila, bloquea». Lo único que ha vivido la máquina es ganar y perder.

Dar solo premios y castigos

A esta manera de enseñar la llamamos aprendizaje por refuerzo.

No se le dice la respuesta. En vez de eso se le da premio si lo hace bien y castigo si lo hace mal. Y se la deja cambiar sola hacia donde recibe más premios.

En la máquina de las cajas de cerillas, las bolitas eran el premio y el castigo. Las bolitas que se añaden por haber ganado son el premio; la que se tira por haber perdido, el castigo.

A ese «premio» lo llamamos recompensa.

Aquí está la diferencia con las damas de 1.2. Las damas se corregían mirando cuánto se habían equivocado (el error). Las cajas de cerillas se corrigen mirando si ganaron o perdieron (premio y castigo).

Fíjate bien en la última fila. De ahí sale la historia de este capítulo.

Si en vez de bolitas usamos una red neuronal

Con las cajas de cerillas se pudo porque solo hay 304 colocaciones posibles. Ese número cuenta como una sola las colocaciones que, al girar o dar la vuelta al tablero, quedan iguales. La máquina de la pantalla no las junta, así que tiene más cajas. Pero conducir un coche tiene un número incontable de casos. Y en una carretera de verdad hay además otros coches, gente y hasta el tiempo que hace.

Entonces, en vez de bolitas se usa la red neuronal de 3.2. Y se conservan solo los que lo hicieron bien para formar la siguiente generación.

Al principio los veinte coches se estrellan contra la pared. Pero pasadas unas generaciones aparece alguno que aguanta mucho.

Pulsa un coche. Lo único que conoce este coche son las distancias en cinco direcciones hacia delante. No sabe cómo es la pista ni dónde está él. Y solo con eso ha encontrado la manera de tomar las curvas.

Si le das mal el premio

Aquí está la verdadera historia de este capítulo.

Las tres barras de la derecha deciden con qué se da el premio. Vamos a llevarlas al extremo una a una.

Pon Ir rápido a 100 y las demás a 0. Y pulsa Aprender de nuevo desde el principio.

Los coches se estrellan mucho antes. Como no se mide durar mucho, le sale a cuenta pisar a fondo y estrellarse.

Ahora pon solo No chocar a 100.

Casi ninguno se mueve. Porque quedarse quieto es la mejor manera de no chocar.

Solo hizo lo que le pedimos

Las dos veces la máquina encontró con precisión la manera de conseguir más premio.

Nosotros creíamos haber dicho «conduce bien», pero lo que le dimos de verdad fue «premio si vas rápido». Así que fue rápido y ya está.

La IA no aprende lo que queríamos. Aprende a conseguir mucho del premio que le dimos.

Es la pareja de lo que vimos en 3.3. Allí eran las fotos que le dimos las que torcían a la máquina; aquí es el premio que le dimos. Las dos cosas empiezan en lo que da la persona, no en la máquina.

Se acabó la parte 3

Hemos visto tres maneras de aprender: mostrar la respuesta, dar premios y castigos, y también las maneras de aprender mal.

Pero todo lo que hemos tratado hasta aquí era IA que ve: fotos, puntos, caminos.

En la parte 4 pasamos a la IA que maneja lenguaje. Las que más te encuentras hoy en día.

Pero el lenguaje no es como las fotos. Las fotos eran números; ¿cómo se convierte un texto en números?