#markovbot

Ha llegado el momento.

Hace falta una cuenta propia para el bot. Estoy bastante seguro que si usárais vuestra cuenta actual, el bot simplemente publicaría en vuestro nombre con vuestra cuenta. No sé si eso es lo que queréis, pero no es mi caso.

Si no se tiene idea de qué nombre ponerle, el nombre de usuario (o el de la persona a quien se lo hacéis - aseguraos de pedir permiso o que sea alguien que no se vaya a molestar, u os podéis meter en un lío) seguido de “_ebooks” o de “_txt” es una convención bastante típica de hacer bots de Markov en Twitter.

Una vez creada la cuenta del bot, voy a apps.twitter.com desde dicha cuenta y le doy a crear una nueva, rellenando los campos necesarios (si al campo de página web no sabéis qué ponerle, como es mi caso, poned el perfil de la cuenta, leré lerele). Los permisos de esta app tienen que ser leer y escribir (”Read and write”).

Ahora sería un buen momento para decidir cómo organizar los archivos. Yo por ejemplo tengo el código de la clase Markov en un archivo llamado markov.py, y luego un main.py en la misma carpeta que importa el markov.py.

Después de crear la app, en la pestaña de “Keys and Access Tokens” (no sé cómo será en castellano pero probablemente algo de “clave” o “tokens”), le doy a crear un nuevo Access Token en la parte de abajo. Y vuelvo al archivo de Python y me guardo en dos variables como strings, pongamos algo como esto:

Cambiando obviamente el valor del string a mis claves. No compartáis las vuestras por ahí (por ejemplo en un repo de github público - mételo en un archivo separado y usa el gitignore por ejemplo) porque si no, cualquiera podría hacer un script que posteara con la cuenta de vuestro bot. Yo simplemente me espero a un punto del proyecto en que deje de tenerlos temporalmente en este archivo de python, antes de subirlo a ningún repo.

Ahora toca instalarse la librería tweepy, por ejemplo, o si conocéis una que os guste más, pues esa. Yo tiro de tweepy. Y meto estas líneas en la cabecera, copiadas del tuto:

El import de tweepy es bastante autodescriptivo; es el wrapper de la API de Twitter en general. El de sleep de time es para forzar un tiempo de espera y evitar que el bot esté intentando tuitear todo el rato, porque Twitter puede banearlo por spammer; y me ha parecido buena idea. Si por ejemplo queremos tuitear 3 veces al día, 24h/3=8h, y sleep funciona en segundos, tenemos que 8h·3600s/h=28800s, que es el número de delay que pasarle a sleep. Aunque de momento para probar  que funciona voy a probar con unos 300s (5 min).

Para hacer el “boot up” del bot, al comienzo del main (o vosotros a pelo en el archivo, sin main ni tonterías, si a alguien le va ese rollo) pongo:

Esto es básicamente “encender” lo necesario de la librería de tweepy para que el bot haga log in como la cuenta creada antes.

Yo, además, me he hecho ésto al principio del archivo para no tener que pensar luego cómo se manda un tuit o preocuparme de olvidarme el delay o no:

Una tontería de función pero me gusta código legible. Y no hay nada más legible que una función que se llama “tuitear”.

Intento ejecutar el programa con lo que ya hay para asegurarme que no me dejo nada básico, con un tuit tonto de prueba; algo como tweet(api, 'cowabunga'). Y ejecuto el programa con el comando python main.py.

...Sobre todo hay que acordarse de poner los paréntesis al declarar una función.

Vuelvo a probarlo, cruzo los dedos y...

Perfecto. El próximo miro cómo adaptar la clase Markov a un usuario de Twitter, en vez de leer un texto de un archivo.

PD: Y sobre todo, no ejecutéis la prueba más de una vez sin cambiar el tuit a enviar, que Twitter rechaza duplicados consecutivos.

Pues para mí la forma más fácil es pensarlo como “un return de conjuntos en vez de un único valor”. Pero sin ser un set definido de los de programación. Esta es la frase corta con la que me he quedado para recordar cómo funciona fácilmente, pero primero me tuve que mirar y entender una explicación mejor hecha.

Y para entenderlo había que aprender sobre iteradores y generadores. ¿Sabes cómo puedes iterar por una lista, rollo for i in mylist? Esto es porque mylist es un iterable. Hasta aquí todo obvio.

También puedes definir listas de la siguiente manera:

Esto te da una lista con los 30 primeros números impares. Esta forma de definir listas puede resultar familiar si has trabajado con programación funcional (hola Haskell, y gracias), algo cada vez más popular y que cada vez más lenguajes están incorporando; y se llaman listas por comprensión (”list comprehension”). Para los que no, están familiarizados, es básicamente

¿Pero qué pasa si lo definimos así?

Uno podría pensar que es una tupla muy larga. Pero no, es una forma de decir “mylist es esta idea”. Y entonces mylist ya no es una lista, si no un generador. Puedes iterar por mylist, y te dará los valores de la “idea” que has guardado... Pero sólo una vez. O dicho de otra forma, los generadores son iterables de usar y tirar.

¿Qué tiene que ver esto con yield? Pues bien, si a una función le pones “yield” seguido de un valor, esa función dará un “valor de generador”, en vez de devolver un valor, y segirá ejecutando. Esto es una diferencia importante con return. Y el generador “final” que “devuelve” la función será el conjunto de todos esos “valores de generador”, sobre los que podrás iterar... una vez.

Si luego “guardas” el “resultado” de esta función en una variable, ésta se convierte en un generador. O puedes llamar a la función como generador directamente.

Pues esto es lo que hace la función triplets del código de cadenas de Markov que hemos cogido de Internet. Da un conjunto con todas las posibles combinaciones de 3 palabras consecutivas en forma de tupla. En el ejemplo del comentario que viene con el código, para el texto “Qué día tan bonito” te da (”qué”, “día”, “tan”) y (”día”, “tan”, “bonito”).

Luego esto se utiliza en la función database, que lo que hace es iterar por todos los valores que genera triplets, separa los 3 valores, y luego hace un diccionario en el que cada clave es una tupla con la conjunción de los dos primeros valores, y ahí dentro se añade a la lista existente el tercer valor (o se crea una lista con el tercer valor si no existe). De esta forma, para cada 2 palabras consecutivas se tendrá una lista con todas las posibles palabras que se pueden esperar que sean la tercera.

Llegado aquí la primera vez, esto empezaba a cobrar sentido en mi cabeza. El generate_markov_text lo que hace es coger una palabra aleatoria del texto (dividido en palabras en el atributo words, asegurando que no se salga del rango, que haya espacio para 2 palabras detrás de la palabra aleatoria) y la palabra siguiente, que guarda en el string a devolver; y crea una tupla con estas 2 como clave en el diccionario, y entonces de la lista guardada coge una tercera palabra aleatoria que añade al string. Entonces, con la segunda y la tercera palabra hace una nueva clave, que utiliza para coger una nueva lista y un nuevo valor random de la lista. Así, hasta tener size palabras.

Veamos.

Parto de la suposición que todos conocemos lo básico de Python, asignar valores, crear funciones, clases, ... Que es más o menos donde me encuentro yo. Si alguien lo pide, puede que haga algún post repasando lo básico de Python.

Cuando quise hacer mi markovbot para Telegram encontré esta guía. No la seguí porque lo mío no era para Twitter, pero me pareció buena. Y aunque sugieren usar una librería llamada Markovify para las cadenas de Markov, hay un apartado muy cuco que dicen “si queréis os lo podéis picar vosotros también que es muy sencillo” y un link a un ejemplo de implementación. Y realmente es sencillo.

Éste es el ejemplo de implementación. Yo opté por reimplementarlo (que es básicamente copiarlo y adaptar poca cosa porque está muy bien ya) porque no cuesta mucho y así se aprende bien cómo funciona una cadena de Markov por dentro, pero a quien le dé palo puede saltarse esta parte y tirar de Markovify.

Mirando el ejemplo de implementación: primero de todo, se ven 2 palabras que asustan (o al menos a mí me asustaron de entrada): cache y yield. Yo las dejé para el final, a ver si había alguna otra cosa que pudiera reconocer y/o podía deducirlas por contexto.

Lo siguiente que veo es que la clase Markov tiene estos atributos: cache, open_file, words, word_size. Fijándome en la última función, veo que cache es simplemente un diccionario con claves. Podría haberse llamado dict por ejemplo. Un misterio resuelto.

El atributo open_file es claramente, por la función file_to_words, el archivo que se abre para leer el texto que ha de generar las nuevas cadenas de Markov. Este bot va a leer de Twitter probablemente prescinda de esto pero va bien saberlo.

Por la misma función, veo que data es simplemente donde guardamos A PELO el string con todo el texto entero, a saquísimo. Puede que no lo necesite. O puede que sí. De momento no lo toco por si acaso.

Y por ende, veo que words es una lista del string data dividido en cada espacio en blanco, que es lo que hace la función .split() en un string que, si no os acordábais o no lo sabíais, separa cada bloque de caracteres cada vez que encuentra un espacio en blanco, de forma que “patatas fritas” da [”patatas”, “fritas”], y “patatas    \n  fritas” también da [”patatas”, “fritas”].

Y word_size es simplemente un atributo que guarda el número de palabras del texto guardado a saco en data (o en words), para que al generar palabras, el índice aleatorio no se salga del rango de words (que se podría usar len(words), pero a lo mejor eso es más costoso si hay que mirarlo varias veces, no sé).

En el siguiente post veré qué hace yield, y analizaré las funciones triples y database. (Si ya sabes de qué va yield, puedes saltar a #03).

Tengo un poco de experiencia haciendo bots de Telegram (@VylionBot, @PoleWarsBot, @geiserpbot y @velascobot; todos muertos menos el último), así que hace unas semanas decidí hacer un bot markov to chulo como los de Twitter, pero para Telegram (el mismo velascobot que mencionaba antes). Pero lo normal y lo fácil es empezar por uno en Twitter, y es lo que pensaba hacer ahora que ya lo tengo para Telegram; entonces se me ha ocurrido la brillante idea de documentarlo, por si hay alguien más que quiera hacer uno y no sepa por dónde agarrar el tema para empezar, y le sirva lo mío como ejemplo.

Como recordatorio, una cadena de Markov es una cadena de elementos donde podemos predecir el siguiente elemento únicamente a partir del último elemento (o elemento actual), independientemente de los que precedían (normalmente, con probabilidades). En texto, esto normalmente significa la última palabra o el último puñado de palabras. Un bot de Markov es un bot que genera nuevas cadenas usando las probabilidades guardadas. Un chatbot de Markov, o un bot de Markov de texto es un bot que “habla” usando cadenas de Markov.

A mí personalmente me gusta hacer “cadenas de 3″, es decir, que el “elemento actual” sean las 2 últimas palabras, para decidir la tercera; así hice a Velasco, y no tengo pensado cambiarlo. Pero se pueden hacer cadenas de 2 (también muy típico) o de 4 o más (aunque eso es más tocho y menos flexible). Y también se pueden usar cadenas de Markov para otras cosas que no sean textos.

Hay chorromil tutoriales y cosas de bots de éstos para Twitter “para los que no saben programar”, donde simplemente escribes la configuración en un TXT y el programa lo lee y tira. ¿Pero qué gracia tiene? Mi idea es aprender a programar el trastumen éste. Así que yo lo voy a hacer en Python a pelo- que no que es broma, con un API wrapper de Twitter, que es un locurón hacerlo a pelo; pero sí que lo hago en Python. Y voy a programar mi propia clase de cadena Markov (o, técnicamente, copiar la que hice para Velasco y decir cómo la programé, adaptada un poco a Twitter si hace falta).

Tened en cuenta que yo tampoco tengo mucha idea. Voy a ir aprendiendo conforme vayamos haciendo. Y tampoco sé cuándo voy a tener libre para ir haciendo. Buena suerte. Aunque podéis esperar al menos un post nuevo esta semana.