Prompt Engineering Avanzado: Chain-of-Thought, ReAct y Tree-of-Thoughts

Introducción

En el vertiginoso mundo de la inteligencia artificial, la forma en que nos comunicamos con los modelos de lenguaje ha evolucionado drásticamente. Ya no basta con escribir una simple instrucción; necesitamos técnicas sofisticadas para desbloquear todo el potencial de modelos como GPT-4, Claude o Gemini. El prompt engineering avanzado se ha convertido en una habilidad crucial para desarrolladores, científicos de datos y empresas que buscan aprovechar la IA generativa de manera efectiva.

En este artículo, exploraremos tres técnicas poderosas que están revolucionando la interacción con los LLMs: Chain-of-Thought (CoT), ReAct y Tree-of-Thoughts (ToT). Estas metodologías no solo mejoran la precisión de las respuestas, sino que también permiten un razonamiento más profundo y estructurado, abriendo nuevas posibilidades en áreas como la resolución de problemas complejos, el análisis de datos y la automatización de tareas.

Contexto: La evolución del prompt engineering

El prompt engineering no es un concepto nuevo, pero ha ganado relevancia con la llegada de modelos más potentes. Inicialmente, los prompts eran simples: "Traduce esto", "Resume este texto". Sin embargo, con el aumento de la capacidad de los modelos, se hizo evidente que la forma en que se formula la pregunta afecta significativamente la calidad de la respuesta.

Según un estudio de OpenAI, el uso de técnicas avanzadas de prompting puede mejorar la precisión en tareas de razonamiento en más de un 20% en comparación con prompts estándar. Esta mejora es crucial en aplicaciones donde la exactitud es crítica, como el diagnóstico médico, el análisis financiero o la programación.

Chain-of-Thought (CoT): Razonamiento paso a paso

¿Qué es Chain-of-Thought?

Chain-of-Thought es una técnica que consiste en guiar al modelo a través de un proceso de razonamiento paso a paso antes de dar una respuesta final. En lugar de pedir directamente una respuesta, le decimos al modelo que "piense en voz alta" y desglose el problema en subproblemas más pequeños.

Por ejemplo, en lugar de preguntar "¿Cuál es la capital de Francia?", podemos estructurar el prompt así:

Pregunta: ¿Cuál es la capital de Francia?
Paso 1: Identificar el país. Francia es un país de Europa.
Paso 2: Recordar capitales de países europeos. La capital de Francia es París.
Respuesta: París.

¿Por qué funciona?

Los modelos de lenguaje están entrenados con grandes cantidades de texto, lo que les permite aprender patrones lingüísticos, pero no necesariamente razonamiento lógico. Al proporcionar una estructura de razonamiento, ayudamos al modelo a activar sus conocimientos de manera más organizada, reduciendo errores y mejorando la coherencia.

Un estudio publicado en 2022 por Google Research demostró que CoT mejora significativamente el rendimiento en tareas de aritmética, sentido común y razonamiento simbólico. En el benchmark GSM8K (problemas matemáticos de escuela), el uso de CoT elevó la precisión de GPT-3 de 18% a 58%.

Variantes de CoT

Existen varias variantes de CoT, entre las que destacan:

• Auto-CoT: El modelo genera sus propios pasos de razonamiento sin ejemplos proporcionados por el usuario.
• Zero-shot CoT: Se añade la frase "Pensemos paso a paso" al prompt, sin ejemplos previos.
• Few-shot CoT: Se proporcionan algunos ejemplos resueltos con razonamiento paso a paso, y luego se pide al modelo que resuelva un nuevo problema siguiendo el mismo patrón.

Implementación práctica

Para implementar CoT, puedes usar la siguiente plantilla:

Pregunta: [Tu pregunta]
Paso 1: [Describe el primer paso lógico]
Paso 2: [Continúa con los pasos necesarios]
...
Respuesta final: [La respuesta]

En Python, con la API de OpenAI, podrías hacer:

import openai

prompt = """
Pregunta: Si Juan tiene 3 manzanas y María le da 2 más, ¿cuántas manzanas tiene Juan?
Paso 1: Juan tiene inicialmente 3 manzanas.
Paso 2: María le da 2 manzanas, por lo que sumamos 3 + 2 = 5.
Respuesta final: Juan tiene 5 manzanas.

Pregunta: Si un tren viaja a 60 km/h durante 2 horas, ¿qué distancia recorre?
Paso 1: La velocidad es 60 km/h.
Paso 2: El tiempo es 2 horas.
Paso 3: Distancia = velocidad * tiempo = 60 * 2 = 120 km.
Respuesta final: El tren recorre 120 km.
"""

response = openai.Completion.create(
    engine="text-davinci-003",
    prompt=prompt,
    max_tokens=150
)
print(response.choices[0].text.strip())

ReAct: Razonamiento + Acción

¿Qué es ReAct?

ReAct (Reasoning + Acting) es una técnica que combina el razonamiento con la capacidad de tomar acciones externas, como consultar una API, buscar en internet o ejecutar código. Esta metodología permite que el modelo no solo razone sobre el conocimiento interno, sino que también acceda a información actualizada o realice cálculos precisos.

ReAct se basa en un ciclo iterativo donde el modelo:

1. Razona sobre la tarea.
2. Actúa (por ejemplo, hace una llamada a una herramienta).
3. Observa el resultado de la acción.
4. Repite hasta llegar a una respuesta final.

Caso de uso: Agente de búsqueda

Imagina que quieres que un modelo responda a la pregunta: "¿Cuál fue la población de España en 2023?" El modelo puede no tener ese dato exacto, pero puede usar ReAct para buscar en internet.

Un prompt ReAct podría verse así:

Pregunta: ¿Cuál fue la población de España en 2023?
Pensamiento 1: Necesito buscar la población de España en 2023.
Acción 1: Buscar["población de España 2023"]
Observación 1: La población de España en 2023 fue de 48,345,223 según el INE.
Pensamiento 2: Tengo la información, ahora puedo responder.
Respuesta final: La población de España en 2023 fue de 48,345,223.

En la práctica, esto se implementa con herramientas como la API de SerpAPI para búsquedas, o con un intérprete de Python para cálculos.

Implementación con LangChain

LangChain es un framework popular que facilita la implementación de ReAct. Aquí tienes un ejemplo sencillo:

from langchain.agents import load_tools, initialize_agent, AgentType
from langchain.llms import OpenAI

llm = OpenAI(temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)

agent.run("¿Cuál era la población de España en 2023? Multiplícala por 2.")

Este agente razonará que necesita buscar la población y luego realizar la multiplicación, utilizando las herramientas adecuadas.

Beneficios de ReAct

• Precisión: Acceso a datos actualizados y cálculos exactos.
• Transparencia: El proceso de razonamiento es visible, lo que facilita la depuración.
• Flexibilidad: Puede adaptarse a una amplia variedad de tareas que requieren interacción con el mundo exterior.

Tree-of-Thoughts (ToT): Exploración de múltiples caminos

¿Qué es Tree-of-Thoughts?

Tree-of-Thoughts es una técnica más avanzada que permite al modelo explorar múltiples líneas de razonamiento simultáneamente, evaluando cada una y eligiendo la más prometedora. En lugar de seguir una única cadena de pensamiento, el modelo genera un árbol de posibles pasos, y mediante un proceso de búsqueda (como BFS o DFS) encuentra la mejor solución.

Esta técnica es especialmente útil para problemas que requieren planificación o donde hay múltiples soluciones posibles, como la resolución de puzzles, la generación de código complejo o la toma de decisiones estratégicas.

¿Cómo funciona?

El proceso se puede resumir en los siguientes pasos:

1. Generación: El modelo propone varios posibles próximos pasos (pensamientos) a partir del estado actual.
2. Evaluación: Cada paso se evalúa mediante una función de valor (puede ser el propio modelo o un evaluador externo).
3. Expansión: Se seleccionan los pasos más prometedores y se generan nuevas ramas.
4. Selección final: Se elige la ruta que lleva a la mejor respuesta.

Ejemplo: Resolver un problema matemático

Supongamos que queremos resolver: "Usa los números 4, 5, 6 y 7 (una vez cada uno) y las operaciones +, -, *, / para obtener 24." Con ToT, el modelo podría explorar:

• Rama 1: (4+5) = 9, luego 9*6 = 54, luego 54/7 ≈ 7.71 (no da 24).
• Rama 2: (7-5) = 2, luego 26 = 12, luego 124 = 48 (no da 24).
• Rama 3: (7+5) = 12, luego 12*4 = 48, luego 48/6 = 8 (no da 24).
• Rama 4: (7-4) = 3, luego 3*5 = 15, luego 15+6 = 21 (no da 24).
• Rama 5: (7*4) = 28, luego 28-5 = 23, luego 23+6 = 29 (no da 24).
• Rama 6: (6*5) = 30, luego 30-7 = 23, luego 23+4 = 27 (no da 24).
• Rama 7: (7+4) = 11, luego 11*5 = 55, luego 55/6 ≈ 9.17 (no da 24).
• Rama 8: (7*5) = 35, luego 35-6 = 29, luego 29+4 = 33 (no da 24).
• Rama 9: (7*6) = 42, luego 42/ (5-4) = 42, luego 42 - 18? No.

El modelo evaluaría cada rama y descartaría las que no llevan a la solución, hasta encontrar una combinación que dé 24, como (7-5/4)*6 = 24.

Implementación básica

Implementar ToT desde cero es complejo, pero podemos bosquejar el enfoque:

# Pseudocódigo para ToT
def tree_of_thoughts(problem, generate_thoughts, evaluate, max_depth):
    states = [initial_state]
    for depth in range(max_depth):
        new_states = []
        for state in states:
            thoughts = generate_thoughts(state)
            for thought in thoughts:
                value = evaluate(thought)
                if value > threshold:
                    new_states.append(thought)
        states = new_states
    return best_solution(states)

En la práctica, se utilizan librerías como tree-of-thoughts de GitHub, que proporcionan una implementación más robusta.

Rendimiento de ToT

Un estudio de Princeton y Google DeepMind mostró que ToT mejora significativamente el rendimiento en tareas de planificación y resolución de problemas. En el juego de 24, ToT logró una precisión del 74% frente al 4% de CoT estándar. En el problema de las 8 reinas, ToT resolvió el 100% de los casos frente al 40% de CoT.

Comparativa de técnicas

Técnica	Enfoque	Cuándo usarla	Ejemplo de uso
Chain-of-Thought	Razonamiento paso a paso	Problemas de lógica, matemáticas, sentido común	Resolver una ecuación, responder preguntas de cultura general
ReAct	Razonamiento + acciones externas	Tareas que requieren información actualizada o cálculos	Consultar el clima, buscar datos, ejecutar código
Tree-of-Thoughts	Exploración de múltiples caminos	Problemas con múltiples soluciones, planificación	Puzzles, diseño de algoritmos, estrategia de juego

Consejos para implementar estas técnicas

1. Empieza con CoT: Es la más sencilla y suele dar buenos resultados. Agrega "Pensemos paso a paso" a tus prompts.
2. Prueba ReAct cuando necesites datos externos: Utiliza herramientas como LangChain para integrar APIs y motores de búsqueda.
3. Reserva ToT para problemas complejos: Su implementación requiere más recursos, pero vale la pena en casos de alta complejidad.
4. Itera y evalúa: No hay una técnica universal. Experimenta con diferentes enfoques y mide el rendimiento con métricas claras.
5. Considera el costo computacional: ToT puede generar muchas llamadas al modelo, lo que incrementa el costo. Úsalo con moderación.

Conclusión

El prompt engineering avanzado es una disciplina que está evolucionando rápidamente. Técnicas como Chain-of-Thought, ReAct y Tree-of-Thoughts nos permiten ir más allá de las respuestas superficiales y obtener razonamientos profundos, precisos y accionables. Al dominar estas técnicas, puedes mejorar significativamente la calidad de tus aplicaciones de IA, desde chatbots hasta asistentes de análisis de datos.

En Tanok Tech, somos expertos en implementar soluciones de IA personalizadas que aprovechan estas técnicas para resolver problemas de negocio reales. Si deseas llevar tus proyectos de IA al siguiente nivel, no dudes en contactarnos. Nuestro equipo de consultores te ayudará a diseñar e implementar estrategias de prompt engineering avanzado que maximicen el valor de tus modelos.

¿Listo para transformar tu negocio con IA? Contáctanos hoy para una consulta gratuita.

---

Este artículo fue escrito por el equipo de Tanok Tech, especialistas en desarrollo de software y consultoría de IA.