langchain 入门指南 - 链式请求

Posted on 2024-07-20

在 langchain 中，我们可以将一个任务拆分为多个更简单的子任务，不同的子任务使用不同的 LLM 来处理。

正如在软件工程中，将复杂系统分解为一组模块化组件是一种良好实践一样，对于提交给 GPT 的任务也是如此。复杂任务的错误率往往高于简单任务。此外，复杂任务通常可以重新定义为简单任务的工作流程，其中较早任务的输出用于构建较晚任务的输入。

再有一种场景是，有些简单的任务，我们可以交给一些效率更高、更廉价的 LLM 进行处理。而对于复杂一点的任务，我们可以交给一些能力更强的 LLM 进行处理（同时可能更加昂贵）。

这就等同于一个团队中，有些任务可以交给实习生，有些任务可以交给初级工程师，有些任务可以交给高级工程师。如果一些简单的任务交给高级工程师，可能会浪费资源，而一些复杂的任务交给实习生，可能会导致任务无法完成。

又或者，不同的 LLM 的能力是不一样的（比如一些模型能处理图像，一些模型只能处理文本），我们拆分任务，让不同的 LLM 分别处理，最后将结果整合。

实例一

在下面这个例子中，我们使用了两个 LLM：零一万物的 yi-large 和 OpenAI 的 gpt-3.5-turbo。

要处理的任务是，根据用户输入的内容：

总结其内容。
将总结的内容翻译成英文。

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_openai import ChatOpenAI

# 使用 OpenAI 的 LLM 处理总结的任务
openai_llm = ChatOpenAI(
    model_name="gpt-3.5-turbo",
    temperature=0,
    max_tokens=200,
    api_key="your key",
    base_url="https://api.openai-hk.com/v1",
)
summarizing_prompt_template = """
总结以下文本为一个 20 字以内的句子:
---
{content}
"""
prompt = PromptTemplate.from_template(summarizing_prompt_template)
summarizing_chain = prompt | openai_llm | StrOutputParser()

# 使用零一万物的 LLM 处理翻译的任务
yi_llm = ChatOpenAI(
    model_name="yi-large",
    temperature=0,
    max_tokens=200,
    api_key="your key",
    base_url="https://api.lingyiwanwu.com/v1",
)
translating_prompt_template = """将{summary}翻译成英文"""
prompt = PromptTemplate.from_template(translating_prompt_template)
translating_chain = prompt | yi_llm | StrOutputParser()

overall_chain = summarizing_chain | translating_chain

response = overall_chain.invoke({"content": "这是一个测试。"})

print(response)

输出：

1	This is a test.

在这个例子中，我们依然是使用了管道操作的方式，将两个 LLM 连接在一起，最终得到了我们想要的结果。

实例二

在上面例子的基础上，再调用一个新的模型，并且显示 langchain 的实际处理过程。

下面使用了 LLMChain，因为上面的 prompt | openai_llm 返回的结果并不能作为 SequentialChain 的参数。同时也加上了 verbose=True 参数，以便查看处理过程。

from langchain.chains.llm import LLMChain
from langchain.chains.sequential import SequentialChain
from langchain_core.prompts import PromptTemplate
from langchain_openai import ChatOpenAI

# 使用 OpenAI 的 LLM 处理总结的任务
openai_llm = ChatOpenAI(
    model_name="gpt-3.5-turbo",
    temperature=0,
    max_tokens=200,
    api_key="your key",
    base_url="https://api.openai-hk.com/v1",
)
summarizing_prompt_template = """
总结以下文本为一个 20 字以内的句子:
---
{content}
"""
prompt = PromptTemplate.from_template(summarizing_prompt_template)
summarizing_chain = LLMChain(llm=openai_llm, prompt=prompt, output_key="summary", verbose=True)

# 使用零一万物的 LLM 处理翻译的任务
yi_llm = ChatOpenAI(
    model_name="yi-large",
    temperature=0,
    max_tokens=200,
    api_key="your key",
    base_url="https://api.lingyiwanwu.com/v1",
)
translating_prompt_template = """将{summary}翻译成英文"""
prompt = PromptTemplate.from_template(translating_prompt_template)
translating_chain = LLMChain(llm=yi_llm, prompt=prompt, output_key="translated", verbose=True)

# 智谱清言 LLM 统计翻译后句子的长度
zhipu_llm = ChatOpenAI(
    model_name="glm-4",
    temperature=0,
    max_tokens=200,
    api_key="your key",
    base_url="https://open.bigmodel.cn/api/paas/v4/",
)
translating_prompt_template = """统计{translated}的长度"""
prompt = PromptTemplate.from_template(translating_prompt_template)
stat_chain = LLMChain(llm=zhipu_llm, prompt=prompt, output_key="result", verbose=True)

overall_chain = SequentialChain(
    chains=[summarizing_chain, translating_chain, stat_chain],
    input_variables=["content"],
    output_variables=["result"],
    verbose=True
)

response = overall_chain.invoke({"content": "这是一个测试。"})

print(response)

输出：

> Entering new SequentialChain chain...

> Entering new LLMChain chain...
Prompt after formatting:

总结以下文本为一个 20 字以内的句子:
---
这是一个测试。

> Finished chain.

> Entering new LLMChain chain...
Prompt after formatting:
将这是一个测试。翻译成英文

> Finished chain.

> Entering new LLMChain chain...
Prompt after formatting:
统计This is a test.的长度

> Finished chain.

> Finished chain.
{'content': '这是一个测试。', 'result': '字符串"This is a test."的长度是14个字符。这里包括了空格和句号。'}

输出的模式为：每使用一个 chain，都会输出一行 Entering new LLMChain chain...，在处理完成后，会输出处理结果，接着输出 Finished chain.。

总结

在 langchain 中，我们可以将多个 LLM 连接在一起，形成一个链式请求，以便处理更复杂的任务。将不同的任务交给不同的 LLM 处理，可以提高效率，降低成本。