0%

langchain 入门指南 - 函数调用

OpenAI 引入函数调用(function calling)功能是为了增强其语言模型的能力,使其能够执行更复杂、更具体的任务。 通过函数调用,模型可以与外部软件、数据库或其他服务进行交互,从而执行计算、查询信息、执行操作等。

以下是函数调用的一些潜在好处:

  1. 扩展能力:函数调用允许模型执行超出其预训练知识范围的任务,例如实时数据检索、执行复杂计算等。
  2. 实时数据:模型可以访问最新的数据,而不是仅仅依赖于训练时所学的知识。
  3. 定制化服务:通过调用特定函数,用户可以根据自己的需求定制模型的行为,使其更好地适应特定的应用场景。
  4. 安全性与隐私:在某些情况下,函数调用可以提供更安全的数据处理方式,例如在本地执行敏感数据的操作,而不是将数据发送到外部服务器。
  5. 效率提升:对于需要大量计算的任务,函数调用可以利用外部服务的高效计算能力,而不是仅仅依赖于模型的内部处理。
  6. 灵活性:函数调用使得模型可以与各种外部系统集成,从而提供更加灵活和多样化的服务。

总之,函数调用是 OpenAI 为了提高其语言模型的实用性和灵活性而采取的一种策略,它使得模型能够更好地与外部世界交互,执行更复杂的任务,并为用户提供更加定制化和高效的服务。

函数调用的流程

  1. 将使用方法(工具)说明随用户请求一起放在 Prompt 中传给 GPT。
  2. GPT 返回要调用的方法名及参数值,然后在外部运行该方法获得结果。
  3. 将调用结果及前面的对话历史一起放入 Prompt,再次调用 GPT。

函数调用实现基本思路

  • 构建一个 dict 对象存储方法名及其对应的函数。
  • Prompt 中加入方法定义
  • 根据 LLM 的返回,决定是否调用函数(返回信息中含有 "function_call"),还是直接返回信息给用户
  • 如需调用函数,则调用 LLM 指定函数,并将结果及调用的函数一起放在 Prompt 中再次调用 LLM。

示例

下面的示例中:

  • query_weather 是查询天气的函数,写死了返回值。在实际应用中可以调用天气 API 来获取实时天气信息。
  • query 是我们要询问 LLM 的方法。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import json

from openai import OpenAI
from openai.types.chat import ChatCompletionMessage

client = OpenAI(
api_key="your key",
base_url="https://api.openai-hk.com/v1"
)

def query_weather(question):
print(f'calling query_weather. question: {question}')
return "今天广州天气晴朗,26~35摄氏度。"

funcs = {'query_weather': query_weather}

def query(msg: list) -> ChatCompletionMessage:
response = client.chat.completions.create(
model='gpt-4',
messages=msg,
functions=[
{
"name": "query_weather",
"description": "如果需要查询天气,则调用",
"parameters": {
"type": "object",
"properties": {
"question": {
"type": "string",
"description": "问题"
}
},
"required": ["question"]
}
}
],
function_call="auto"
)

message = response.choices[0].message
# 如果不需要调用 function,则直接返回结果
if not message.function_call:
return message

# 调用 function
print('calling function.')
function_name = message.function_call.name
function_args = json.loads(message.function_call.arguments)
# 执行调用
res = funcs[function_name](**function_args)
msg.append({
'role': 'function',
'name': function_name,
'content': res,
})
return query(msg)

res1 = query([{'role': 'user', 'content': '今天广州适合穿什么?'}])
print(res1.content)

说明:

  • query_weather 是一个查询天气的函数,接收一个问题参数,返回天气信息。例子中写死了。
  • 我们需要使用 OpenAI.chat.completions.create 方法来做有 function calling 的操作。
  • 使用了 gpt-4 模型,因为 gpt-3.5-turbo 并不能根据我的问题来推理出需要查询广州的天气。
  • 在函数调用之后,我们会将函数调用的结果及函数名一起放入 Prompt 中再次调用 LLM。
  • 最终 LLM 能根据我们的问题,以及函数调用的结果,告诉我们广州今天的天气适合穿什么。

实际过程其实是,我们告诉了 GPT 一些可以使用的工具,然后 GPT 可以推理出什么时候以及用什么参数来调用这些工具,从而得到我们想要的结果。 如果需要 GPT 精确地调用某个函数,我们需要在 create 方法中传递参数地时候就描述清除方法在什么时候调用,以及函数地目的是什么,参数是什么,参数的作用是什么等。

应用:让 LLM 帮助我们实时搜索

我们可以使用前面文章提到过的 GoogleSerperAPIWrapper 来帮助我们完成搜索任务。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
import json

from openai import OpenAI
from openai.types.chat import ChatCompletionMessage

client = OpenAI(
api_key="your key",
base_url="https://api.openai-hk.com/v1"
)

import os
# https://serper.dev
os.environ['SERPER_API_KEY'] = 'your serper api key'

from langchain_community.utilities import GoogleSerperAPIWrapper

def query_web(question):
search = GoogleSerperAPIWrapper()
res = search.run(question)
print(f"calling query_web. question: {question}, res: {res}")
return res

funcs = {'query_web': query_web}

def query(msg: list) -> ChatCompletionMessage:
response = client.chat.completions.create(
model='gpt-4',
messages=msg,
functions=[
{
"name": "query_web",
"description": "如果需要查询一些实时信息,你可以调用这个函数",
"parameters": {
"type": "object",
"properties": {
"question": {
"type": "string",
"description": "问题"
}
},
"required": ["question"]
}
}
],
function_call="auto"
)

message = response.choices[0].message
# 如果不需要调用 function,则直接返回结果
if not message.function_call:
return message

# 调用 function
print('calling function.')
function_name = message.function_call.name
function_args = json.loads(message.function_call.arguments)
# 执行调用
res = funcs[function_name](**function_args)
msg.append({
'role': 'function',
'name': function_name,
'content': res,
})
return query(msg)

res1 = query([{'role': 'user', 'content': '今天广州适合穿什么?'}])
print(res1.content)

这个例子跟上面的例子差不多,只是这个例子中,我们做了实时的搜索,而不是写死了返回值。

输出:

1
2
3
4
calling function.
calling query_web. question: 今天广州的天气情况, res: 84°F
今天广州的温度约为29°C,适宜穿短袖、短裤、裙子等清凉的夏季服装。
出门的时候可能要带一把伞,避免炎热的阳光或突然的暴雨。

我们可以问一下实时性更强的问题:

1
2
res1 = query([{'role': 'user', 'content': '2024 欧洲杯冠军是哪个国家?'}])
print(res1.content)

输出:

1
2
3
calling function.
calling query_web. question: 2024 欧洲杯冠军是哪个国家?, res: 明智 责编:胡军华举报 据央视新闻,当地时间7月14日(中国时间7月15日),在德国柏林举行的2024欧洲杯决赛中,西班牙2:1战胜英格兰夺得冠军。 值得一提的是,本届欧洲杯西班牙7场比赛全胜,创造了赛事历史。
2024年欧洲杯的冠军是西班牙。

可以看到,我们可以通过 LLM 来实时搜索一些信息。 通过这种方式,我们就等于在一定程度上拓展了 LLM 的能力,因为它获取信息的渠道不只是之前训练时用的数据了。

总结

函数调用是 OpenAI 为了提高其语言模型的实用性和灵活性而采取的一种策略, 它使得模型能够更好地与外部世界交互,执行更复杂的任务,并为用户提供更加定制化和高效的服务。