目录

一、介绍

二、使用示例

三、Advisor开发前言

四、Advisor实践—多轮对话记忆

 (1)基于内存存储的对话记忆数据

(2)基于mysql实现持久化记忆


        大家好,我是jstart,今天给大家讲讲Spring AI中的一个核心特性——Advisors。这个特性是指在帮大家能完成模型调用的基础上,进行对AI功能的定制化增强,Advisors的功能非常强大,几乎所有增强都依靠它来完成。

如果大家还不能正常地在程序接入大模型并完成调用,那么大家可以看看这两篇博客:


【Spring AI Alibaba】接入大模型-CSDN博客

【java】AI内容用SSE流式输出响应给前端,实现打字机效果-CSDN博客


一、介绍

官方文档:Advisors API :: Spring AI 参考

        在官方的介绍中,Spring AI Advisors API 提供了一种灵活而强大的方式来拦截、修改和增强 Spring 应用程序中的 AI 驱动交互。 通过利用 Advisors API,开发人员可以创建更复杂、可重用和可维护的 AI 组件。

        主要优势包括封装重复出现的生成式 AI 模式、转换与大型语言模型 (LLM) 发送和发送的数据,以及提供跨各种模型和用例的可移植性。

 总之,记住一句话就行了:advisor就是一个拦截器,在用户发送问题之后,在调用大模型之前,进行一系列增强。具体是什么增强,就与advisor的类型有关了,下面也会带大家实现advisor。

二、使用示例

advisor的难点在与如何开发advisor,置于advisor的使用是非常简单的,只需要把对应的advisor对象创建出来,然后作为参数进行传递即可。

官方示例代码:

var chatClient = ChatClient.builder(chatModel)
    .defaultAdvisors(
        MessageChatMemoryAdvisor.builder(chatMemory).build(), // chat-memory advisor
        QuestionAnswerAdvisor.builder((vectorStore).builder() // RAG advisor
    )
    .build();

var conversationId = "678";

String response = this.chatClient.prompt()
    // Set advisor parameters at runtime
    .advisors(advisor -> advisor.param(ChatMemory.CONVERSATION_ID, conversationId))
    .user(userText)
    .call()
	.content();

代码解释:


三、Advisor开发前言

        在实际开发中,我们往往需要用到多个拦截器,组合在一起相当于一条拦截链,每个拦截器都是有顺序的,通过实现Order接口,重写getOrder()方法来确定先后顺序,值越小,优先级越高。

        advisor有两种模式:流式Streaming和非流式Non-Streaming,二者在用法上没有什么区别,只是返回值不同而已。为了保证通用性,在开发advisor时,两种模式都要实现,其实就是这两个模式的方法都要进行重写。


四、Advisor实践—多轮对话记忆

 (1)基于内存存储的对话记忆数据

         其实在springAI中,已经内置有了关于对话记忆的advisor,所以当我们需要开发其他advisor时,也可以参考其内置的advisor来开发。

        言归正传,虽然说SpringAI已经内置了多轮对话记忆的advisor,也就是MessageChatMemoryAdvisor。但是,对话记忆是要将用户的对话数据存储起来,置于存储在哪里,如何进行存储,就是我们编码的重点了。

        SpringAI也提供了一个基于内存来存储的示例,但是基于内存来存储对话记忆的话,只要服务器一重启,会话数据就会丢失,所以我们要自己实现一种可以持久化存储对话记忆的实现类。从上面的截图也可以看到,这里我选择的是使用mysql数据库来实现持久化记忆。这里先看一下基于内存来存储对话记忆的使用,非常简单,直接new出来即可。

   查看InMemoryChatMemory的源码:

在ChatMemory接口中

在源码中发现,无非就是实现了一个固定的ChatMemory接口,然后重写里面的add、get、clear方法,也就是增删改方法了,非常简单,所以我们要实现使用mysql来持久化时,只需要同样的实现接口—重写方法—实现对数据库的增删改操作即可。


(2)基于mysql实现持久化记忆

难点在于——AI对话记忆中有多种类型,比如用户的消息实体,助手的消息实体(AI的回复)等等,难点在于如何将他们正确的按照对应的实体进行序列化和反序列化。

思路:

  1. 数据库实体设计:定义好消息类型(type)和消息内容(text)字段
  2. add方法中,从参数的Message对象中,取出type和text单独封装到数据库对应的实体,然后再保存到数据库
  3. 定义枚举,String类型记录type属性,Class类型指定对应type的字节码,便于返序列化
        private final String value;
    
        private final Class<?> clazz;
  4. get方法中:①获取到数据库的数据并封装到该表对应的实体,通过该实体的type属性和刚刚定义的枚举,获取到该条消息的字节码类型;②再通过序列化库(比如gson),将text的json格式数据反序列化成字节码对象;③最后强转成get方法返回值需要的类型。
    private Message getMessage(ConversationMemory conversationMemory) {
            String memory = conversationMemory.getMemory();
            Gson gson = new Gson();
            return (Message) gson.fromJson(memory, MessageTypeEnum.fromValue(conversationMemory.getMessageType()).getClazz());
        }

 

Logo

全面兼容主流 AI 模型,支持本地及云端双模式

更多推荐