基于 Java 的 LLM 应用开发及编排框架,Agents-Flex beta.12 发布插图

使用 “通义千问” 大语言模型:

使用 “讯飞星火” 大语言模型:

历史对话示例

Function Calling

  • 第一步:通过注解定义本地方法
  • 第二步:通过 Prompt、Functions 传入给大模型,然后得到结果

生态支持

大语言模型

大语言模型名称 支持情况 描述
ChatGPT ✅ 已支持
Ollama 部署模型 ✅ 已支持
星火大模型 ✅ 已支持
通义千问 ✅ 已支持
智普 ChatGLM ✅ 已支持
月之暗面 Moonshot ✅ 已支持
扣子 Coze ✅ 已支持
GiteeAI – Qwen2-7B-Instruct ✅ 已支持
GiteeAI – Qwen2-72B-Instruct ✅ 已支持
GiteeAI – Yi-1.5-34B-Chat ✅ 已支持
GiteeAI – glm-4-9b-chat ✅ 已支持
文心一言 计划中… 期待 PR

图片生成模型

大语言模型名称 支持情况 描述
Openai ✅ 已支持
Stability ✅ 已支持
GiteeAI – stable-diffusion-3-medium ✅ 已支持
GiteeAI – FLUX.1-schnell ✅ 已支持
GiteeAI – stable-diffusion-xl-base-1.0 ✅ 已支持
GiteeAI – Kolors ✅ 已支持
更多 计划中… 期待 PR

向量化模型

大语言模型名称 支持情况 描述
Openai ✅ 已支持
星火大模型 ✅ 已支持
智普 ChatGLM ✅ 已支持
Ollama ✅ 已支持
通义千问 ✅ 已支持
GiteeAI – bge-small-zh-v1.5 ✅ 已支持
GiteeAI – bge-large-zh-v1.5 ✅ 已支持
GiteeAI – bge-m3 ✅ 已支持
更多 计划中… 期待 PR

向量存储(向量数据库)

向量数据库名称 支持情况 描述
Milvus ✅ 已支持
阿里云向量数据存储服务 ✅ 已支持
腾讯云向量数据存储服务 ✅ 已支持
OpenSearch ✅ 已支持
ElasticSearch ✅ 已支持
Redis ✅ 已支持
Chroma 计划中… 期待 PR
Cassandra 计划中… 期待 PR
Gemfire 计划中… 期待 PR
Weaviate 计划中… 期待 PR

文档解析器

向量数据库名称 支持情况 描述
PDFBox ✅ 已支持 用于解析 PDF 文档
POI ✅ 已支持 用于解析 Word 文档
OmniParse ✅ 已支持 更丰富的解析能力
更多 计划中… 期待 PR

 

 

模块构成

基于 Java 的 LLM 应用开发及编排框架,Agents-Flex beta.12 发布插图1

更新记录:

– 新增:GenerateImageRequest 添加反向提示词相关属性
– 新增:Maps 工具类添加 putOrDefault 方法
– 新增:添加 siliconFlow 的图片模型的支持
– 新增: ChatOptions 添加 “seed” 属性
– 新增:Maps 可以 put 一个子 map 的功能
– 新增:新增 Ollama 的函数调用(Function Calling)的支持
– 新增:添加 StringUtil.isJsonObject 方法
– 优化:重构 BaseImageRequest 类,添加 options 属性
– 优化:重构 ImagePrompt 使之继承于 HumanMessage
– 优化:重构 ImageResponse 类,添加 error 和 errorMessage 属性
– 优化:修改 Image.writeBytesToFile 方法为 writeToFile
– 优化:重命名 “giteesd3” 为 “gitee”
– 优化:重构 VectorData.toString 方法
– 优化:添加 DocumentStoreConfig,向量数据库的配置都实现 DocumentStoreConfig
– 优化:重构优化 HistoriesPrompt,使其支持更多的属性配置
– 优化:更新 agents-flex-bom 的 pom.xml
– 优化:升级 jedis 版本为 “5.2.0”
– 优化:重构 RedisVectorStore 的错误信息,使之错误信息更加友好
– 修复:修复 jdk17 下出现 NoSuchMethodError 问题,感谢 @songyinyin #I9AELG

免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表一休教程网的观点和立场。