Antfly：基于Go的分布式多模态搜索、记忆与图数据库
大家好，很高兴向大家介绍Antfly：这是一个用Go语言编写的分布式文档数据库和搜索引擎，集成了全文搜索、向量搜索和图搜索功能。可用于分布式多模态搜索与记忆系统，也适合本地开发和小规模部署。我开发这个项目的初衷是为开发者提供单二进制部署方案，并内置机器学习推理能力（通过名为Termite的内置服务），这意味着除非你主动选择，否则无需为向量搜索调用外部API。以下是可能吸引大家的特点：功能特性：支持多模态索引（图像、音频、视频）、类似MongoDB的原位更新、流式RAG。分布式系统：基于etcd库构建的多Raft架构，采用Pebble存储引擎（CockroachDB的存储引擎）。元数据和数据分片各自拥有独立的Raft组。单二进制部署：antfly swarm提供单进程部署方案，所有组件一体化运行，非常适合本地开发和小规模部署。需要时可通过添加节点实现横向扩展。生态系统：内置Kubernetes操作器和用于LLM工具的MCP服务器。原生ML推理：Antfly内置Termite服务，可以理解为内置的非生成式模型专用Ollama（支持嵌入、重排序、分块、文本生成等）。无需外部API调用，但也支持对接外部服务（OpenAI、Ollama、Bedrock、Gemini等）。许可证：我选择了Elastic License v2（非OSI认证许可证）。我知道这个话题容易引发激烈讨论。实际影响是：你可以使用、修改、自托管、基于它构建产品，但不能将Antfly本身作为托管服务提供。我认为这是在项目可持续性和开源之间的合理权衡。很乐意回答关于架构、Raft实现或其他任何问题。欢迎反馈！
- API 平台
- 云原生
- 大语言模型
✨ AI 摘要
Antfly是一个用Go编写的分布式文档数据库和搜索引擎，集成了全文、向量和图搜索功能。它采用单二进制部署，内置机器学习推理能力，用于嵌入及其他任务处理。
适合谁
需要为多模态数据（图像、音频、视频）提供统一搜索解决方案的开发人员, 寻求为RAG应用部署自托管、分布式搜索与记忆系统的团队, 需要本地开发或小型部署且无需依赖外部API的项目
为什么值得关注
它提供了一个单一、自包含的多模态搜索系统，具备原生机器学习推理能力，无需外部API调用，同时支持分布式扩展。
核心特性
- 在单一分布式数据库中融合全文、向量和图搜索
- 内置机器学习推理服务，用于嵌入、重排序和分块，无需外部API
- 支持图像、音频和视频文档的多模态索引
- 单二进制部署便于本地开发，轻松扩展至分布式集群
使用场景
- 一家媒体公司希望构建一个内部档案搜索系统，让记者能够使用自然语言查询来查找视频片段、音频采访和图片。他们的工程团队没有为不同媒体类型维护独立的数据库并依赖外部AI服务，而是在内部服务器上部署了Antfly作为单一二进制文件。现在，记者可以同时跨所有媒体格式进行搜索，系统利用材料中提到的人物、事件和主题之间的图关系自动推荐相关内容。
- 一家开发AI驱动研究助手的初创公司需要实现一个记忆系统，能够跨会话记住用户交互、文档和网页。他们的开发人员使用Antfly的本地部署模式进行原型设计，利用其内置的嵌入模型对内容进行向量化，无需API成本。随着规模扩大，他们将数据库分布在多个节点上，同时保持对过往对话和检索文档进行语义搜索的能力，使助手能够提供上下文相关的答案。
- 一家电子商务平台希望通过允许客户使用图片或模糊描述进行搜索来增强产品发现功能。他们的后端团队实施Antfly来索引产品图片、描述和客户评论情感。当用户上传所需物品的照片时，系统会找到视觉上相似的产品，并根据购买图模式推荐互补商品，同时通过MongoDB风格的操作处理实时库存更新。