検索

Antfly: Goで構築された分散型マルチモーダル検索・メモリ・グラフシステム

HNの皆さん、Antflyを紹介できることを嬉しく思います。これはGoで書かれた分散型ドキュメントデータベース兼検索エンジンで、全文検索、ベクトル検索、グラフ検索を統合しています。分散型マルチモーダル検索とメモリシステムとして、あるいはローカル開発や小規模デプロイメントにご利用いただけます。開発者向けに、ネイティブML推論(Termiteという組み込みサービス経由)を備えたシングルバイナリデプロイメントを実現するために構築しました。つまり、ベクトル検索に外部API呼び出しは不要です(必要に応じて使用可能)。このコミュニティに関心がありそうな機能:マルチモーダルインデックス作成(画像、音声、動画)、MongoDBスタイルのインプレース更新、ストリーミングRAG。分散システム:etcdライブラリ上に構築されたマルチRaft構成、Pebble(CockroachDBのストレージエンジン)をバックエンドに使用。メタデータとデータシャードはそれぞれ独自のRaftグループを持ちます。シングルバイナリ:antfly swarmはすべてを単一プロセスで実行するデプロイメントを提供。ローカル開発や小規模デプロイメントに最適。必要に応じてノードを追加してスケールアウト可能。エコシステム:KubernetesオペレーターとLLMツール使用のためのMCPサーバーを同梱。ネイティブML推論:AntflyはTermiteを同梱。非生成モデル用の組み込みOllamaのようなものと考えてください(埋め込み、再ランキング、チャンキング、テキスト生成)。外部API呼び出しは不要ですが、対応もしています(OpenAI、Ollama、Bedrock、Geminiなど)。ライセンス:Elastic License v2を採用(OSI承認ライセンスではありません)。この話題には強い意見があることは承知しています。実用的な結果:使用、改変、セルフホスティング、製品構築は可能ですが、Antfly自体をマネージドサービスとして提供することはできません。ソースコードを公開しつつ持続可能性を確保するための適切なバランスと考えています。アーキテクチャ、Raft実装、その他何についても質問にお答えします。フィードバック歓迎!

  • APIプラットフォーム
  • LLM
  • SaaS

AI サマリー

AntflyはGoで書かれた分散ドキュメントデータベース兼検索エンジンで、全文、ベクトル、グラフ検索機能を統合しています。埋め込みや他のタスク向けの組み込みML推論を備えた単一バイナリデプロイメントを特徴とします。

おすすめ対象

マルチモーダルデータ(画像、音声、動画)の統合検索ソリューションを必要とする開発者, RAGアプリケーション向けの自己ホスト型分散検索・メモリシステムを探すチーム, 外部API依存なしでローカル開発または小規模デプロイメントを必要とするプロジェクト

重要な理由

ネイティブML推論によるマルチモーダル検索を単一の自己完結型システムで提供し、外部API呼び出しの必要性を排除しながら分散スケーリングをサポートします。

主な機能

  • 全文検索、ベクトル検索、グラフ検索を単一の分散データベースに統合
  • 外部API不要で埋め込み、ランキング再調整、チャンキングのための組み込みML推論サービス
  • 画像、音声、動画ドキュメントのマルチモーダルインデックスをサポート
  • ローカル開発用のシングルバイナリ配備から分散クラスターへの容易なスケーリング

ユースケース

  • メディア企業が、ジャーナリストが自然言語クエリでビデオクリップ、音声インタビュー、画像を検索できる社内アーカイブ検索システムを構築したいと考えています。異なるメディアタイプごとに個別のデータベースを維持し、外部AIサービスに依存する代わりに、エンジニアリングチームはAntflyを単一バイナリとして社内サーバーにデプロイします。これにより、ジャーナリストはすべてのメディアフォーマットを同時に検索できるようになり、システムは資料に言及された人物、イベント、トピック間のグラフ関係を利用して関連コンテンツを自動的に提案します。
  • AI搭載リサーチアシスタントを開発するスタートアップは、セッションを超えてユーザーインタラクション、ドキュメント、ウェブページを記憶するメモリシステムを実装する必要があります。開発者はプロトタイピングにAntflyのローカルデプロイメントモードを使用し、組み込みの埋め込みモデルを活用してAPIコストなしでコンテンツをベクトル化します。スケールアップに伴い、過去の会話や取得したドキュメントに対する意味検索を維持しながら、データベースを複数ノードに分散させ、アシスタントが文脈に即した回答を提供できるようにします。
  • Eコマースプラットフォームは、顧客が画像や曖昧な説明文を使って検索できるようにすることで、商品発見を強化したいと考えています。バックエンドチームはAntflyを実装し、商品画像、説明文、顧客レビューの感情をインデックス化します。ユーザーが希望する商品の写真をアップロードすると、システムは視覚的に類似した商品を見つけ、購入グラフパターンに基づいて補完商品を推薦します。すべてMongoDBスタイルの操作によるリアルタイム在庫更新を処理しながら行われます。