Summa 作者又发新项目了,Hermes 可以快速搜索数百万文档
使用方法都比之前的 Summa 更简单,可以编译成多种版本,比如网页版,搜查速度很快,如果只要纯网页可以让 AI 帮你去掉 IPFS storage 功能,减少 1 MB 体积。
https://github.com/SpaceFrontiers/hermes
https://www.jsdelivr.com/package/npm/hermes-wasm
| Feature | Hermes | Tantivy | Qdrant | Elasticsearch |
|---|---|---|---|---|
| BM25 Full-text search | Yes | Yes | No | Yes |
| Dense vectors (ANN) | Yes (RaBitQ, ScaNN/PQ) | No | Yes | Plugin |
| Sparse vectors (SPLADE) | Yes (native) | No | Partial | No |
| WASM / Browser | Yes | No | No | No |
| IPFS storage | Yes | No | No | No |
| Embeddable library | Yes | Yes | No | No |
这个可以做什么
1.书籍搜查
使用 BM25 Full-text search 在纯前端进行书籍搜查
2.歌词搜查
使用 BM25 Full-text search 在纯前端进行歌词搜查
3.语义搜查
可以让 AI 编译向量搜查,并使用词嵌入模型比如 all-MiniLM-L6-v2 来进行向量余弦相似度语义搜索,使用 RaBitQ 可以压缩向量。
目前只有半成品,例子就不发出来了。点赞过 100 发出
相关链接
Summa 实现的歌词搜查
维基百科标题搜查
(需要加载一个 30 MiB 左右的大文件耗时,首次加载需要至少 40s)
如果需要内容搜查的话,就可以使用这个项目