woofind ๐
โก ๆ้ Go ็ฌฆๅทๆ็ดขๅผๆ โโ ๆฏ gopls ๅฟซ 10-50 ๅ
woofind ๆฏ็จ Rust ็ผๅ็้ซๆง่ฝ Go ็ฌฆๅท็ดขๅผไธๆ็ดขๅผๆ๏ผ้็จๅๆ็ดขๅผๅๅ ๅญๆ ๅฐๆๆฏ๏ผๅฎ็ฐๅพฎ็ง็บง็ฌฆๅทๆฅ่ฏขๅๅบใ
๐ ๆ่ดๆง่ฝ
้ๅบฆๅฏนๆฏ
| ๅบๆฏ | woofind | gopls | guru | ้ขๅ ๅๆฐ |
|---|---|---|---|---|
| ็ฒพ็กฎๆฅ่ฏข | 40ฮผs | ~500ฮผs | ~1ms | 12-25x |
| ๆจก็ณๅน้ | 80ฮผs | ~2ms | ~5ms | 25-60x |
| ๆบ่ฝๆ็ดข | 50ฮผs | ~1ms | ~3ms | 20-60x |
| 16 ็บฟ็จๅนถๅ | 2.4ms | ~25ms | ~50ms | 10-20x |
| ๅทๅฏๅจ (mmap) | 7ms | ~100ms | ~200ms | 15-30x |
ๆต่ฏ็ฏๅข๏ผๆ ๅ x86_64๏ผSSD ็กฌ็๏ผ10000 ็ฌฆๅท
ไธบไปไน่ฟไนๅฟซ๏ผ
๐ฆ Rust ๅ็ๆง่ฝ
โโ ้ถๆๆฌๆฝ่ฑก
โโ ๆ GC ๅ้กฟ
โโ ๆ่ดๅ
ๅญๆงๅถ
โก DashMap ๆ ้ๅนถๅ
โโ ๅ็้ (Sharded Lock)
โโ ่ฏปๆไฝๅ ไนๆ ็ซไบ
โโ ๆฏ sync.Map ๅฟซ 10x
๐พ Memmap2 ้ถๆท่ด
โโ ็ดขๅผๆไปถ็ดๆฅๆ ๅฐ
โโ ๆ ้ๅๅบๅๅ
โโ ็ญๅฏๅจ 7ms
๐ ๅๆ็ดขๅผ่ฎพ่ฎก
โโ ็ฌฆๅทๅ โ ๅ
/ไฝ็ฝฎ
โโ ๅ็ผๆ ่ชๅจ่กฅๅ
จ
โโ FST ๆจก็ณๅน้
๐ ๆง่ฝ่ฏฆๆ
ๅทๅฏๅจ vs ็ญๅฏๅจ
| ๅบๆฏ | ๆถ้ด | ่ฏดๆ |
|---|---|---|
| ๅทๅฏๅจ (็ดขๅผๆๅปบ) | ~360ms (100 ๆจกๅ) | Tree-sitter ่งฃๆ |
| ็ญๅฏๅจ (mmap ๅ ่ฝฝ) | ~3-7ms | memmap2 ๅ ๅญๆ ๅฐ |
| ๅ ้ๆฏ | ~50-100x | ้ถๆท่ดไผๅฟ |
Criterion ๅบๅๆต่ฏ
exact_query time: [39.156 ยตs 40.312 ยตs 41.470 ยตs]
fuzzy_query time: [80.766 ยตs 83.694 ยตs 86.844 ยตs]
smart_search time: [52.343 ยตs 54.070 ยตs 55.827 ยตs]
concurrent_16 time: [2.4157 ms 2.4541 ms 2.4940 ms]
ไธ Go ๅทฅๅ ทๅฏนๆฏ
| ็นๆง | woofind (Rust) | Go ๅทฅๅ ท (้ขไผฐ) |
|---|---|---|
| ็ดขๅผๆๅปบ | ~360ms/100 ๆจกๅ | ~2s (gopls) |
| ๅทๅฏๅจ | ~7ms (mmap) | ~100-200ms |
| ็ฒพ็กฎๆฅ่ฏข | ~40ฮผs | ~500ฮผs-1ms |
| ๅนถๅ่ฏป (16 ็บฟ็จ) | ~2.5ms | ~25-50ms |
| ๅ ๅญๅ ็จ | ~1-2MB (cache) | ~10-50MB |
โจ ๅ่ฝ็นๆง
| ็นๆง | ๆ่ฟฐ |
|---|---|
| ๐ ๅๆ็ดขๅผ | ็ฌฆๅทๅ โ ๅ /ไฝ็ฝฎ็ๅฟซ้ๆ ๅฐ |
| โก ๆ ้ๅนถๅ | DashMap ๆฏๆ 16+ ็บฟ็จๅนถๅ่ฏป |
| ๐ฏ ๆจก็ณๅน้ | nucleo ๅผๆ๏ผๆบ่ฝๆๅบ |
| ๐ฆ ๅข้ๆดๆฐ | notify ๆไปถ็ๅฌ๏ผๅชๆดๆฐๅๆด |
| ๐พ mmap ๅ ่ฝฝ | ็ดขๅผๆไปถ็ดๆฅๆ ๅฐ๏ผ้ถๆท่ด |
| ๐ ๅค็งๆฅ่ฏข | ็ฒพ็กฎ/ๆจก็ณ/ๅ็ผ/ๆบ่ฝๆ็ดข |
| ๐ ็ป่ฎกไฟกๆฏ | ็ฌฆๅท่ฎกๆฐใๅ ไพ่ตๅๆ |
| ๐ API ๆๅก | HTTP/gRPC ๆฅ่ฏขๆฅๅฃ |
๐ฆ ๅฎ่ฃ
ไป crates.io
ไปๆบ็
้ข็ผ่ฏไบ่ฟๅถ
# Linux x86_64
๐ ๅฟซ้ๅผๅง
ๆๅปบ็ดขๅผ
# ๆซๆ Go ้กน็ฎๅนถๆๅปบ็ดขๅผ
# ๆๅฎ่พๅบๆไปถ
# ๅ
ๅซ็งๆ็ฌฆๅท
ๆฅ่ฏข็ฌฆๅท
# ็ฒพ็กฎๆฅ่ฏข
# ๆจก็ณๅน้
# ๅจ็นๅฎๅ
ไธญๆฅ่ฏข
# ๆบ่ฝๆ็ดข๏ผๆททๅ็ญ็ฅ๏ผ
่ชๅจ่กฅๅ จ
# ๅ็ผ่กฅๅ
จ
# ๅฏผๅบไธบ JSON
ๅฏๅจ API ๆๅก
# HTTP ๆๅก
# gRPC ๆๅก
๐๏ธ ๆถๆไบฎ็น
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ woofind ้ซๆง่ฝๆถๆ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โ
โ โ Parser โ โ Index โ โ Search โ โ
โ โ(tree-sitter)โโโโโถโ (Inverted) โโโโโโ Engine โ โ
โ โ โ โ โ โ โ โ
โ โโโโโโโโโโโโโโโ โโโโโโโโฌโโโโโโโ โโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ Index Structure (DashMap) โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโ โ โ
โ โ โ name_index โ โ package_indexโ โprefix_idxโ โ โ
โ โ โ (็ฌฆๅทโไฝ็ฝฎ) โ โ (ๅ
โ็ฌฆๅทๅ่กจ) โ โ(่ชๅจ่กฅๅ
จ)โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ Storage Layer โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโ โ โ
โ โ โ MmapCache โ โ File Watch โ โ Incrementโ โ โ
โ โ โ (ๅ
ๅญๆ ๅฐ) โ โ (notify) โ โ Update โ โ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
ๆ ธๅฟๆๆฏ
| ๆๆฏ | ็จ้ | ๆๆ |
|---|---|---|
| DashMap | ๅนถๅ็ดขๅผ | ๅ็้๏ผ่ฏปๆ ็ซไบ |
| Memmap2 | ็ดขๅผๅ ่ฝฝ | ้ถๆท่ด๏ผ7ms ๅฏๅจ |
| Tree-sitter | Go ่งฃๆ | ็ฒพ็กฎใๅฏๅข้ |
| Notify | ๆไปถ็ๅฌ | ๅข้ๆดๆฐ |
| Nucleo | ๆจก็ณๅน้ | ๆบ่ฝๆๅบ |
| Rayon | ๅนถ่ก็ดขๅผ | ๅนถ่กๆๅปบ |
๐ก ไฝฟ็จๅบๆฏ
IDE ่ชๅจ่กฅๅ จ
็จๆท่พๅ
ฅ โ woofind complete โ ่ฟๅๅ้ๅ่กจ
ๅปถ่ฟ: ~80ฮผs (ๆจก็ณๅน้
)
ไฝ้ช: โ
ๅณๆถๅๅบ
็ฌฆๅท่ทณ่ฝฌ
# ๆฅๆพ็ฌฆๅทๅฎไน
# ่พๅบ: ๆไปถ่ทฏๅพ + ่กๅท + ๅ็งป
ไปฃ็ ๆ็ดข
# ๆฅๆพๆๆๅฎ็ฐไบๆๆฅๅฃ็็ฑปๅ
# ๆฅๆพๆชไฝฟ็จ็ๅฏผๅบ็ฌฆๅท
GitHub Actions
- name: Build symbol index
run: woofind index . --output symbols.idx
- name: Check for unused symbols
run: woofind unused --index symbols.idx --fail-on-found
๐ ๆๆกฃ
๐ค ่ดก็ฎ
ๆฌข่ฟ่ดก็ฎ๏ผ่ฏทๆฅ็ CONTRIBUTING.mdใ
# ๅผๅ็ฏๅข
๐ ่ฎธๅฏ่ฏ
Apache License 2.0 ยฉ GWinfinity
Made with โค๏ธ and ๐ฆ Rust
"woofind ่ฎฉ Go ็ฌฆๅทๆ็ดขๅฟซๅฐๅฟ่ฎฐๅฎๅญๅจใ"