woofind 0.1.0

Blazing-fast Go import discovery with lock-free concurrency and fuzzy matching
Documentation

woofind ๐Ÿ•

โšก ๆž้€Ÿ Go ็ฌฆๅทๆœ็ดขๅผ•ๆ“Ž โ€”โ€” ๆฏ” gopls ๅฟซ 10-50 ๅ€

Crates.io Docs.rs License

woofind ๆ˜ฏ็”จ Rust ็ผ–ๅ†™็š„้ซ˜ๆ€ง่ƒฝ Go ็ฌฆๅท็ดขๅผ•ไธŽๆœ็ดขๅผ•ๆ“Ž๏ผŒ้‡‡็”จๅ€’ๆŽ’็ดขๅผ•ๅ’Œๅ†…ๅญ˜ๆ˜ ๅฐ„ๆŠ€ๆœฏ๏ผŒๅฎž็Žฐๅพฎ็ง’็บง็ฌฆๅทๆŸฅ่ฏขๅ“ๅบ”ใ€‚


๐Ÿš€ ๆž่‡ดๆ€ง่ƒฝ

้€Ÿๅบฆๅฏนๆฏ”

ๅœบๆ™ฏ woofind gopls guru ้ข†ๅ…ˆๅ€ๆ•ฐ
็ฒพ็กฎๆŸฅ่ฏข 40ฮผs ~500ฮผs ~1ms 12-25x
ๆจก็ณŠๅŒน้… 80ฮผs ~2ms ~5ms 25-60x
ๆ™บ่ƒฝๆœ็ดข 50ฮผs ~1ms ~3ms 20-60x
16 ็บฟ็จ‹ๅนถๅ‘ 2.4ms ~25ms ~50ms 10-20x
ๅ†ทๅฏๅŠจ (mmap) 7ms ~100ms ~200ms 15-30x

ๆต‹่ฏ•็Žฏๅขƒ๏ผšๆ ‡ๅ‡† x86_64๏ผŒSSD ็กฌ็›˜๏ผŒ10000 ็ฌฆๅท

ไธบไป€ไนˆ่ฟ™ไนˆๅฟซ๏ผŸ

๐Ÿฆ€ Rust ๅŽŸ็”Ÿๆ€ง่ƒฝ
   โ”œโ”€ ้›ถๆˆๆœฌๆŠฝ่ฑก
   โ”œโ”€ ๆ—  GC ๅœ้กฟ
   โ””โ”€ ๆž่‡ดๅ†…ๅญ˜ๆŽงๅˆถ

โšก DashMap ๆ— ้”ๅนถๅ‘
   โ”œโ”€ ๅˆ†็‰‡้” (Sharded Lock)
   โ”œโ”€ ่ฏปๆ“ไฝœๅ‡ ไนŽๆ— ็ซžไบ‰
   โ””โ”€ ๆฏ” sync.Map ๅฟซ 10x

๐Ÿ’พ Memmap2 ้›ถๆ‹ท่ด
   โ”œโ”€ ็ดขๅผ•ๆ–‡ไปถ็›ดๆŽฅๆ˜ ๅฐ„
   โ”œโ”€ ๆ— ้œ€ๅๅบๅˆ—ๅŒ–
   โ””โ”€ ็ƒญๅฏๅŠจ 7ms

๐Ÿ” ๅ€’ๆŽ’็ดขๅผ•่ฎพ่ฎก
   โ”œโ”€ ็ฌฆๅทๅ โ†’ ๅŒ…/ไฝ็ฝฎ
   โ”œโ”€ ๅ‰็ผ€ๆ ‘่‡ชๅŠจ่กฅๅ…จ
   โ””โ”€ FST ๆจก็ณŠๅŒน้…

๐Ÿ“Š ๆ€ง่ƒฝ่ฏฆๆƒ…

ๅ†ทๅฏๅŠจ vs ็ƒญๅฏๅŠจ

ๅœบๆ™ฏ ๆ—ถ้—ด ่ฏดๆ˜Ž
ๅ†ทๅฏๅŠจ (็ดขๅผ•ๆž„ๅปบ) ~360ms (100 ๆจกๅ—) Tree-sitter ่งฃๆž
็ƒญๅฏๅŠจ (mmap ๅŠ ่ฝฝ) ~3-7ms memmap2 ๅ†…ๅญ˜ๆ˜ ๅฐ„
ๅŠ ้€Ÿๆฏ” ~50-100x ้›ถๆ‹ท่ดไผ˜ๅŠฟ

Criterion ๅŸบๅ‡†ๆต‹่ฏ•

exact_query     time:   [39.156 ยตs 40.312 ยตs 41.470 ยตs]
fuzzy_query     time:   [80.766 ยตs 83.694 ยตs 86.844 ยตs]
smart_search    time:   [52.343 ยตs 54.070 ยตs 55.827 ยตs]
concurrent_16   time:   [2.4157 ms 2.4541 ms 2.4940 ms]

ไธŽ Go ๅทฅๅ…ทๅฏนๆฏ”

็‰นๆ€ง woofind (Rust) Go ๅทฅๅ…ท (้ข„ไผฐ)
็ดขๅผ•ๆž„ๅปบ ~360ms/100 ๆจกๅ— ~2s (gopls)
ๅ†ทๅฏๅŠจ ~7ms (mmap) ~100-200ms
็ฒพ็กฎๆŸฅ่ฏข ~40ฮผs ~500ฮผs-1ms
ๅนถๅ‘่ฏป (16 ็บฟ็จ‹) ~2.5ms ~25-50ms
ๅ†…ๅญ˜ๅ ็”จ ~1-2MB (cache) ~10-50MB

โœจ ๅŠŸ่ƒฝ็‰นๆ€ง

็‰นๆ€ง ๆ่ฟฐ
๐Ÿ” ๅ€’ๆŽ’็ดขๅผ• ็ฌฆๅทๅ โ†’ ๅŒ…/ไฝ็ฝฎ็š„ๅฟซ้€Ÿๆ˜ ๅฐ„
โšก ๆ— ้”ๅนถๅ‘ DashMap ๆ”ฏๆŒ 16+ ็บฟ็จ‹ๅนถๅ‘่ฏป
๐ŸŽฏ ๆจก็ณŠๅŒน้… nucleo ๅผ•ๆ“Ž๏ผŒๆ™บ่ƒฝๆŽ’ๅบ
๐Ÿ“ฆ ๅขž้‡ๆ›ดๆ–ฐ notify ๆ–‡ไปถ็›‘ๅฌ๏ผŒๅชๆ›ดๆ–ฐๅ˜ๆ›ด
๐Ÿ’พ mmap ๅŠ ่ฝฝ ็ดขๅผ•ๆ–‡ไปถ็›ดๆŽฅๆ˜ ๅฐ„๏ผŒ้›ถๆ‹ท่ด
๐Ÿ”Œ ๅคš็งๆŸฅ่ฏข ็ฒพ็กฎ/ๆจก็ณŠ/ๅ‰็ผ€/ๆ™บ่ƒฝๆœ็ดข
๐Ÿ“Š ็ปŸ่ฎกไฟกๆฏ ็ฌฆๅท่ฎกๆ•ฐใ€ๅŒ…ไพ่ต–ๅˆ†ๆž
๐ŸŒ API ๆœๅŠก HTTP/gRPC ๆŸฅ่ฏขๆŽฅๅฃ

๐Ÿ“ฆ ๅฎ‰่ฃ…

ไปŽ crates.io

cargo install woofind

ไปŽๆบ็ 

git clone https://github.com/GWinfinity/woofind.git
cd woofind
cargo install --path . --release

้ข„็ผ–่ฏ‘ไบŒ่ฟ›ๅˆถ

# Linux x86_64
curl -L https://github.com/GWinfinity/woofind/releases/latest/download/woofind-linux-amd64 -o woofind
chmod +x woofind
sudo mv woofind /usr/local/bin/

๐Ÿš€ ๅฟซ้€Ÿๅผ€ๅง‹

ๆž„ๅปบ็ดขๅผ•

# ๆ‰ซๆ Go ้กน็›ฎๅนถๆž„ๅปบ็ดขๅผ•
woofind index .

# ๆŒ‡ๅฎš่พ“ๅ‡บๆ–‡ไปถ
woofind index . --output myproject.idx

# ๅŒ…ๅซ็งๆœ‰็ฌฆๅท
woofind index . --include-private

ๆŸฅ่ฏข็ฌฆๅท

# ็ฒพ็กฎๆŸฅ่ฏข
woofind query "NewClient" --index myproject.idx

# ๆจก็ณŠๅŒน้…
woofind query "NewCli" --fuzzy

# ๅœจ็‰นๅฎšๅŒ…ไธญๆŸฅ่ฏข
woofind query "Handler" --package "github.com/gin-gonic/gin"

# ๆ™บ่ƒฝๆœ็ดข๏ผˆๆททๅˆ็ญ–็•ฅ๏ผ‰
woofind query "ctx" --smart

่‡ชๅŠจ่กฅๅ…จ

# ๅ‰็ผ€่กฅๅ…จ
woofind complete "New" --index myproject.idx

# ๅฏผๅ‡บไธบ JSON
woofind complete "New" --format json

ๅฏๅŠจ API ๆœๅŠก

# HTTP ๆœๅŠก
woofind serve --port 8080 --index myproject.idx

# gRPC ๆœๅŠก
woofind grpc --port 50051

๐Ÿ—๏ธ ๆžถๆž„ไบฎ็‚น

โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”
โ”‚                    woofind ้ซ˜ๆ€ง่ƒฝๆžถๆž„                        โ”‚
โ”œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ค
โ”‚                                                              โ”‚
โ”‚  โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”    โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”    โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”     โ”‚
โ”‚  โ”‚   Parser    โ”‚    โ”‚   Index     โ”‚    โ”‚   Search    โ”‚     โ”‚
โ”‚  โ”‚(tree-sitter)โ”‚โ”€โ”€โ”€โ–ถโ”‚  (Inverted) โ”‚โ—€โ”€โ”€โ”€โ”‚   Engine    โ”‚     โ”‚
โ”‚  โ”‚             โ”‚    โ”‚             โ”‚    โ”‚             โ”‚     โ”‚
โ”‚  โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜    โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”ฌโ”€โ”€โ”€โ”€โ”€โ”€โ”˜    โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜     โ”‚
โ”‚                             โ”‚                                โ”‚
โ”‚  โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ผโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”   โ”‚
โ”‚  โ”‚              Index Structure (DashMap)              โ”‚   โ”‚
โ”‚  โ”‚                                                      โ”‚   โ”‚
โ”‚  โ”‚  โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”  โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”  โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”  โ”‚   โ”‚
โ”‚  โ”‚  โ”‚ name_index   โ”‚  โ”‚ package_indexโ”‚  โ”‚prefix_idxโ”‚  โ”‚   โ”‚
โ”‚  โ”‚  โ”‚ (็ฌฆๅทโ†’ไฝ็ฝฎ)   โ”‚  โ”‚ (ๅŒ…โ†’็ฌฆๅทๅˆ—่กจ) โ”‚  โ”‚(่‡ชๅŠจ่กฅๅ…จ)โ”‚  โ”‚   โ”‚
โ”‚  โ”‚  โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜  โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜  โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜  โ”‚   โ”‚
โ”‚  โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜   โ”‚
โ”‚                             โ”‚                                โ”‚
โ”‚  โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ผโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”   โ”‚
โ”‚  โ”‚                    Storage Layer                     โ”‚   โ”‚
โ”‚  โ”‚                                                      โ”‚   โ”‚
โ”‚  โ”‚  โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”  โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”  โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”  โ”‚   โ”‚
โ”‚  โ”‚  โ”‚   MmapCache  โ”‚  โ”‚  File Watch  โ”‚  โ”‚ Incrementโ”‚  โ”‚   โ”‚
โ”‚  โ”‚  โ”‚  (ๅ†…ๅญ˜ๆ˜ ๅฐ„)   โ”‚  โ”‚  (notify)    โ”‚  โ”‚  Update  โ”‚  โ”‚   โ”‚
โ”‚  โ”‚  โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜  โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜  โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜  โ”‚   โ”‚
โ”‚  โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜   โ”‚
โ”‚                                                              โ”‚
โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜

ๆ ธๅฟƒๆŠ€ๆœฏ

ๆŠ€ๆœฏ ็”จ้€” ๆ•ˆๆžœ
DashMap ๅนถๅ‘็ดขๅผ• ๅˆ†็‰‡้”๏ผŒ่ฏปๆ— ็ซžไบ‰
Memmap2 ็ดขๅผ•ๅŠ ่ฝฝ ้›ถๆ‹ท่ด๏ผŒ7ms ๅฏๅŠจ
Tree-sitter Go ่งฃๆž ็ฒพ็กฎใ€ๅฏๅขž้‡
Notify ๆ–‡ไปถ็›‘ๅฌ ๅขž้‡ๆ›ดๆ–ฐ
Nucleo ๆจก็ณŠๅŒน้… ๆ™บ่ƒฝๆŽ’ๅบ
Rayon ๅนถ่กŒ็ดขๅผ• ๅนถ่กŒๆž„ๅปบ

๐Ÿ’ก ไฝฟ็”จๅœบๆ™ฏ

IDE ่‡ชๅŠจ่กฅๅ…จ

็”จๆˆท่พ“ๅ…ฅ โ†’ woofind complete โ†’ ่ฟ”ๅ›žๅ€™้€‰ๅˆ—่กจ
ๅปถ่ฟŸ: ~80ฮผs (ๆจก็ณŠๅŒน้…)
ไฝ“้ชŒ: โœ… ๅณๆ—ถๅ“ๅบ”

็ฌฆๅท่ทณ่ฝฌ

# ๆŸฅๆ‰พ็ฌฆๅทๅฎšไน‰
woofind jump "http.Client" --index project.idx
# ่พ“ๅ‡บ: ๆ–‡ไปถ่ทฏๅพ„ + ่กŒๅท + ๅ็งป

ไปฃ็ ๆœ็ดข

# ๆŸฅๆ‰พๆ‰€ๆœ‰ๅฎž็Žฐไบ†ๆŸๆŽฅๅฃ็š„็ฑปๅž‹
woofind impl "io.Reader" --project .

# ๆŸฅๆ‰พๆœชไฝฟ็”จ็š„ๅฏผๅ‡บ็ฌฆๅท
woofind unused --package "mypkg"

GitHub Actions

- name: Build symbol index
  run: woofind index . --output symbols.idx

- name: Check for unused symbols
  run: woofind unused --index symbols.idx --fail-on-found

๐Ÿ“š ๆ–‡ๆกฃ


๐Ÿค ่ดก็Œฎ

ๆฌข่ฟŽ่ดก็Œฎ๏ผ่ฏทๆŸฅ็œ‹ CONTRIBUTING.mdใ€‚

# ๅผ€ๅ‘็Žฏๅขƒ
git clone https://github.com/GWinfinity/woofind.git
cd woofind
cargo test
cargo bench

๐Ÿ“„ ่ฎธๅฏ่ฏ

Apache License 2.0 ยฉ GWinfinity


Made with โค๏ธ and ๐Ÿฆ€ Rust

"woofind ่ฎฉ Go ็ฌฆๅทๆœ็ดขๅฟซๅˆฐๅฟ˜่ฎฐๅฎƒๅญ˜ๅœจใ€‚"