網頁內容擷取服務(單機 Docker 版)

Engineering & Development

在自己電腦上用 Docker Compose 起的網頁抓取與內容擷取服務:用瀏覽器開操作頁、以 API 把網頁轉成適合餵給語言模型的文字,只綁 127.0.0.1。基本抓取不需金鑰;要用語言模型做擷取,需自備模型服務的金鑰。衍生自 Apache-2.0 授權的開源專案凍結快照。

訂閱並下載查看啟動方式

訂閱US$49 每月

最近實跑2026-11-14

實際使用

開箱可用度3 / 5

你需要準備

修改工作量少3 / 5

適合誰

需要把網頁轉成乾淨文字或結構化資料、餵給自己的語言模型或資料流程的開發者與小團隊,想把抓取服務留在自己機器上。

如何啟動

$ sh scripts/quickstart/init-env.sh
$ docker compose up -d

瀏覽檔案

以下為固定版本的商品檔案。少數本店自用的檔案不會放進 zip。

檔案總覽966 個路徑

▸crawl4ai86

__init__.py
__version__.py
adaptive_crawler.py
antibot_detector.py
async_configs.py
async_crawler_strategy.py
async_database.py
async_dispatcher.py
async_logger.py
async_url_seeder.py
…

▸deploy78

docker/

▸docs509

RELEASE_NOTES_v0.8.0.md
apps/
assets/
blog/
codebase/
deprecated/
examples/
md_v2/
migration/
releases_review/
…

▸prompts1

prompt_net_requests.md

▸sbom2

README.md
sbom.cdx.json

▸scripts3

gen-sbom.sh
quickstart/
update_stats.py

▸tests248

WEBHOOK_TEST_README.md
__init__.py
adaptive/
adversarial/
async/
async_assistant/
browser/
cache_validation/
check_dependencies.py
cli/
…

▫ATTRIBUTION.md

▫CHANGELOG.md

▫CODE_OF_CONDUCT.md

▫CONTRIBUTING.md

▫CONTRIBUTORS.md

▫Dockerfile

▫LICENSE

▫MANIFEST.in

▫MISSION.md

▫PRODUCT.md

▫PROGRESSIVE_CRAWLING.md

▫QUICKSTART.md

▫README.md

▫ROADMAP.md

▫SECURITY-CREDITS.md

▫SECURITY.md

▫SECURITY.upstream.md

▫SPONSORS.md

▫cliff.toml

▫delivery-manifest.txt

▫docker-compose.yml

▫mkdocs.yml

▫pyproject.toml

▫requirements.txt

▫setup.cfg

▫setup.py

▫uv.lock

▫設定檔與隱藏檔 12

購前披露

你買的是什麼

在自己電腦上執行的網頁抓取與內容擷取服務:以 Docker Compose 起服務,用瀏覽器開操作頁,透過 API 把網頁轉成適合餵給語言模型的文字。

衍生自 Apache-2.0 授權的開源專案,非原專案本身。

交付形式是凍結快照:一份 zip 檔,內容取自商品倉庫 8f08544 這個版本。

已知限制

服務只綁本機 127.0.0.1 的 11235 埠,不對其他機器開放
語言模型擷取要自備模型服務的金鑰;沒有金鑰時該家模型的擷取請求不能用,基本抓取照常
首次啟動要從映像庫下載容器映像,編排檔的映像標籤為 latest
映像內的相依套件與瀏覽器,授權未逐項掃描
釘死在交付快照,不追上游。

責任上限、承諾範圍與法定底線,以服務條款為準。

查核紀錄

以下每一項皆依固定版本查核。每一項結果都附上理由、證據連結與查核人。未通過的項目也如實列出，以供檢驗。

1 通過4 需注意0 未通過

Source Review

原始碼審閱

WARN 注意

讀過部署面與文件:docker-compose.yml、.env.example、QUICKSTART.md、scripts/quickstart/init-env.sh、LICENSE、PRODUCT.md 與 Dockerfile 開頭幾行。Python 應用程式原始碼未逐檔審讀。

Script Safety

腳本與權限

WARN 注意

讀過編排檔與產生設定的腳本:連接埠只綁 127.0.0.1,捨棄全部 capabilities、禁止提權、根層檔案系統唯讀、記憶體與行程數有上限;腳本只把 .env.example 複製成 .env 並填入隨機權杖。Dockerfile 其餘部分與映像內容未讀。

Recency

90 天活躍度

WARN 注意

本商品為凍結快照,不追上游,釘死版本見證據連結。上游釘死版本的提交時間與近期活躍度未查證。

License

授權

PASS 通過

SPDX:Apache-2.0

商品倉庫根目錄的 LICENSE 以 Apache License 授權全文開頭;PRODUCT.md 記載上游授權同為 Apache-2.0。證據連結指向商品倉庫內那份檔案;與上游同一檔案的逐字比對未做。

Dependency Licenses

相依套件授權

WARN 注意

記載的是宣告面,不是掃描結果:相依套件與瀏覽器裝在映像內或於拉取、建置時取得,其授權未逐包掃描。