在 Windows 上使用 Docker 运行 Elastic Open Crawler

于 2025-07-17 10:38:27 发布
阅读量749 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： Elastic Elasticsearch 文章标签： docker 容器 elasticsearch 大数据 搜索引擎 爬虫 windows
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/149415382

作者：来自 Elastic Matt Nowzari

了解如何使用 Docker 在 Windows 环境中运行 Open Crawler。

了解将数据摄取到 Elasticsearch 的不同方式，并深入实践示例，尝试一些新方法。

Elasticsearch 拥有大量新功能，助你为特定场景构建最佳搜索方案。立即开始免费试用。

Open Crawler 虽然没有官方 Windows 支持，但这并不意味着它不能在 Windows 上运行！在这篇博客中，我们将探索如何使用 Docker 在你的 Windows 环境中启动并运行 Open Crawler。

我们将介绍两种在系统中下载并运行 Open Crawler 的方法。这两种方法都依赖于 Docker，步骤与 Open Crawler 官方文档中的说明非常相似。但我们也会指出你需要对命令或文件进行的（非常小的）修改，以便更顺利地部署 Open Crawler！

前提条件

在开始之前，请确保你的 Windows 设备已安装以下内容：

  • git

  • Docker Desktop

  • Docker Desktop CLI（随 Docker Desktop 一起提供）

  • Docker Compose（随 Docker Desktop 一起提供）

你可以在这里了解更多关于安装 Docker Desktop 的信息。

此外，本博客默认使用 Open Crawler 0.3.0 或更高版本。使用带有 :latest 标签的 Docker 镜像，在撰写本文时应至少为 0.3.0 版本。

创建配置 YAML 文件

在开始运行 Open Crawler 的不同方法之前，你需要先创建一个基本的配置文件供 Open Crawler 使用。

使用你喜欢的文本编辑器，新建一个名为 crawl-config.yml 的文件，并填入以下内容，然后将其保存在一个方便访问的位置。

output_sink: console
log_level: debug

domains:
    - url: "https://www.speedhunters.com"

max_redirects: 2

通过 Docker 镜像直接运行 Open Crawler

步骤 1：拉取 Open Crawler Docker 镜像

首先，你需要将 Open Crawler 的 Docker 镜像下载到本地机器。docker pull 命令可以自动下载最新的 Docker 镜像。

在命令行终端中运行以下命令：

docker pull docker.elastic.co/integrations/crawler:latest

如果你对所有可用的 Open Crawler 版本感兴趣，或者想体验 Open Crawler 的快照版本，可以查看 Elastic 的 Docker 集成页面，了解所有可用的镜像。

命令执行完成后，你可以运行 docker images 命令，确认该镜像已存在于本地镜像列表中：

PS C:\Users\Matt> docker images
REPOSITORY                                              TAG                IMAGE ID       CREATED        SIZE
docker.elastic.co/integrations/crawler                  latest             5d34a4f6520c   1 month ago   503MB

第 2 步：执行抓取

现在已经创建了配置 YAML 文件，你可以使用它来执行抓取任务！

在保存 crawl-config.yml 的目录中，运行以下命令：

docker run \
  -v .\crawl-config.yml:/crawl-config.yml \
  -it docker.elastic.co/integrations/crawler:latest jruby bin/crawler crawl /crawl-config.yml

请注意命令中卷（-v）参数使用的 Windows 风格反斜杠和 Unix 风格正斜杠。冒号左边是 Windows 风格路径（带反斜杠），右边是带正斜杠的路径。

  -v .\crawl-config.yml:/crawl-config.yml

-v 参数将本地文件（.\crawl-config.yml）映射到容器内的路径（/crawl-config.yml）。

使用 docker-compose 运行 Open Crawler

步骤 1：克隆仓库

使用 git 将 Open Crawler 仓库克隆到你选择的目录：

git clone git@github.com:elastic/crawler.git

提示：别忘了，你也可以随时 fork 这个仓库！

步骤 2：将配置文件复制到 config 文件夹

在爬虫仓库的顶层目录中，有一个名为 config 的文件夹。将你创建的配置 YAML 文件 crawl-config.yml 复制到该目录中。

步骤 3：修改 docker-compose 文件

在爬虫仓库的顶层目录，你会看到一个名为 docker-compose.yml 的文件。你需要确保该文件中 volumes 下的本地配置目录路径符合 Windows 格式。

使用你喜欢的文本编辑器打开 docker-compose.yml，将其中的 "./config" 改为 ".\config"：

Before
	volumes:
  		- ./config:/home/app/config

After
	volumes:
  		- .\config:/home/app/config

该 volumes 配置允许 Docker 将你本地仓库的 config 文件夹挂载到 Docker 容器中，使容器能够访问并使用你的配置 YAML。

冒号左侧是本地挂载路径（因此必须符合 Windows 格式），右侧是容器内的目标路径，必须符合 Unix 格式。

步骤 4：启动容器

运行以下命令启动 Open Crawler 容器：

docker-compose up -d

你可以在 Docker Desktop 的 Containers 页面确认，或者运行以下命令确认容器确实正在运行：

docker ps -a

步骤 5：执行抓取命令

最后，你可以执行抓取！以下命令将在刚启动的容器中开始抓取：

docker exec -it crawler bin/crawler crawl config/my-config.yml

这里命令只使用了 Unix 风格的正斜杠，因为它是在调用容器内部的 Open Crawler CLI。

命令开始运行后，你应该能看到抓取成功的输出！🎉

PS C:\Users\Matt> docker exec -it crawler bin/crawler crawl config/crawler.yml
[crawl:684739e769ea23aa2f4aaeb5] [primary] Initialized an in-memory URL queue for up to 10000 URLs
[crawl:684739e769ea23aa2f4aaeb5] [primary] Starting a crawl with the following configuration: <Crawler::API::Config: log_level=debug; event_logs=false; crawl_id=684739e769ea23aa2f4aaeb5; crawl_stage=primary; domains=[{:url=>"https://www.speedhunters.com"}]; domain_allowlist=[#<Crawler::Data::Domain:0x3d
...
...
binary_content_extraction_enabled=false; binary_content_extraction_mime_types=[]; default_encoding=UTF-8; compression_enabled=true; sitemap_discovery_disabled=false; head_requests_enabled=false>
[crawl:684739e769ea23aa2f4aaeb5] [primary] Starting the primary crawl with up to 10 parallel thread(s)...
[crawl:684739e769ea23aa2f4aaeb5] [primary] Crawl task progress: ...

以上控制台输出为简化版，但你应关注的主要日志行就在这里！

总结

如你所见，只要注意 Windows 路径格式，Open Crawler 的 Docker 工作流程就能兼容 Windows！只要 Windows 路径用反斜杠，Unix 路径用正斜杠，你就能让 Open Crawler 在 Windows 上顺利运行，效果与 Unix 环境相当。

现在你已经运行了 Open Crawler，可以查看仓库中的文档，了解如何根据需求配置 Open Crawler！

原文：Run Elastic Open Crawler in Windows with Docker - Elasticsearch Labs

博客
Elastic 线下 Meetup 将于 2025 年 7 月 27 号下午在深圳举行
07-01 1254
2025ElasticMeetup深圳站将于7月27日在腾讯滨海大厦举行，聚焦AI驱动搜索技术前沿。活动邀请Elastic、腾讯云等专家分享向量搜索、RAG技术演进、百亿级AISearch优化实践等议题，涵盖搜索智能化、多模态检索、日志系统应用等热点。刘晓国、陈曦等资深技术人将深入解析行业趋势，活动还设有茶歇交流及抽奖环节。需提前实名报名并验证入场。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 16万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Elastic 和腾讯云 AI 搜索技术让敦煌数字经藏对所有人开放
07-17 422
​敦煌数字经藏中的古籍现在已实现在线全民可访问。敦煌研究院正式发布了数字经藏数据库，收录了超过 9,900 册敦煌文献和超过 60,700 张包含佛经、法律法规、合同、丝绸画等内容的图片。借助 Elastic 和腾讯云 AI 搜索及大型语言模型（ LLM ）技术，古籍中的繁体中文和罕见字符被“唤醒”，变得可搜索、可翻译，不再晦涩难懂。敦煌数字经藏将文明深入带入每个人的眼中。
博客
Elasticsearch MCP 服务器现已在 AWS Marketplace 上提供
07-17 663
​我们很高兴地宣布，Elasticsearch Model Context Protocol（ MCP ）服务器现已在 AWS Marketplace 上提供。被归类于 AI Tools and Agents 类别，确保客户可以轻松在 AWS 上发现并以容器方式部署 Elasticsearch MCP 服务器。无论你是在构建 AI 助理、智能代理，还是高级分析平台，Elastic 都能为其提供强大支撑。
博客
Elastic 被评为 2025 年 Gartner® 可观测平台魔力象限™中的领导者
07-12 868
摘要：Elastic连续第二年被评为Gartner可观测平台魔力象限领导者，其AI驱动的可观测性解决方案帮助客户从被动监控转向实时调查。关键优势包括：原生支持OpenTelemetry标准、AI助手实现自然语言分析、零配置AIOps自动检测异常、全新的ES|QL高级查询语言，以及可降低65%存储成本的logsdb技术。Elastic通过开放架构和AI创新，为复杂系统提供统一可视性和PB级数据处理能力，满足企业优化性能和控制成本的双重需求。
博客
上下文更长 ≠ 更好：为什么 RAG 仍然重要
07-12 1183
摘要： 本文对比了RAG（检索增强生成）与直接使用长上下文LLM（如Gemini1.5）的优劣。实验表明，RAG在成本（低1250倍）、速度（1秒vs45秒）和准确性（100%正确率）上均优于全上下文LLM。后者因处理百万级tokens时易丢失重点且成本高昂，而RAG通过Elasticsearch的混合搜索（全文/语义/过滤）精准筛选信息，显著提升LLM回答质量。结论强调：大上下文模型虽适用于无过滤场景，但RAG仍是高效、经济的首选方案。（150字） 核心发现： 成本：RAG单次查询$0.00008，全LL
博客
安全领域的 AI 采用：主要用例和需避免的错误
07-11 1062
AI在网络安全领域呈现双重影响：既提升防御能力又加剧威胁复杂性。文章探讨了AI改变安全运营的五大核心用例：威胁检测、SOC自动化、事件响应、欺诈分析和数据接入。同时指出实施AI时需避免的常见错误：治理不足、访问控制薄弱、数据隐私风险、过度依赖自动化等。建议组织采取数据质量优先、系统集成、人员培训等最佳实践，并强调ElasticSecurity平台如何将AI深度集成到安全分析流程中。文中特别提醒使用第三方AI工具时的数据安全风险，体现了对AI应用合规性的重视。
博客
使用 Maximum Marginal Relevance 实现搜索结果多样化
07-11 1166
本文介绍了如何使用Elasticsearch和Python实现最大边际相关性（MMR）算法来优化搜索结果。传统搜索仅关注相关性，容易导致结果冗余（如10条相似的黑色裤子）。MMR通过平衡相关性和多样性，在迭代过程中选择既与查询相关又与已选结果差异化的内容。文章详细讲解了MMR算法原理、实现代码（包括向量搜索和重排序），并展示了在时尚产品搜索中的应用效果对比。最后指出MMR可广泛应用于电商、新闻、推荐系统等场景，通过调整λ参数满足不同需求，强调搜索不仅需要相关性，也需要多样性才能带来更好的用户体验。
博客
Semantic text 就是那么强大，还附带一包（ BBQ ）薯片！配有可配置的分块设置和索引选项。
07-10 1015
摘要：Elasticsearch 8.19/9.1版本增强了semantic_text搜索功能，支持自定义分块设置和向量量化配置。用户现在可以灵活控制文本分块策略（基于句子/单词/禁用分块）和量化方法（如BBQ），以适应专业用例需求。这些改进使语义搜索既保持开箱即用的便捷性，又提供高级配置选项，同时兼容未来功能扩展。新特性已在Serverless环境中可用，即将登陆Stack托管的Elasticsearch。（149字）
博客
Elasticsearch 字符串包含子字符串：高级查询技巧
07-09 1228
本文介绍了Elasticsearch中实现子字符串搜索的多种高级技术。主要内容包括：1）使用query_string、match_phrase和wildcard查询进行子字符串匹配；2）通过自定义分析器和n-gram分词器提升搜索准确性；3）ES|QL提供的LOCATE、MATCH等字符串处理函数；4）区间查询和跨度查询等高级匹配方法。文章对比了不同技术的适用场景，并指出前缀通配符可能影响性能等问题，为开发人员提供了全面的Elasticsearch子字符串搜索解决方案。
博客
Elasticsearch：使用 Significant Terms Aggregation 识别被盗信用卡的常见交易
07-08 602
使用 Significant Terms Aggregation 识别被盗信用卡的常见交易。
博客
揭示独特模式：Elasticsearch 中 significant terms 聚合指南
07-08 1109
摘要：Elasticsearch的significantterms聚合功能能够通过统计分析方法发现数据中非显而易见的有价值洞察。与普通terms聚合不同，它会比较子数据集与整体数据集的词项分布，识别出统计上显著异常的关联模式。文章通过手机销售数据分析的具体案例，展示了如何发现不同职业群体对iPhone16的独特偏好，以及如何结合语义搜索识别与"good performance"评价显著相关的机型。这种聚合方法在消费者行为分析、欺诈检测、质量评价等多个领域都有重要应用价值，能够揭示数据背后
博客
使用 collapse 和 cardinality 实现高效分页在 Elasticsearch 中
07-05 944
本文介绍了在Elasticsearch中使用collapse功能对产品变体进行分组时遇到的分页挑战。通过示例展示了如何将collapse与cardinality聚合结合使用，以获取真实的唯一分组数量，从而解决分页问题。文章指出，单独使用collapse时返回的hits.total.value反映的是原始文档数量而非分组后数量，会导致分页显示错误。解决方案是在collapse查询中添加针对相同字段的cardinality聚合，准确计算唯一值数量，实现可靠分页。这种方法特别适用于电商等需要展示产品变体的场景。
博客
APM 最佳实践：从业者指南中的注意事项与禁忌
07-04 677
《高效应用性能管理（APM）实践指南》摘要 应用性能管理（APM）是现代软件系统维护的关键实践，通过持续监控应用程序的前后端性能，确保业务连续性和用户体验。本文系统性地阐述了APM的核心原则、实施策略和最佳实践。 核心要点包括： 现代APM需整合追踪（traces）、指标（metrics）和日志（logs）三类数据，采用自动检测与关键业务手动检测相结合的方案； 有效策略应包含性能监控、错误跟踪、基础设施监控和用户体验指标四个维度； 实施时应遵循端到端可见性、实时监控、以用户为中心等原则，避免过度检测（建议控
博客
Elasticsearch：异常检测入门
07-03 749
本文介绍了在Elastic Stack 9.0.2中使用机器学习进行异常检测的实践方法。通过Kibana自带的示例数据，展示了如何创建三种不同类型的异常检测作业：单指标作业、多指标作业和群体作业。文章详细讲解了数据探索、作业配置、结果分析等关键步骤，并演示了如何使用SingleMetricViewer和AnomalyExplorer工具查看检测结果。此外，还介绍了利用机器学习模型进行未来行为预测的方法。整个过程突出了机器学习在运维场景中的价值，能够自动识别异常事件，减轻人工监控负担，帮助运维人员提前发现潜在
博客
祝贺我们首批通过 Elastic 认证的生成式 AI 销售合作伙伴
07-02 966
摘要：Elastic推出生成式AI合作伙伴认证计划，首批认证的合作伙伴包括GIOS、KPMG等6家欧洲和中东企业。这些合作伙伴已完成严格的ElasticAI培训，具备开发RAG解决方案等能力。Elastic通过向量数据库和AI集成，简化企业AI应用开发流程。认证合作伙伴将帮助客户克服AI试点到规模化应用的挑战，提供专业技术支持和创新方案。Elastic强调合作伙伴在推动AI解决方案落地中的关键作用，同时提醒用户注意第三方AI工具的数据安全风险。（149字）
博客
使用 JavaScript、Mastra 和 Elasticsearch 构建一个具备代理能力的 RAG 助手
07-02 1215
​在这篇文章中，我们将探索如何使用 Mastra 和一个轻量级的 JavaScript Web 应用来构建一个具备代理能力的 RAG 助手，并与它进行交互。通过将这个代理连接到 Elasticsearch，我们为它提供了访问结构化球员数据的能力，并能执行实时统计聚合，从而为你提供基于球员数据的推荐。前往 GitHub 仓库查看详情；README 文件提供了如何克隆并在本地运行该应用的说明。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值