scrapy调用js

### Scrapy中集成JavaScript执行 在Scrapy项目中处理依赖于JavaScript动态加载的内容可以通过多种方式实现。一种流行的方法是利用`scrapy-splash`中间件，它允许发送带有特定参数的请求给Splash服务，该服务会启动一个真实的浏览器环境来解析和渲染页面中的JavaScript[^1]。 #### 安装必要的组件 要开始使用`scrapy-splash`，首先需要安装Python包以及设置好Docker容器内的Splash服务器： ```bash pip install scrapy-splash docker run -p 8050:8050 scrapinghub/splash ``` #### 配置Scrapy项目支持Splash 为了让Scrapy能够识别并使用Splash进行HTTP请求，在项目的配置文件(`settings.py`)里添加如下几项设定： ```python DOWNLOADER_MIDDLEWARES = { 'scrapy_splash.SplashCookiesMiddleware': 723, 'scrapy_splash.SplashMiddleware': 725, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810, } SPIDER_MIDDLEWARES = { 'scrapy_splash.SplashDeduplicateArgsMiddleware': 100, } DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter' HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage' # Splash URL SPLASH_URL = 'http://localhost:8050' ``` #### 修改Spider代码以适应Splash 当定义自己的爬虫类时，应该指定URL规则匹配模式，并告知框架哪些链接应当通过Splash去访问。下面是一个简单的例子展示如何创建这样的蜘蛛程序： ```python import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from ..items import FirstItem class ExampleSpider(CrawlSpider): name = "example" allowed_domains = ["example.com"] start_urls = ['https://www.example.com'] rules = ( Rule(LinkExtractor(allow=()), callback='parse_item', follow=True), ) def start_requests(self): for url in self.start_urls: yield scrapy.Request(url=url, meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5} } }) def parse_item(self, response): item = FirstItem() item['url'] = response.url item['title'] = response.css('h1::text').get().strip() item['content'] = ''.join(response.xpath('//div[@id="main-content"]//text()').getall()).strip() return item ``` 上述代码片段展示了如何让每个初始请求都经过Splash处理，并等待半秒钟以便确保所有的JavaScript脚本已经完成运行后再继续提取所需的信息。 另一种方法则是采用Selenium作为替代方案之一，特别是对于那些特别复杂的交互场景或是需要模拟真实用户的操作流程的情况更为适用。不过需要注意的是，相比起轻量级的Splash来说，Selenium通常消耗更多的资源并且速度较慢一些[^3]。