34、构建可扩展数字图书馆摄取管道与引文关系语义属性处理

构建可扩展数字图书馆摄取管道与引文关系语义属性处理

1. 微服务架构在数字图书馆摄取管道的应用

在实际应用中，采用微服务架构构建可扩展的数字图书馆摄取管道具有诸多优势。以某系统为例，过去一年采用新的微服务架构后，馆藏数据量翻倍，目前拥有7000万条元数据记录和600万篇全文PDF。虽然不能直接将内容增长与新架构引入关联起来，但在维护任务上，人员时间消耗明显减少，有利于开展新任务。

微服务架构带来的优势主要体现在以下几个方面：
- 系统维护与故障排除 ：将单体代码拆分为具有特定操作的小组件后，系统维护和故障排除变得更加容易和高效。当出现问题时，程序员可以专注于小的有问题的代码单元，而非整个单体代码库。
- 系统可恢复性 ：对于一些大型存储库的采集任务，可能需要运行很长时间。在新架构中，任务失败或重新部署改进版本的代码时，任务不会丢失，会自动恢复，无需人工干预。
- 任务质量与性能关注 ：从单体采集方法转向微服务应用后，可以更专注于每个任务的质量和性能，建立有效的衡量标准，如成功或失败。
- 可扩展性与分布式环境 ：新架构允许在现有硬件基础设施内高效调配服务，根据需求进行转换，而旧架构扩展需要添加新资源或服务器。
- 服务分离与可用性提升 ：将采集基础设施与公共服务分离，公共服务仅通过ElasticSearch索引与采集后端连接，提高了服务的正常运行时间。

然而，微服务架构也带来了一些新挑战：
- 工人数量估计困难 </