基于Shell脚本实现文件定时拷贝

最新推荐文章于 2024-12-24 11:16:41 发布
最新推荐文章于 2024-12-24 11:16:41 发布
阅读量763 收藏 5
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 操作系统/Linux 文章标签： github
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012856866/article/details/139963815

需要开发一个需求，将服务器A的 批量数据文件 定时同步 到远程服务器B中，这里我们的基本思路为：

  • 服务器A：存放数据文件
  • 服务器B：部署shell脚本，从服务器A中拉取文件至本地目录中。

注意：这里也可以将shell脚本部署在数据服务器上，但是我们这里数据服务器A比较重要，最好不要部署程序。因此，我们将shell脚本部署在了目标服务器B上。

因为涉及批量数据的迁移拷贝，涉及的关键技术点包括：

  • 设置服务器B通过秘钥访问服务器A
  • 编写shell脚本
  • 设置crontab

1、通过秘钥访问服务器

我们知道基于linux的scp 命令可以实现本地与远程服务器间的文件传输，具体可以参考博客：linux 基于scp命令实现本地与远程服务器间文件拷贝

但是单个scp命令的执行需要手动输入服务器的密码，对于批量文件拷贝来说不可行。批量文件的迁移使用脚本来执行，因此这里我们使用秘钥的方式访问远程服务器。

  1. 进入服务器B 的~/.ssh目录查看是否有生成私钥和公钥。如果秘钥不存在则需要执行以下命令：
ssh-keygen

输入以上命令后多按几次回车就可以生成本机秘钥，如下图所示：

最低0.47元/天 解锁文章

200万优质内容无限畅学
Linux命令编程：使用Shell脚本实现文件复制
SVIPCODE的博客
09-12 1663
Shell脚本是一种在Linux系统中编写脚本的方式，它可以用来自动化执行一系列的命令。在本文中，我们将使用Shell脚本编写一个文件复制程序，以便将一个文件的内容复制到另一个文件中。接下来，我们需要在脚本文件的开头指定脚本使用的解释器，通常是/bin/bash。然后，我们需要检查目标文件是否已经存在。首先，我们需要创建一个新的Shell脚本文件，可以使用任何文本编辑器来完成。然后，按照提示输入源文件和目标文件的名称，脚本将自动复制文件并显示成功消息。接下来，我们需要获取用户输入的源文件和目标文件的名称。
shell脚本使用scp命令远程拷贝文件
Hello Word!
11-13 3625
缺点：不安全，明文账号密码 优点：简单好用 用途：从本地/data/xxx/src_folder文件夹下拷贝多个文件（model-*.params, model-symbol.json）到远程服务器(10.xxx.xxx.xxx)的/data5/dst_folder目录下 $ sudo apt install sshpass 下面脚本存为 xxx.sh #!/usr/bin/bash # usage: sudo sh xxx.sh time=$(date "+%Y%m%d%H%M%S") mpath="
实现定时拷贝一个路径下的文件拷贝到另一个文件夹下
最新发布
qq_25699299的博客
12-24 1044
以下分别介绍在Python、Windows批处理脚本以及Linux的bash脚本中实现定时拷贝文件的方法。
定时文件自动备份、复制，只复制改变的文件
10-25
MD5校验码：f4f9ea3f7bcc3375192be61dc110cb58 1、本软件是定时自动备份软件。 2、备份任务自动拷贝文件文件大小或修改时间变化的文件 3、MyCopy.exe是配置界面，该文件生成配置文件mycopy.ini，并能显示系统运行状态。 4、MyCopyTask.exe是执行拷贝任务的程序，它根据mycopy.ini配置的信息定时进行拷贝，在休眠状态下每5秒钟检查一次是否到达任务指定的拷贝时间。拷贝过程中出现错误，记录log.ini文件，但不会终止拷贝进程。 5、MyCopy.exe配置界面里有“启动”按钮把运行状态改为“运行”，并启动MyCopyTask.exe程序；“终止”按钮把运行状态改为“终止”，MyCopyTask.exe检测到系统状态时为“终止”则自动退出。“退出”按钮退出配置界面，但不会终止MyCopyTask.exe程序。“暂停”也会推出MyCopyTask.exe程序，但下次启动时，从上次暂停的任务开始继续拷贝。 6、MyCopyTask.exe运行时托盘上会显示图标。 7、要实现拷贝任务的自动启动，可以把MyCopyTask.exe加入到windows系统的“启动”菜单中，但配置文件中的运行状态一定是“启动”，否则程序会自动退出。 8、程序拷贝文件时意外终止，可以坚持mycopy.ini文件中的[系统状态]是否有“半个文件”，如果有说明“运行信息”中包含的文件没有拷贝完整。 9、如果因为某种原因错过了任务执行时机的话，拷贝程序会在启动后补回错过的拷贝任务。 10、任务名和文件路径中不能出现","（半角逗号） 11、标准版只记录log.ini文件，健康提示版当任务执行完之后会弹出提示信息。
定期拷贝最新文件到远程服务器
wangzhicheng2013的专栏
12-21 326
1.设置免密码scp 2.编写脚本： #scp the lastest file to the dest path of server #!/bin/bash TIME_INTERVAL=60 #default 60s function scp_the_latest_file_to_server() { #get parameters server_ip=$1 server_dest_path=$2 local_file_path=$3 #get the las
看代码网备份|利用WebClient|eKing.CmdDownLoadDbBakOper|实现定时拷贝数据库备份文件到文件服务器...
weixin_30821731的博客
08-05 180
摘要： 1、有两台服务器 （1）看代码网（记为A）：内网IP：10.186.73.30 （2）文件服务器（记为B）：内网IP：10.135.87.157 2、在A架设一个网站，端口8088（防火强设置B才能访问） 3、在B运行计划任务，每天定时从A的8088端口网站下载数据库备份文件到B 优点： 1、利用iis，无需架设ftp 2、利用防火墙，确保只能指定IP和端口可...
windows复制文件脚本
qq_36345633的博客
05-30 1554
在此脚本中，您需要将 "C:\SourceFolder\" 和 "D:\DestinationFolder\" 替换为您要复制的源文件夹和目标文件夹的路径。如需要自动任务，可使用windows 任务计划程序来配置定时任务。/y 参数用于自动覆盖目标文件夹中的现有文件。/e 参数用于复制子目录和目录中的所有文件。
Shell脚本实现Linux操作系统下多台虚拟机远程拷贝和命令操作
XavierYen的博客
01-11 687
文章目录前言一、免密设置二、远程拷贝脚本三、配置环境变量脚本四、远程命令脚本 前言 利用脚本可实现多台虚拟机的JDK，Hadoop，Spark的快速安装配置。 一、免密设置 生成密钥和公钥 [root@slave02 ~]# ssh-keygen -t rsa 运行结果（直接敲回车键） Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created
通过Shell脚本自动定时将Gitlab备份文件复制到远程服务器.doc
05-15
"通过Shell脚本自动定时将Gitlab备份文件复制到远程服务器" 本文将介绍如何使用Shell脚本将Gitlab备份文件自动定时复制到远程服务器上，并对远程服务器上的Gitlab备份文件进行定时清理。 知识点一：SSH密钥配对 ...
shell脚本文件拷贝夹定时拷贝任务
12-13
以下是使用Shell脚本实现定时拷贝文件夹的方法： 1. 创建一个名为copy.sh的Shell脚本文件，并在其中添加以下代码： ```shell #!/bin/bash cp -r /path/to/source/folder /path/to/destination/folder ``` 2. 将源...
shell脚本比较两台服务器目录及文件是否一致
02-29
### Shell脚本比较两台服务器目录及文件是否一致 在IT运维工作中，经常需要对比不同服务器上的文件或目录是否一致，特别是在对生产环境和测试环境进行对比时尤为重要。本文将详细解析一个用于比较两台服务器目录及...
windows下通过ssh自动备份的脚本
03-01
博文链接：https://zsp.iteye.com/blog/246859
文件自动复制粘贴
08-07
实现文件自由的复制粘贴可定时进行完成，指定某个或者多个文件和文件夹同时进行操作
[开发|python] python定时从一个文件夹中复制文件到另一个文件夹
梦醒贰零壹柒
04-07 755
python定时复制文件
windows批处理脚本——定时转移文件
zhengshuangyue的博客
07-18 6792
windows批处理脚本——定时转移文件
在服务器上建立定时任务，A服务器上的文件，定时备份至B服务器
zhenshilei0106的博客
12-15 1648
在服务器上建立定时任务，A服务器上的文件，定时备份至B服务器
一次惨痛教训让我写了个Windows定期备份文件脚本
s_alted的博客
03-08 1020
每每想起这件事，不禁一个人在夜里默默哭泣
Linux 使用shell命令复制文件
m0_64435641的博客
11-30 7037
Linux 使用shell命令复制文件
shell笔记：复制文件
aichengdi7617的博客
12-01 210
#!/bin/bash #3.sh #用Shell编程，判断一文件是不是file文件（其他文件类型都可以判断，根据需求编写，但是注意管道文件不能被复制），如果是将其拷贝到 tmp 目录下（任意你想要的目录下都可以）。 # read -p表示后面跟一个字符串，然后字符串后的变量接收输入值。如果输入字符串的数量与变量数量相等，则每人一个值；如果少于变量数，后面的变量为空；如果多余变...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值