使用AmazonEC2/S3作为数据仓库解决方案

# 使用 Amazon EC2/S3 作为数据仓库解决方案 ## 1. 相关工具及库的安装与配置 ### 1.1 Python Boto 库安装 在大多数 Linux 发行版中都可以使用 Boto 库。以 Fedora 系统为例，可以使用以下命令安装： ```bash $ sudo yum install python-boto ``` 也可以从项目主页 https://github.com/boto/boto 下载源代码。官方文档可在 http://docs.pythonboto.org/en/latest/ 查看。 ### 1.2 配置变量设置 配置数据分为两种类型： - **账户特定配置**：REST API 访问密钥，可存储在用户目录下名为 `.boto` 的 Boto 配置文件中，文件内容如下： ```plaintext [Credentials] aws_access_key_id = <Access key> aws_secret_access_key = <Secret access key> ``` - **应用特定配置**：存储在 `backup.cfg` 文件中，使用 `ConfigParser` 库进行访问，文件内容如下： ```plaintext [main] volume_id=vol-7556353c # the EBS volume ID which we mount to the EC2 DB instances vol_device=/dev/sdf # the name of the device of the attached volume mount_dir=/mysql-db # the name of the mount directory image_id=ami-2a58a342 # the name of the custom created AMI image key_name=<private key> # the name of the key pair (and the pem file) key_location=/home/rytis/EC2/ # the location of the key pair file security_grp=database # the name of the security group (with SSH and MySQL ports) ``` ## 2. 以编程方式初始化 EC2 实例 ### 2.1 应用结构搭建 首先创建 `BackupManager` 类，该类将实现管理自定义 EC2 实例的方法，同时设置一个日志记录器对象来记录应用状态。以下是应用结构代码： ```python #!/usr/bin/env python import sys import logging import time import subprocess import boto import boto.ec2 from ConfigParser import SafeConfigParser import MySQLdb from datetime import datetime CFG_FILE = 'backup.cfg' class BackupManager: def __init__(self, cfg_file=CFG_FILE, logger=None): self.logger = logger self.config = SafeConfigParser() self.config.read(cfg_file) self.aws_access_key = boto.config.get('Credentials', 'aws_access_key_id') self.aws_secret_key = boto.config.get('Credentials', 'aws_secret_access_key') self.ec2conn = boto.ec2.connection.EC2Connection(self.aws_access_key, self.aws_secret_key) self.image = self.ec2conn.get_image(self.config.get('main', 'image_id')) self.volume = self.ec2conn.get_all_volumes([self.config.get('main', 'volume_id')])[0] self.reservation = None self.ssh_cmd = [] def main(): console = logging.StreamHandler() logger = logging.getLogger('DB_Backup') logger.addHandler(console) logger.setLevel(logging.DEBUG) bck = BackupManager(logger=logger) if __name__ == '__main__': main() ``` 在初始化过程中，通过 `EC2Connection()` 方法建立与 AWS 的连接，返回的连接对象用于访问 AWS 系统。例如： ```python self.ec2conn = boto.ec2.connection.EC2Connection(self.aws_access_key, self.aws_secret_key) ``` 通过以下调用返回 AMI 镜像和卷对象： ```python self.image = self.ec2conn.get_image(self.config.get('main', 'image_id')) self.volume = self.ec2conn.get_all_volumes([self.config.get('main', 'volume_id')])[0] ``` 这些对象都有相应的控制方法，如卷对象的 `attach` 方法可将特定卷附加到 EC2 实例。 ### 2.2 启动 EC2 实例 使用之前创建的镜像对象的 `run()` 方法启动实例，该方法返回一个保留对象，列出通过此调用启动的所有实例。`run()` 方法需要设置两个参数：密钥对名称和安全组，还可以指定可选的放置区域参数。实例启动后不会立即可用，需要实现一个简单的循环来定期检查实例状态，直到其状态变为 `running`。代码如下： ```python def _start_instance(self): self.logger.debug('Starting new instance...') self.reservation = self.image.run(key_name=self.config.get('main', 'key_name'), security_groups=[self.config.get('main', 'security_grp')], placement=self.volume.zone) instance = self.reservation.instances[0] while instance.state != u'running': time.sleep(60) instance.update() self.logger.debug("instance state: %s" % instance.state) self.logger.debug("Instance %s is running and available at %s" % (instance.id, instance.public_dns_name)) ``` ### 2.3 附加 EBS 卷 实例运行后，可以将卷附加到实例上。虽然可以通过一个方法调用完成附加操作，但即使卷状态显示已成功附加，设备可能仍未准备好，因此需要额外等待一段时间。代码如下： ```python def _attach_volume(self, volume=None): if not volume: volume_to_attach = self.volume else: volume_to_attach = volume insta ```