Aerospike简单使用

最新推荐文章于 2023-10-28 22:33:24 发布
最新推荐文章于 2023-10-28 22:33:24 发布
阅读量1.6k 收藏 4
点赞数
分类专栏： Aerospike 文章标签： nosql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Brown_Bear_007/article/details/103679728
版权

Aerospike简单使用

Aerospike概述

Aerospike是一个分布式，高可用的K-V类型的nosql数据库，提供类似传统数据库的ACID操作。
Aerospike是一个高性能、可扩展、可靠性强的NoSQL解决方案，支持RAM和SSD作为存储介质，并专门针对SSD特殊优化，广泛应用于实时竞价等实时计算领域。官方保证99%的操作在1ms内完成，并提供集群数据自动Rebalance、集群感知客户端等功能，且支持超大规模数据集(100T级别)的存储。
作为KV存储，Aerospike提供多种数据类型，其操作方式和Redis比较类似。除基础功能之外，Aerospike还支持AMC控制台、API等多种监控方式，有集群QPS、健康度、负载等多项监控指标，对运维比较友好。支持集群内数据的自动Rebalance，和Redis集群方案相比，维护成本下降不少。

Aerospike特性

  1. 可预见的高性能，99% 的响应可在 1 毫秒内实现，99.9% 的响应可在 5 毫秒内实现
  2. 混合架构 索引存储在RAM中，而数据存储在闪存或者SSD中
  3. 群集感知客户端软件，客户端知晓数据的存放位置，因此通常能够通过一次单跳检索到数据
  4. 无热点，使用复杂的哈希函数来确保数据均等地分布到所有可用节点，从而将需求平均分布到各资源上
  5. 数据完整性，保持了高度的一致性，或者允许对跨越多个群集和数据中心的一致性进行调节
  6. 线性扩展，能够根据需要安装到多个数据中心内分组为多个群集的多个节点上。添加节点，无需分片，无需人工干预
  7. 跨数据中心支持，不同数据中心内的群集能够自动协调，从而实现绝对的可靠性
  8. 提供API的语言，AS支持多种语言，诸如C/C++、 Java、 C#、 Python、 PHP、 Go、 Node.js、 Ruby、 Erlang、 libevent2 ©、 Perl等等

基本概念（名词解释）

概念解释
NamespaceAS数据存储的最高层级，类比于传统的数据库的库层级，一个namespace包含记录（records），索引（indexes ）及策略（policies）。其中策略决定namespace的行为，包括：1.数据的存储位置是内存还是SSD。2.一条记录存储的副本个数。 3.过期时间（TTL）：不同redis的针对key设置TTL，AS可以在库的层级进行全局设置，并且支持对于已存在的数据进行TTL的设置，方便了使用。
Set存储于namespace，是一个逻辑分区，类比于传统数据库的表。set的存储策略继承自namespace，也可以为set设置单独的存储策略
Records类比于传统数据库的行，包含key，Bins（value）,和Metadata（元数据）。key全局唯一，作为K-V数据库一般也是通过key去查询。Bins相当于列，存储具体的数据。元数据存储一些基本信息，例如TTL等。
Metadata每一条记录包含以下几条元数据1.generation（代）：表示记录被修改的次数。该数字在程序度数据时返回，用来确认正在写入的数据从最后一次读开始未被修改过。2.time-to-live（TTL）：AS会自动根据记录的TTL使其过期。每次在对象上执行写操作TTL就会增加。3.10.1版本以上，可以通过设置策略，使更新记录时不刷新TTL。3.last-update-time （LUT）：上次更新时间，这是一个数据库内部的元数据，不会返回给客户端。
Bins在一条记录里，数据被存储在一个或多个bins里，bins由名称和值组成。bins不需要指定数据类型，数据类型有bins中的值决定。动态的数据类型提供了很好的灵活性。AS中每条记录可以由完全不同的bins组成。记录无模式，你可以记录的任何生命周期增加或删除bins。在一个库中bins的名称最多包含32k，这是由内部字符串优化所致。（相比于HBase支持几百万列还是有一定差距，如果想直接将HBase表迁移到AS可能需要重新设计存储结构）

AS对比传统数据库
在这里插入图片描述

学习网址

官网
https://www.aerospike.com/docs/architecture/index.html

Aerospike软件安装

Aerospike下载

Aerospike下载网址
在这里插入图片描述

在这里插入图片描述

修改配置文件：

cd /etc/aerospike
vi aerospike.config

配置文件示例：

在这里插入图片描述

配置文件解析：

在这里插入图片描述

NetWork Configuration：

在这里插入图片描述

NetWork配置示例：

在这里插入图片描述

Hearbeat：

Multicast(UDP):建议使用
Mesh(TCP)：Mesh对心跳信号使用TCP点对点连接。群集中的每个节点都保持与所有其他节点的心跳连接，从而产生网格所需的许多连接。因此，我们建议在可用时使用多播心跳协议。

安装过程中遇到的问题

  1. 在执行./asinstall命令 或者 service aerospike start命令不成功，提示缺少GLIBC2.14和GLIBC2.17版本
#查看glibc版本
strings /lib64/libc.so.6 | grep GLIBC  
#下载相应的glibc版本
tar -zxvf glibc-2.17.tar.gz
cd glibc-2.17
mkdir build
cd build
../configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make && make install  #比较慢  等一会
  1. 提示Python版本不对
    下载并安装如下的rpm依赖包并安装：在这里插入图片描述

Aerospike 运行

sudo service aerospike start  		
#运行服务
sudo service aerospike status			
#查看服务运行状态（# asd (pid 16816) is running...）
grep cake /var/log/aerospike/aerospike.log
#查看运行日志（Jun 22 2014 03:35:33 GMT: INFO (as): (as.c::376) service ready: soon there will be cake!）

Aerospike AMC安装

准备

在这里插入图片描述

#python2.7安装
	tar -zxvf Python-2.7.9.tgz
	cd Python-2.7.9
	
	./configure --prefix=/usr/local/python-2.7.9
	make
	make install
	
	ln -s /usr/local/python-2.7.9/bin/python /usr/bin/python
	python --version
#setuptools安装
	unzip setuptools-41.6.0.zip
	cd setuptools-41.6.0
	python setup.py install
#pip安装
	tar -zxvf pip-19.3.1.tar.gz
	cd pip-19.3.1
	python setup.py installtar
#pex安装
	tar -zxvf pex-1.6.12.tar.gz
	cd pex-1.6.12
	python setup.py install
	vi /etc/profie (:/usr/local/python-2.7.9/bin)
	  . /etc/profile
#wheel
	tar -zxvf wheel-0.33.6.tar.gz
	cd wheel-0.33.6cd
	python setup.py install
#aerospike-asadm依赖服务安装
	make
	make install
	asadm
#aerospike-amc安装
rpm -ivh aerospike-amc-community-4.0.22-1.x86_64.rpm
Aerospike入门
zhglhy的专栏
03-09 1087
Aerospike介绍 •Aerospike是一个高性能、可扩展、可靠性强的NoSQL解决方案，支持RAM和SSD作为存储介质，并专门针对SSD特殊优化，广泛应用于实时竞价等实时计算领域 •官方保证99%的操作在1ms内完成，并提供集群数据自动Rebalance、集群感知客户端等功能，且支持超大规模数据集(100T级别)的存储。 社区版、商业版对比 社区版 企业版 可免费使用 收费【24×7×365生产支持...
Aerospike数据存储策略
最新发布
zhglhy的专栏
04-14 244
只能用顺序写入模式（默认），但需自行保障磁盘可靠性（如阿里云云盘本身有 3 副本，可降低风险）。数据会在不同节点的磁盘上存储副本（例如 Node1 和 Node2 各存一份）。适合高性能场景，但需额外保障磁盘可靠性（如云盘 RAID 或定期备份）。如果追求高可用，直接部署 Aerospike 集群（至少 3 节点）。device /dev/vdc # 节点 1 的盘。device /dev/vdc # 第一块盘。device /dev/vdd # 第二块盘。实现跨节点备份，无需关心单机多盘写入顺序。
深入浅出Aerospike
12-16
Aerospike从入门到深入介绍，都是本人亲自总结的，一手资料
[由零开始] Aerospike 介绍和使用
qq497811258的博客
08-27 4065
Aerospike介绍 Aerospike（简称AS）是一个分布式，可扩展的键值存储的NoSQL数据库。 T级别大数据高并发的结构化数据存储 读写操作达微妙级，99%的响应可在1毫秒内实现 采用混合架构，索引存储在内存中，而数据可存储在机械硬盘(HDD)或固态硬盘(SSD) 上（也可存储在 内存） AS内部在访问SSD屏蔽了文件系统层级，直接访问地址，保证了数据的读取速度。 AS同时支持二级索引与Client聚合，支持简单的sql操作（aql），相比于其他nosql数据库，有一定优 势。 Aerospike
Aerospike
FYHannnnnn的博客
11-25 1046
Aerospike（简称AS）是一个分布式，可扩展的键值存储的NoSQL数据库。 T级别大数据高并发的结构化数据存储，读写操作达微妙级，99%的响应可在1毫秒内实现。 采用混合架构，索引存储在内存中，而数据可存储在机械硬盘(HDD)或固态硬盘(SSD) 上（也可存储在 内存） AS内部在访问SSD屏蔽了文件系统层级，直接访问地址，保证了数据的读取速度。 AS同时支持二级索引与Client聚合，支持简单的sql操作（aql），相比于其他nosql数据库，有一定优势。 应用场景 个性化推荐广告应用 用户
Aerospike学习
windybear_2021的博客
11-29 2174
Aerospike Aerospike是一个分布式，高可用的 K-V类型的NoSQL数据库。提供类似传统数据库的ACID操作。 优势 AS最大的卖点就是可以存储在SSD上，并且保证和Redis相同的查询性能。AS内部在访问SSD屏蔽了文件系统层级，直接访问地址，保证了数据的读取速度。 AS同时支持二级索引与聚合，支持简单的sql操作，相比于其他NoSQL数据库，有一定优势。 Namespaces AS数据存储的最高层级，类比于传统的数据库的库层级，一个namespace包含记录（records），索引（in
Aerospike学习入门
学习 记录 总结 分享
06-01 433
Aerospike 简介 Aerospike （简称 AS ）是一个分布式，可扩展的键值存储的 NoSQL 数据库 。 T 级别大数据高并发的结构化 数据存储 读写操作达微妙级， 99% 的响应可在 1 毫秒内实现 采用混合架构，索引存储在内存中，而数据可存储在机械硬盘 (HDD) 或固态硬盘 (SSD) 上（也可存储在 内存） AS 内部在访问 SSD 屏蔽了文件系统层级，直接访问地址，保证了数据的读取速度。 AS 同时支持二级索引与 Client 聚合，支持简单的 sql 操作（
aerospike-server.docker：用于Aerospike Server社区版的Dockerfile
02-09
注意虽然这是启动和运行Aerospike的最简单方法，但不是首选方法。 要正确运行容器，请使用定义的访问地址指定自定义配置。 高级用法 自定义配置 有两种配置Aerospike的方法。 环境变量 您可以通过-e标志向正在运行...
aerospike-client-nodejs：Aerospike数据库的Node.js客户端
02-03
Aerospike Node.js客户端 用于Node.js的Aerospike附加模块。 客户端与Node.js v8.x，v10.x（LTS），v12.x（LTS）和v14.x...下面是一个非常简单的示例，说明如何使用Aerospike数据库创建，更新，读取和删除记录。 c
aerospike-batch-processing:一个简单的示例，用于批量处理Aerospike命名空间中的所有记录
05-15
使用Aerospike scanAll()方法扫描整个名称空间或名称空间并进行设置。 每条记录一次从一个缓冲队列中检索。 您可以将返回的记录收集到一个“批”中，然后处理该批记录。 该解决方案的源代码可在GitHub上找到，以及...
AeroView:Aerospike的GUI
04-30
[AeroView]-用于AeroSpike的基于Web的简单GUI 入门 要使用AeroView，您将需要以下设置： PHP 5.3以上 阿帕奇 Aerospike PHP客户端-https: Aerospike实例或群集 错误和问题 连接到较远的主机时，读取存在超时问题...
Aerospike使用介绍
热门推荐
dazheng
07-30 2万+
Aerospike简介 Aerospike是什么？ Aerospike(以下简称AS）是一个以分布式为核心基础，可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。它主要用于百G、数T等大数据量并且在数万以上高并发情况下，对性能也有ms读取插入要求的场景。目前主要集中于互联网广告行业，如eXelate、BlueKai、MediaV、 InMobi、 applovin等。 特性可预见的高性能
aerospike入门
VVVVVxVVVVV的博客
08-19 1073
Aerospike 一、NoSql NoSQL(Not Only Sql)，泛指非关系型的数据库。传统项目网站访问量一般不大，单机版数据库就很不错， 随着互联网web2.0网站的兴起，传统的关系数据库在处理web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，出现了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。 常见NoSql有: Redi
aerospike实战之put操作
星月菩提的专栏
02-16 3045
put：向Aerospike中添加一条记录 ascli put ascli put upf testuser test '{"a": "A", "b": 1, "c": [1,2,3], "d": {"x": 4}}' 当我们需要修改abcd中其中的一个属性值时，可以通过如下： ascli put upf testuser test '{"c": [1,2,3,4]}'
Aerospike 介绍
学渣的博客
07-12 829
数据持久化：Redis具有多种数据持久化方式，如RDB和AOF，可以在系统故障时恢复数据。而Aerospike采用的是分布式架构，具有数据备份和恢复的功能，可以在节点故障时保证数据不会丢失。性能：Aerospike在读写性能方面相对较好，可以快速处理大量数据，而Redis在单线程模式下的读写性能也很高。但是Aerospike的部署和维护比较复杂，需要较高的技术水平。数据模型：Redis使用键值对存储数据，而Aerospike可以使用键值对、文档或者图形数据模型存储数据。
Aerospike用例分析
weixin_33836874的博客
08-09 412
Aerospike是一个以分布式为核心，T级别大数据高并发的……，参见《Aerospike入坑导读》https://yq.aliyun.com/articles/622455?spm=a2c4e.11155435.0.0.36e43312Nq4iTX，针对常用的一般性操作给出九个用例，代码采用GO语言实现，JAVA、C\C++以及其他语言的...
Aerospike学习之一：C Client简单示例
风之翊的专栏
05-28 955
Aerospike学习之C Client示例 参考： Aerospike官网
Aerospike（K-V 缓存型）数据库(简称AS)入门了解
独断万码
10-28 1502
Aerospike介绍
Aerospike数据库实战(四) -- Aerospike 安装部署
RangeYan
01-09 5755
1 Aerospike Databases部署前准备工作 尽量不要对ssd做RAID，RAID控制器会带来不必要的延迟如果必须做RAID，建议每块盘单独做RAID0。如果做了RAID，需要利用 LSI Mega CL 进行一些优化设置。参考：LSI Mega CLI: [[http://www.aerospike.com/docs/operations/plan/ssd/lsi_megacl
Vault Plugin Database Aerospike: 构建与使用指南
编译的过程非常简单，只需要使用git clone命令克隆这个存储库，然后在项目目录中运行go build命令。 安装这个插件，你需要在Vault的配置文件中定义一个插件目录，然后将编译好的插件文件放到这个目录中。之后，你...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值