こんにちは、グローバル向けAWS版kintoneのバックエンドエンジニアをしている@ueokandeです。 8月になって暑い日々が続きますね。そして8月と言えば、Amazon Aurora MySQL-Compatible Edition version 1 with MySQL 5.6 compatibility（以下Aurora MySQL 5.6）のサポート終了までおよそ半年となりました。 グローバル向けAWS版kintoneでは、Aurora MySQL 5.6を採用しているバックエンドサービスがいくつかあり、チームで移行作業に取り組んできました。この移行作業は単なるアップグレードだけではなく、ダウンタイムなしでデータベースを移行するチャレンジにも取り組みました。この記事ではAmazon Auroraの移行作業の全貌と、移行戦略を紹介します。 Aurora MySQL 5.6のサポ
こんにちは、最近ランニングをサボって体重が増えたANDPADのDBRE植木です。 秋にはフルマラソンに再チャレンジする予定なので改めて頑張ります。 今回はGW前にANDPADでAurora MySQL（以下、Aurora）をVer.1（MySQL5.6互換）からVer.2（5.7互換）にバージョンアップした件について書かせていただきます。DBMSのバージョンアップで重要なのは９割以上準備作業ですが、スタートアップ企業などでは必要な準備ややっておいた方が良い事などがわからないことも多いかと思います。ANDPADに入社して約一年になりますが、その一年の間に実施した準備の話などにも重みを置いて記事を書いてみました。 ANDPAD及びそのシステムについて AuroraバージョンアップのEOLについて バージョンアップ前にやるべきおすすめ 1. DBのエンドポイント指定をCNAMEにする 2. イン
はじめに 基盤チームでバックエンドエンジニアをやっている松田（ @tadamatu ）です。 以前にCTO川口が当ブログ内で公開した以下の記事があります。 devblog.thebase.in 新規接続の限界 BASE のアクセス量の伸びは凄まじくこの構成でも接続エラーが発生するようになってしまいました。 ピーク時に秒間 2 万もの新規接続が primary インスタンスへ行われているといった状態です。 この記事が公開されたのが約２年前で、当時100万程度 だったショップ数は170万を超え、我々はまだまだ伸ばしたいと考えています。 これは、ショップ数の伸びとともに、指数関数的に増えていくユーザのアクセスを捌く必要があることを意味します。 ブログ公開当時、我々はさまざまな検討の末、以下のような対策を取りました。 残された手段は primary のインスタンスに対しての接続数を如何にして減らす
Aurora Serverless MySQL の一般利用が開始 | Amazon Web Services
Amazon Web Services ブログ Aurora Serverless MySQL の一般利用が開始 クラウド向けに考案、構築され、MySQL や PostgreSQL と互換性のあるカスタムビルドのデータベース、Amazon Aurora については、すでにご存知の方も多かと思われます。また、インスタンスのことを考慮することなくアプリケーションおよびサービスを構築、実行できるサーバーレスをご存知の方も多いかと思われます。この 2 つのサービスは、成長を続ける AWS テクノロジーの一端を担うサービスであり、私たちはこのサービスに積極的に取り組んでいます。昨年の AWS re:Invent では、Aurora Serverless と呼ばれる Aurora の新機能のプレビューが発表されました。本日、Aurora MySQL 向け Aurora Serverless の一般利用
よく、Auroraを採用しました、安定しています、移行してよかったです！とか見かけますけど、 なんで快適なのかをちゃんとわかって使ってんのかこの野郎ッp(｀･ω･´ﾒ)q 俺も全然わかってねぇッ( ･`ω･´) ということで、今回もいい感じに飽きてきたAuroraです。Aurora。少々気になっていた、ALTER TABLE周りについて興味深い数値が取れたので、その共有で御座います候。 MySQL5.6互換 AuroraはMySQL5.6互換というけれど・・・ Q:「MySQL と互換性がある」とはどういう意味ですか? これは、現在お客様が MySQL データベースで使用しているほとんどのコード、アプリケーション、ドライバー、ツールをほとんど、またはまったく変更を加えなくても Aurora で使用できることを意味します。Amazon Aurora データベースエンジンは InnoDB スト
パラメータ lambda_function_ARN 呼び出すLambdaファンクションのARN lambda_function_input Lambfaファンクションを呼び出すJSON形式の入力文字列 なお、Aurora上でmysql.lambda_asyncの定義を確認すると以下のようになっています。 mysql> show create procedure mysql.lambda_async \G *************************** 1. row *************************** Procedure: lambda_async sql_mode: NO_ENGINE_SUBSTITUTION Create Procedure: CREATE DEFINER=`rdsadmin`@`localhost` PROCEDURE `lambda_as
RDS ReadReplicaを立てて、参照クエリを逃がすことを考える。 可用性や拡張性を考えてReadReplicaは複数台構成とした場合、RDSの仕様を考慮して設計しておく必要がある。ポイントは以下。 Read Replicaは個々にEndpoint (DNS名) を持つ。 複数Read Replicaに対してバランシングする仕組みは提供していない。 ELBは RDS (Read Replica含め) には使えない。ELBにぶら下げられるのはEC2のみ。 Read Replica各ノードの死活監視、障害時の切り離し／切り戻しを考慮する必要がある。 ということで、Read Replicaのバランシングを行うなら、自分で仕組みを用意する必要がある。 実現方法はいくつか選択肢があるが、今回はL7のバランサーとして定評のあるHAProxyを使ってみる。 Architecture with HA
Amazon Auroraを始めるためのパラメータ資料 | 外道父の匠
Auroraがそこそこ浸透してきたように感じなくもないですが、そのわりに情報がまだ少なめなのは、それだけ従来のMySQLと変わりなく扱え、性能も十分満足いくものだろう、という証なのでしょうか。 中の人も、パラメータチューニングは済んでいるので、基本的にはスケールアップで対応してください、と申しているように、かなり良い調整がされているようです。しかし、インフラエンジニアというかエセDBAたるもの、何がどう調整されているかを具体的に確認しなくては気がすまないため、整理してみたわけです。 デフォルトの設定 パラメータグループについて Auroraのパラメータは従来と異なり、ノード毎の設定である『DB Parameter Group』と、クラスタ内共通の『DB Cluster Parameter Group』の２つに設定が分かれます。 必要に応じてクラスタの方に、文字コードやレプリケーション周りな
Photo via Visual hunt Backlog の一部のスペースにて Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。 移行の経緯 昨年末データベース障害が発生しユーザー様には多大なご迷惑をお掛けしてしまいました。 Backlog には Terraform をどう使っているかを紹介したブログ にあるように複数の運用環境があります。 その各々の環境の構築時期によって EC2 上で自前運用していた MySQL もあれば、RDS for MySQL もある、といった統一されていない状況でした。また EC2 上ではまだ MySQL 5.1 も稼働していました。 移行を検討するにあたり、優先したのは障害時の復旧が素早く出来ることと、少しでも運用の管理コストを下げることでした。Backlog のサーバは 100 台以上で
AWS Database Migration Service Now Supports Migrations to Amazon Redshift - AWS
AWS Database Migration Service Now Supports Migrations to Amazon Redshift AWS Database Migration Service now supports Amazon Redshift as a migration target. This allows you to stream data to Amazon Redshift from any of the supported sources including Amazon Aurora, PostgreSQL, MySQL, MariaDB, Oracle, and SQL Server, enabling consolidation and easy analysis of data in the petabyte-scale data wareho
もう一度最強のDBを求めて 前回まで MySQL5.7 > Aurora 遅いと噂のGQL > RDS と、上のような結果が出てみたもののどうにも自分で調べておいて検証結果が信用できない。 データ容量と同時接続数を増やしてみてもう一度チャレンジしてみた。 検証方法 sysbench --test=oltp --db-driver=mysql --oltp-table-size=100000000 prepare sysbench --test=oltp --db-driver=mysql --oltp-table-size=100000000 --num-threads=XXX --oltp-read-only=off run 取りあえず手軽に試してみたかったので、sysbenchで実行してみる。 登録データ件数は1億件。容量にして約20GB。 同時接続数を4→8→16→32→64と増やし
Photo via Visual hunt ヌーラボアカウントではつい先日、Amazon RDS for MySQL から Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。 移行の経緯 ヌーラボアカウントは Backlog や Cacoo、Typetalk といったヌーラボのサービスへの認証機能を提供しています。もし認証機能が使えないとすべてのサービスを利用できなくなってしまいます。そのため、ヌーラボアカウントには常に認証機能を提供し続けられるような、高いアベイラビリティが求められています。 ヌーラボアカウントではこれまで RDS for MySQL を利用していましたので、MySQL 互換を掲げる Amazon Aurora は、リリースされたときから移行の可能性を検討をしてきました。Aurora のメリットについては
Amazon RDS for Aurora 東京ローンチ記念セミナー - oinume journal
Auroraの検討を導入していることもあり、11/10のAmazon RDS for Aurora 東京ローンチ記念セミナーに行ってきたのでそのメモ書きと感想。 Debanjan Saha, GM, Amazon Aurora Auroraチームの人。AuroraはAWS史上最速で成長しているサービスと言っていた。 エンタープライズ顧客の要望リスト 専門家部隊がいなくても運用・管理できる ライセンス管理しなくてもいい MySQL互換のリレーショナル・データベース 商用DB並のパフォーマンスと可用性 OSS DBの使いやすさとコスト効果 3箇所のデータセンターに6つの複製を保持 30秒以内でフェールオーバー 50万 Read IOPS 10万 Write IOPS 64TB Storage - DBに最適化したストレージ Aurora使っている会社 Expedia GE Oil & Gas
Amazon Aurora 東京ローンチイベント 10/Nov/2015 発表資料 - RDS for MySQL から Aurora への移行に関する共有 事前に読んでおくべき資料 - Amazon re:Invent (DAT405) Amazon Aurora Deep Dive http://www.slideshare.net/AmazonWebServices/dat405-amazon-aurora-deep-dive - AWS Black Belt Tech Webinar シリーズ 2015 - Amazon Aurora http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-2015-amazon-aurora - RDS for AuroraとRDS for MySQL5.6のPar
スケーリング＝時速160㎞で走行しながら自動車の全ての部品を取り替えること －Mike Krieger Instagramの共同設立者＠ Airbnb OpenAir 2015 Airbnbのピーク時のアクセス数は、毎年夏のピーク時で見ると年率3.5倍で増加しています。 2015年夏の旅行シーズンを前に、Airbnbの基盤チームは、夏季のアクセスで予想されるデータ通信量に対処するため、データベースのスケーリングで忙殺されていました。中でも特に全体への影響が大きかったプロジェクトが、特定のテーブルを、アプリケーションの機能に従ってそれぞれのデータベースに分割することを目的としたプロジェクトでした。これは通常、アプリケーション層のフォームの変更やデータ移行、データの整合性を保証する堅牢性テストなど、最小限のダウンタイムで多大な技術的投資を必要とするものです。何週間もかかるエンジニアリング時間
こんにちわ、デプロイ王子こと廣瀬 一海(@kazumihirose)です。 背景 目的 検証環境について TCP-Cについて ベンチマーク結果 コネクション時の通信帯域 MySQLサーバーのパラメーターの差異に関して 資料：セッティングパラメーター sysbench-lua 0.5について ベンチマーク結果 背景 RDBMSにおけるOLTP処理において、Fusion-io社のioDrive2はゲームなどを中心に非常に高い性能を示しており、各RDBMSのストレージとして採用されています。この事から、ioDrive2に匹敵する性能をクラウド求にられていくことが予想されます。 目的 本検証はハイブリッドクラウド環境において、ioDrive2搭載サーバの実運用性を検証することを目的としています。 EquinixにioDrive2を搭載した物理サーバを設置し、AmazonVPC内から、Amazon
データ件数が大量に(レコード数100万以上とか)ある場合、ALTER TABLE時にテーブルの書き込みロックが無視できないレベル(時間)で発生します。 テーブルの書き込みロックについて MySQL5.5以前: ALTER TABLE時に発生 MySQL5.6以降: ALTER TABLEでカラムのデータ型変更、全文検索用インデックスの追加、プライマリキーの削除、文字コードの変換/指定 を行った時に発生 参考: http://takatoshiono.hatenablog.com/entry/2015/03/11/013316 pt-online-schema-changeを使用することで、テーブルロックなしでのALTER TABLEができます。 pt-online-schema-changeのインストール方法(Mac homebrew) $ brew install percona-too
先週の金曜日の20時に tmix.jp のメンテナンスをやっていて、MySQL5.5を5.6にアップグレードするなどをしていました。 その時の具体的な手順や経緯などを書き記す。会社のブログでもよかったんだけど、そんなに大したことはやってないので個人の日記レベルでよさそう。 そもそもなんでアップグレードしたのか ぶっちゃけ5.5だったらまだ5.6にも近いし、そこまでアップグレードに急を要する感じではなかったのですが、そこに至るまでには結構思慮があったんです。 該当のDBサーバはRDSを使っていて、RDS使っている人は知ってると思うけど、インスタンスに割り当てるParameter GroupがそのインスタンスだけAWSが提供するデフォルトのものになっていた（と書けば多分みんな微妙な顔になると思う） まぁ、それを自前で用意したParameter Groupにする必要があって、Parameter
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 今回発表になった Amazon RDS for Aurora。最大の特徴はストレージが従来のRDS(Multi-AZ)における「完全同期なミラーディスク型のレプリケーション」方式でなく、「Quorumベースの非同期レプリケーション」方式が採用された点です。 Quorumの概念 Quorum自体の概念の説明はWikiなどを参照してください。ノード間で投票を行い、定足数が揃った処理を実行／破棄するという考え方です。 Quorum - Wikipedia 同期型のミラーディスク型から非同期のQuorum型へ Aurora以外のRDSのMulti-AZ配備は、マスターノードのディスクへの書き込みをブロックレベルでスタンバイ側に適用する完全同期なフィジカルレプリケーションを行っています。これにはいくつかの課題が考えら
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
