AWS Lambda で Amazon Athena のクエリを実行してS3のデータを取得する | DevelopersIO
Lambda(Python3.6)からAthenaを実行する機会がありましたのでサンプルコードをご紹介します。 Overview Event発生時にキーとなる情報を受け取り AWS Lambda が実行される Amazon Athenaでクエリを実行し実行結果を取得する Athena実行時に作成されたS3オブジェクトは削除する s3 data s3 にあるデータは以下とします。 {"name":"user1","email":"[email protected]"} {"name":"user2","email":"[email protected]"} {"name":"user3","email":"[email protected]"} import time import boto3 # athena constant DATABASE = 'your_athena_databas
MGReはノーコードで簡単にアプリ開発できるアプリプラットフォーム。プロがサポートするので安心して導入できます。さまざまな企業のニーズに合わせた高品質なアプリをフルスクラッチ開発 ※ よりも各段に費用を抑え、かつ短期間で制作できます。 ※アプリをゼロから完全オーダーメイドで作る開発方法のこと
var s3 = require('s3'); var client = s3.createClient({ maxAsyncS3: 20, // this is the default s3RetryCount: 3, // this is the default s3RetryDelay: 1000, // this is the default multipartUploadThreshold: 20971520, // this is the default (20 MB) multipartUploadSize: 15728640, // this is the default (15 MB) s3Options: { // accessKeyId: "your s3 key", // secretAccessKey: "your s3 secret", region: 'us-
![[AWS] nodejs で s3 sync - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f7a9cc51193cee9cf3f1cf6b2b9abdba4a498ad7/height=288;version=1;width=512/https%3A%2F%2F2.zoppoz.workers.dev%3A443%2Fhttps%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEJTIwbm9kZWpzJTIwJUUzJTgxJUE3JTIwczMlMjBzeW5jJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1kNDk0YjI1ZTgxMjFhYjFlNjA3NmNhNGJmMGJmNGFkMw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB3b2thbW90byZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODRmZDUzMDljMWJmYzlmMzYyYWFmNDc0NjA2MWU4YWU%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OH44K444K_44Or44Kt44Ol44O844OWIChEaWdpdGFsQ3ViZSBDby4gTHRkLiAp%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D48acd9697d7b5bed132dd207c632e9ba)
はじめに 佐々木です。開発経験も無くJavaScriptを触ったこともない僕ですが、どうしてもAWS lambdaを触ってみたかったので、四苦八苦しながらやってみました。 すでにバリバリ活用しているブログ記事がたくさん出ていますが、本記事は本当に何もわからない僕がよちよち歩きしている内容ですので、深いところは期待しないでください。そして識者のツッコミをお待ちしております。 AWS lambdaの基本的な使い方は以下の記事をご参照ください。 AWS Lambdaを始めてみる(1).ユーザーアプリケーションからのイベントを扱う AWS Lambdaを始めてみる(2).Amazon S3イベントを扱う やってみる MBAにnode.jsをインストールする とりあえず簡単な構文チェックだけでも手元でやりたいので、MBAにbrewを使ってnode.jsをインストールします。
AWSサーバレスアーキテクチャで 不正なパラメータを含んでいるリクエスト（XSS、SQLインジェクションなど）のチェックをかけたいという要望があったので WAF（Web Application Firewall）をかけて呼び出ししてみます。 WAFをかけるためには必然的にCloudFrontを利用することになります。 構図としては下記のような構図になります。 （この図では省略していますが、Cognito User Poolを導入することでさらにユーザ認証を導入することも可能です） また、CloudFrontは署名付きURL(ワンタイムURL)を利用する以外に外部から直接アクセスを防ぐ方法がないため、 認可API経由でワンタイムURLを払い出しています。 さらにCloudFront経由でAPI Gateway呼び出しをするため、 かなり複雑な構成、設定になります。 ワンタイム払い出し Cog
はじめに こんにちは植木和樹＠上越妙高オフィスです。2017年になって今更感がありますが、はてなブックマークが10周年を迎えたそうです。 はてなブックマーク10周年 - はてなブックマーク はてブを遡ってみたところ、私は2006年1月から利用を開始したようです。10年以上も愛用させてもらってます。 当時の話題や取り組んでいた仕事に関係するページを次々とはてブに登録していくわけですが、自分がどんな事に興味を持っていたのか振り返ってみたくなりました。 その時に見つけたのがYahoo! Pipesというサービスを使った「全自動はてブ棚卸し」です。 下記が当時「全自動はてブ棚卸し」を紹介していたブログです。 全自動ブックマーク棚卸しが想像以上に有意義な件 - てっく煮ブログ ただYahoo! Pipesが2015年9月にサービスを停止してしまい、これに伴ってはてブ棚卸しも終了してしまいました。残念
Amazon API GatewayとAWS Lambdaを組み合わせて利用しているときに、リクエストヘッダやURLクエリパラメータなどの入力値にLambdaのコードからアクセスできるようにする方法について説明します。 Integration Requestを選ぶ Mapping Templatesを選ぶ テンプレートを作成する application/json用のテンプレートを作成します。 テンプレートを編集する 内容は以下の通りです。執筆時点で API Gatewayのドキュメント で説明されている全ての値を参照できるようにしてみました。このテンプレートはVTLという言語で記述することになっているので、詳しく知りたい人は ユーザガイド を見ると良いです。 { "accountId": "$context.identity.accountId", "apiId": "$context.a
こんばんは、菅野です。 また API Gateway + Lambda に関するブログエントリーとなります。 今回は API Gateway + Lambda にFormからPOSTする時のマッピングテンプレートを作成しました。 はじめに API Gateway + Lambda を使った API に対し Form から Post して Lambda に値を渡すにはマッピングテンプレートを登録する必要があります。 その中でリクエストボディを Key と Value に分けるといった処理が必要になるので、どうやって値を取得するのか、どうやって分解すればいいのかを調べました。 同じような境遇の方や、Webサーバーから API Gateway + Lambda へ移行したいと思っている方は一度ご覧ください。 Content-Type について Form からPOSTする場合に使われる Conte
本ブログで度々紹介している AWS Lambda。改めてもう一度解説すると、コード(Node.js or Java)を実行する環境をAWS側で用意してくれる。"実行したいときに用意したコードを実行できる"ため、必要な料金を最低限に抑えられる。私が最も気に入っているAWSサービスの一つだ。 さて、具体的な使い方に関しては AWS Lambdaの公式ドキュメントを始め、Qiitaなどでもやってみた系でたくさんあるので、本エントリーではそれを利用する上で知っておいたほうがよりよいことを挙げる。というより私が実際に利用してみて詰まったところや感動したことなどを挙げてみる。 コード失敗時にリトライをデフォルトで3回行う 公式ドキュメントにもこのことは書いてあるのだが、見落として不可解な気持ちになるので、これは必ず知っておいたほうがよい。Node.js の場合、Lambdaのコード実行完了時にcont
こんにちは、せーのです。今日はLambdaがより使いやすくなる新機能をご紹介します。 サラッと今朝出たての新しいサービスが登場したりしますが、社内のチャットがざわざわしていたのでその詳しい解説はまた別の記事で紹介されるかと思います。 今回の新機能はLambda FunctionをAPI化してしまってSDKのインクルードなしに叩いてしまおう、という機能です。 LambdaをWebから叩くにはSDKが必要 先日、こんな記事を書きました。 Amazon EC2を(なるべく)使わずにシステムを構築してみる この記事の中でLambdaをJavaScriptから直接叩いたことに意外と反響がありました。Lambdaで動くようなマイクロな関数であればもはやEC2は要らないんですね。 ただこのようにWebからJavaScriptを使ってLambdaを叩くにはこの記事にあるように「AWS SDKのセット」と「
はじめに 開発環境のサーバを業務時間内だけ起動状態してくれるLambdaファンクションです。Node.jsで書かれたものは以前このブログで紹介しているのですが、私はNode.jsが苦手なのでJavaで書いてみました。ついでに祝日やお盆休みなど会社の休みも環境を使わないと思いますので起動しないようになっています。IAMロールの作成やスケジュールイベントの登録方法はNode.jsと変わらないので以下の記事をご覧ください。 LambdaのScheduleイベントでEC2を自動起動＆自動停止してみた#reinvent 実装する 1つのファンクションで起動・停止を行うようになっています。実行した時間が午前の場合は起動、午後の場合は停止になっています。 起動停止する時間はLambdaのスケジュールイベントを設定した時間になります。 起動したい時間(午前)と停止したい時間(午後)でスケジュールイベントを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
