AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ
こんにちは、muroです。AWS事業本部 サービス開発室でopswitchの開発・運用を担当しています。opswitchは今年の1月にApache Airflowベースのアーキテクチャから、AWS Step Functionsに移行しました。 今回 re:Invent で Amazon MWAA と AWS Step Functions のそれぞれの長所短所を学ぶセッションがあったので、自身の理解度を確認するために受講してきました。 セッションの概要 タイトル Comparing Amazon MWAA and AWS Step Functions 概要 Organizations looking to orchestrate ETL data pipelines on AWS are looking for tools that best meet their requirements.
![[レポート] Amazon MWAA と AWS Step Functions を比べてみた #AWSreInvent #API307 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2efed04be58c890b30e2b72fa65ffa4b49765237/height=288;version=1;width=512/https%3A%2F%2F2.zoppoz.workers.dev%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-session-report.png)
Zucks inc. (VOYAGE GROUP inc.) https://serverless.connpass.com/event/165352/ https://youtu.be/dSoIQhobDb8?t=8021
この記事は Speeeアドベントカレンダー2017の1日目です！よければ購読してやってください。 qiita.com Speee DEVELOPER BLOGもよろしくね！ TL; DR AWS Batchを本番導入したよ 結構クセはあるが、それを補って余りあるメリット（特にスケーラビリティ） 現状はAWS Batchの活かし方の知見を貯めている段階だが、今後適切な用途があれば積極的に使いたい AWS Batchとは 一言で言うと、「ECSクラスタの薄いラッパー + ちょっと賢いJOB Queue + 賢いAutoScaling（オプション）」て感じ。 ベースにあるのはECSクラスタなので、DockerImageを用意して、ジョブをDockerContainerの実行として定義して、ジョブを発行するという流れはECSと同じ。 ECSはクラスタの各インスタンスが持っている計算リソースと、事前
serverlessconf tokyo Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤 こんにちは。データ基盤の構築、運用をしている山田（@nii_yan)です。 先日開催されたserverlessconf tokyoに参加させていただき、登壇もしてきました。 登壇内容 弊社は来春トリップAIコンシェルジュという商品をリリースする予定です。 こちらは宿に対する「お風呂は何時から入れますか？」などの問い合わせに対し、botが人間の代わりに応答してくれるという商品になっていまして、裏側で機械学習をしています。 今回話した内容はこの機械学習のバッチを動かす基盤についてになります。 Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤 新しい基盤を作る上で１番気をつけたいと思って
技術部の鈴木 (id:eagletmt) です。 クックパッドでは以前からアプリケーションの実行環境として Docker を利用していましたが、最近は徐々に Amazon EC2 Container Service (ECS) を利用し始めています。 去年の時点での Web アプリケーションのデプロイ手法 *1 や、最近 ECS を利用してどう Web アプリケーションをデプロイしているか *2 については紹介したことがあるので、今回は定期的なバッチ処理やジョブキューを介して非同期に実行されるようなオフラインの処理について、どのような環境を構築しているか紹介したいと思います。 Docker を使う前 Docker を利用し始めるより前から社内では kuroko2 *3 というジョブ管理システムが稼動しており、複数のアプリケーションから利用されていました。 kuroko2 は定期的にジョブを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
