エラーのトラブルシューティング Spark エラー - AWS Glue
エラー: リソースを利用できません。 AWS Glue がリソース使用不可メッセージを返す場合は、エラーメッセージやログを表示して、問題の詳細を確認することができます。ここでは、トラブルシューティングするための一般的な方法について説明します。
Pandas API on Spark¶ Options and settings Getting and setting options Operations on different DataFrames Default Index type Available options From/to pandas and PySpark DataFrames pandas PySpark Transform and apply a function transform and apply pandas_on_spark.transform_batch and pandas_on_spark.apply_batch Type Support in Pandas API on Spark Type casting between PySpark and pandas API on Spark T
DynamicFrame クラス - AWS Glue
Apache Spark の主要な抽象化の 1 つは SparkSQL DataFrame で、これは R と Pandas にある DataFrame 構造に似ています。DataFrame はテーブルと似ており、機能スタイル (マップ/リデュース/フィルター/その他) 操作と SQL 操作 (選択、プロジェクト、集計) をサポートしています。 DataFrames は、強力で広く使用されていますが、抽出、変換、ロード (ETL) 操作に関しては制限があります。最も重要なのは、データをロードする前にスキーマを指定する必要があることです。SparkSQL は、データに対してパスを 2 つ作ることでこれを解決します。この 1 つ目はスキーマの推定を行い、2 つ目はデータをロードします。ただし、この推測は限定されており、実際の煩雑なデータには対応しません。例えば、同じフィールドが異なるレコードの
AWS Glue: 仕組み - AWS Glue
AWS Glue は他の AWS のサービスを使用して ETL (抽出、変換、ロード) ジョブを調整し、データウェアハウスとデータレイクを構築して、出力ストリームを生成します。AWS Glue は API オペレーションを呼び出して、データの変換、ランタイムログの作成、ジョブロジックの保存を行い、ジョブ実行のモニタリングに役立つ通知を作成します。AWS Glue コンソールはこれらのサービスを管理アプリケーションに接続して、お客様が ETL ワークの作成とモニタリングに集中できるようにします。管理およびジョブ開発のオペレーションは、コンソールがお客様に代わって実行します。データソースへのアクセスとデータターゲットへの書き込みを行うために必要な、認証情報と他のプロパティは、お客様が AWS Glue に提供する必要があります。 AWS Glue は、ワークロードを実行するために必要なリソース
Amazon Athena for Apache SparkでS3バケット上のデータを可視化してみた | DevelopersIO
データアナリティクス事業本部の鈴木です。 Amazon Athena for Apache SparkのAthenaノートブックで、自分で用意したS3バケット上のデータを可視化してみたので、検証内容を共有します。 re:Invent2022にて発表されたAmazon Athenaの機能で、Jupyter Notebookと互換性があるAthenaノートブックをインターフェースに、Apache Sparkを使ってインタラクティブにデータの分析を行うことができるというものです。 検証で確認したかったポイント 今回は、Amazon Athena for Apache Sparkを使って以下のことをどうできるか確認してみました。 Amazon Athena for Apache SparkからS3バケット上の自分のデータにアクセスするためのIAMポリシーの設定方法 Athenaノートブックから可視
データアナリティクス事業本部の鈴木です。 re:Invent2022にて発表されたAmazon Athena for Apache Sparkですが、コンソールから利用する際に使う各種画面や気をつけたいポイントについてまとめてみました。 Amazon Athena for Apache Sparkとは re:Invent2022にて発表されたAmazon Athenaの機能です。Jupyter Notebookと互換性があるAthenaノートブックをインターフェースに、Apache Sparkを使ってインタラクティブにデータの分析を行うことができるというものです。 発表時にはDevelopersIOで速報記事を公開していて、その中でサンプルノートブックを例に、どんなことができそうか解説していました。今回は自分でも実際に触ってみて、自分が使っていく上で気になった細かいところまで確認したので、
Amazon Athena で Apache Spark を開始する - Amazon Athena
Amazon Athena で Apache Spark の使用を開始するには、最初に Spark が有効になっているワークグループを作成する必要があります。ワークグループに切り替えた後、ノートブックを作成するか、既存のノートブックを開くことができます。Athena でノートブックを開くと、そのノートブックに対して新しいセッションが自動的に開始され、Athena ノートブックエディタで直接操作できます。
Step Functions とは - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Step Functions とは を使用すると AWS Step Functions、 とも呼ばれるワークフローを作成してステートマシン、分散アプリケーションの構築、プロセスの自動化、マイクロサービスのオーケストレーション、データと機械学習パイプラインの作成を行うことができます。 Step Functions はステートマシンとタスクに基づいています。Step Functions では、ステートマシンはワークフローと呼ばれます。これは、一連のイベント駆動型ステップです。ワークフローの各ステップはステートと呼ばれます。たとえば、タスク状態は、別の AWS のサービス や API の呼び出しなど、別の AWS サービスが実行する作業単位を表します。タスクを行うワークフ
AWS Glue で Spark ジョブに関するジョブプロパティの構成 - AWS Glue
AWS Glue コンソールでジョブを定義するときに、AWS Glue ランタイム環境をコントロールするためのプロパティの値を指定します。 Spark ジョブのジョブプロパティの定義 次のリストは、Spark ジョブのプロパティについて説明しています。Python シェルジョブのプロパティについては、「Python シェルジョブのジョブプロパティの定義」を参照してください。ストリーミング ETL ジョブのプロパティについては、「ストリーミング ETL ジョブのジョブプロパティの定義」を参照してください。 プロパティは、AWS Glue コンソールの [Add job] (ジョブの追加) ウィザードに表示された順に一覧表示されます。 名前 UTF-8 文字を 255 文字以内で入力します。 説明 オプションとして最大 2,048 文字の説明を提示します。 IAM ロール ジョブ実行とデータス
Databricksは、Apache Sparkの生みの親であるマテイ・ザハリアと共に、アリ・ゴディシが2013年に設立した企業である[1] 。 AI/機械学習をはじめとするビッグデータを扱うためのクラウド型の統合データ分析基盤である「レイクハウス・プラットフォーム」を提供しており、データエンジニアリング、データサイエンス/機械学習、データ分析の領域に強みがある。 2022年に上場予定と言われているユニコーン企業であり、2021年8月に発表したシリーズHの資金調達後の市場価値は約4兆円となっている。[2]。2021年12月現在、世界で7,000社を超える企業に利用されており[3]、テクノロジー販売パートナーは約450社となっている[4]。 2021年ガートナー「マジッククアドラント」において、データサイエンスおよび機械学習プラットフォーム部門のリーダーとして評価されている[5]。また、20
G-genは、 Google Cloud のプレミアパートナーとして、幅広い業界に対して確かな技術力でお客様のビジネスを加速します。エンタープライズからスタートアップ、自治体まで、各種課題に対応し、 Google Cloud の可能性を最大限に引き出し、お客様のビジネス変革を支援します。また、革新的なビジネスプロセスの最適化を提供し、セキュリティとコスト効率の両立を実現しています。 ビジネスコンサルから開発、運用保守まで、ワンストップで対応する私たちのアプローチは、クラウド技術の導入だけに留まりません。 Google Cloud と Google Workspace の導入後も、運用や内製化を視野に入れた伴走支援で、お客様のビジネスを継続的に支えます。さまざまな案件で培われた豊富なノウハウを基に、事業に関わる領域をトータルでバックアップ。あらゆる課題に対応し、ビジネスの可能性を広げます。
Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス ビッグデータの世界における一般的なユースケースは、さまざまなデータソースからの大量のデータにおける抽出/変換 (ET) とデータ分析の実行です。多くの場合、この後でデータを分析してインサイトを取得します。このような大量のデータを処理するための最も人気のあるクラウドベースソリューションのひとつが Amazon EMR です。 Amazon EMR は、AWS での Apache Hadoop および Apache Spark などのビッグデータフレームワークの実行をシンプル化するマネージドクラスタープラットフォームです。Amazon EMR は、組織が複数のインスタンスを持つクラスターをほんの数分でスピンアップすることを可能にし
簡単な説明 Spark タスクに問題があると、ステージでエラーとなることがあります。ステージでのエラーの原因は、ハードウェアの問題、不適切な Spark 構成、またはコードの問題です。ステージでエラーが発生すると、Spark ドライバーのログに次のような例外が報告されます。 "org.apache.spark.SparkException: ステージで障害が発生し、ジョブが中止されました: ステージ YYY でタスク XXX が 4 回失敗しました。最新の失敗: ステージ YYY でタスク XXX が見つかりません (TID ZZZ, ip-xxx-xx-x-xxx.compute.internal, executor NNN): ExecutorLostFailure (実行中のタスクの 1 つが原因でエグゼキューター NNN が終了しました) (example-reason)" 解決策
新機能 — Amazon SageMaker Studio で EMR クラスターと Spark ジョブを作成して管理する | Amazon Web Services
Amazon Web Services ブログ 新機能 — Amazon SageMaker Studio で EMR クラスターと Spark ジョブを作成して管理する 2021 年 12 月 1 日（米国時間）、Amazon SageMaker Studio サービスに 3 つの新しい機能強化を提供できることを非常に嬉しく思います。 現在、SageMaker Studio のユーザーは、単一の AWS アカウント内、および組織全体の共有アカウントで実行されている Amazon EMR クラスターの作成、終了、管理、検出、接続を SageMaker Studio から直接行うことができます。さらに、SageMaker Studio ノートブックのユーザーは SparkUI を利用して、Amazon EMR クラスターで実行されている Spark ジョブを SageMaker Studio
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
特徴 - Amazon EMR | AWS
