タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Amazon AthenaにPartition Projection（パーティション射影）という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの内、大体どのプロジェクトでも使っているものがいくつかあります（ALB、VPCフローログ、CloudTrail....）。 これまではPartition Projectionの設定を行うCREATE文を毎回実行していたのですが、少し面倒なのでAWS CDKで実装し使いまわせるようにしました。 今回の実装の全体像は以下です。 1. 概要 対象のログ 実装方法 2. 実装詳細 プロジェクト構成 実装の流れ 入力のインタフェース Glue データベースを
はじめに 本記事は最近Rookで顕在化したデータ破壊問題について解説します。根本原因は思わぬところにあってRook以外でも起こりうること、および、かなり昔から根本原因は存在していたものの偶然に偶然が重なって最近Rookがとばっちりを受けたという事実が興味深かったので、世の中こういうこともあるというのを共有するために書きました。あとAtariという言葉を2021年にもなって歴史的文脈以外で見たのが面白かったというのも理由です。 本記事はRookの公式情報に書かれていることに加えて、Rookについて知識が無い人に向けた情報を付け加えて再構成しました。 用語集 Ceph: OSSの分散ストレージ Rook: Kubernetes上で動作するCephのオーケストレーション。これもOSS OSD: Cephを構成するディスク上に存在するデータ構造 OSD on disk: Rook上にOSDを作る方
CloudTrailのログを分析するためのAthenaテーブルを作る機会がありましたので、AthenaのPartition Projectionという機能を用いてリージョンごと・時系列ごとでパーティションを分割するように設定してみました。 今回はPartition Projectionについてざっくりおさらいして、CloudTrailのPartition ProjectionのサンプルDDLをご紹介します。 これまで CloudTrail画面から作成されるデフォルトのDDLを用いてAthenaでテーブルを作成して、 us-east-1 の結果を返すクエリを投げてみます。 デフォルトのDDL(クリックで展開) CREATE EXTERNAL TABLE cloudtrail_logs ( eventVersion STRING, userIdentity STRUCT< type: STRI
Improve query performance using AWS Glue partition indexes | Amazon Web Services
AWS Big Data Blog Improve query performance using AWS Glue partition indexes While creating data lakes on the cloud, the data catalog is crucial to centralize metadata and make the data visible, searchable, and queryable for users. With the recent exponential growth of data volume, it becomes much more important to optimize data layout and maintain the metadata on cloud storage to keep the value o
Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes | Amazon Web Services
AWS Big Data Blog Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes The AWS Glue Data Catalog provides partition indexes to accelerate queries on highly partitioned tables. In the post Improve query performance using AWS Glue partition indexes, we demonstrated how partition indexes reduce the time it takes to fetch partition information during the planning phase
手元にハードウェアの構成が低いパソコンを持っていて、それを再利用したい場合は、軽量Linuxディストロのシステムをインストールすることができます。そこで、MiniToolのこの記事では、古い PC に最適な7つの軽量Linuxディストロを紹介したいと思います。 軽量ディストロ vs 重量級ディストロ1.定義 軽量ディストリビューションは、古いそしてリソースに制約のあるハードウェア向けに特別に設計されたディストリビューションであるため、処理能力、ディスク容量、RAM のスペックが低い古いハードウェアでも、応答性が高く遅延のない計算能力を発揮することができます。 一方、重量級ディストロは通常、最新かつ最高の機能が搭載されており、ユーザーに最高のコンピューティング エクスペリエンスを提供します。したがって、このようなディストリビューションをインストールして実行するには、非常に優れたプロセッサ、R
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
HDDやeMMCからSSDへのWindows 10 OSクローンに便利に使用していたフリーソフトの「EaseUS Todo Backup Free」と「MiniTool Partition Wizard 無料版」。ただし、2020年4月4日現在、双方ともに Ver.12の無料版ではOSクローンができずに有料版の購入が必要となっています。 当サイト、他サイトともに多く紹介されている「EaseUS Todo Backup Free」と「MiniTool Partition Wizard 無料版」ですが、4月4日時点の無料版ではOSクローンができないことを、留意事項として記載します。代替として、私はWindows 10の標準機能を活かして対応予定です。 2022年10月17日、2023年2月26日追記。以下の記事に記載の「Macrium Reflect Free Trials」、および「Mini
Amazon AthenaのPartition Projectionを使ったALB Access Logの実例 (w/ terraform & glue catalog) - Gunosy Tech Blog
こんにちは、グノシー広告技術部、Adnwチームでマネージャーをやっているサンドバーグです！ この記事は Gunosy Advent Calendar 2020 18日目の物となります。 昨日はsyouitさんの変更に強いリスト面とUICollectionViewの話でした。 内容としては弊社のiOSアプリでUITableViewの代わりにUICollectionViewを使っている理由と利点でした。 自分はiOSの開発やアプリ開発自体には関わることがほぼないのですが、わかりやすい説明だったので、まだ読まれていない方は是非読んでください！ はじめに 使ったツール・サービス・機能 Terraform Amazon Athena Link Partition Projection Link ALB Access logs Link 実装 Terraform - バケット・バケットポリシーの作成
MiniToolのこの記事では、Disk2vhd の概要、ダウンロード方法、および使い方をまとめて紹介していきます。そして、物理マシンのディスクを対応する .VHD/.VHDX イメージファイルに変換するためのDisk2vhd 代替ソフトも紹介されます。 Disk2vhdとはDisk2vhdは、Microsoft Virtual PCやMicrosoft Hyper-Vの仮想マシンで使用する物理ディスクの仮想ハードディスク（VHD）版を作成することができるユーティリティです。物理マシンのディスクを.VHD/.VHDXイメージファイルに変換することができるので、システムのバックアップやHyper-V環境での仮想化などに利用することもできます。 提示： VHDXは、Windows Server 2012で導入された新しいディスクフォーマットです。VHDと比較して、VHDXはデータの破損を減らす
運賃種別 配送運賃 納期 6～12営業日 サイズ W770×H2000～2750×D70mm 入り数 1.00セット 重量 5.30kg/セット 原産国 日本・中国 セット内容 FU20200 DRAW A LINE 003 Tension Rod C 102/106用 ×2 FU20204 101/102用 パーティション ×1 FU20205 101/102用 パーティション用ブラケット ×4
使い慣れたWindowsシステムを別のパソコンでも使用できるように、そのWindowsシステムをSDカードに書き込んでブータブルメディアを作成し、それからSDカードからWindowsを起動することができます。今回はMiniToolよりその詳細手順を紹介していきます。 システムをSDカードから起動する原因SDカード（正式名称はSecure Digital Memory Card）は、デジタルカメラ、PDA、マルチメディアプレーヤーなどの携帯機器に広く使用されているメモリーカードである。さらに、ほとんどのノートパソコンでも使用されています。 ほとんどのノートパソコンには、SDカードスロットが装備されています。しかし、写真やデザインを扱う人以外、ほとんどのユーザーはこのスロットを使うことはないでしょう。 そのため、このカードスロットの用途や使い方をご存じない方も多いのではないでしょうか。 ここで
Apple社のMacOSは、原則として自社のコンピュータ上でしか動作しません。そして、VMware社は、macOSの仮想マシンのインストールを規約で認めていません。しかし、MiniToolより提供するこの記事では、VMwareでMacOSをインストールする方法を解説していきます。 Windows用MacエミュレーターMacとWindowsは互換性のない2つのシステムとして知られています。ユーザー数から見ると、AppleのMacシリーズパソコンは常にニッチな製品であり、ユーザー数はWindowsよりもはるかに少ないです。さらに、同じ構成であれば、Macパソコンの価格はWindowsのほぼ2倍になる場合はあります。 もちろん、Macパソコンにも利点があります。まず、Windows PCに比べて、Mac PCはより美しいデザインであり、より使いやすいです。しかし、その価格は多くの人々を落胆させま
SSDクローンフリーソフトを探している方必見！ 今回は、無料で使えるおすすめのSSDクローン作成ソフトと、その使い方をわかりやすくご紹介します。 パソコンを長く使っていると、「容量が足りない」「もっと速くしたい」と感じることがありますよね。特に、OSが入ったストレージをSSDに交換するとなると、通常は再インストールなどの手間がかかります。 でも安心してください！SSDクローンソフトを使えば、そんな面倒な作業も簡単に解決できます。この記事を参考に、スムーズにデータを移行し、快適なPC環境を手に入れましょう！ パート1：SSDクローンフリーソフトって何？SSDクローンフリーソフトは、これまで使っていたHDDやSSDのデータをそのままコピーできる無料のソフトです。手動でのコピーとは違って、隠しファイルやソフトの設定、ドライバ・デバイス情報など、すべてのデータをしっかり再現します。 要するに、元の
Amazon Athena Partition Projectionで設定したHive形式の日付カラムをWHERE句で使う | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 Amazon AthenaではS3 Bucket LocationのパーティションパスをHive形式または非Hive(Non-Hive)形式のいずれでも設定可能です。 import { aws_athena, aws_glue, aws_s3, RemovalPolicy, Stack, StackProps, } from 'aws-cdk-lib'; import { Construct } from 'constructs'; import * as aws_glue_alpha from '@aws-cdk/aws-glue-alpha'; export class AwsCdkAppStack extends Stack { constructor(scope: Construct, id: string, props?: St
Windows 10 Windows 10, version 1607, all editions Windows Server 2016, all editions Win 10 Ent LTSC 2019 Win 10 IoT Ent LTSC 2019 Windows 10 IoT Core LTSC Windows Server 2019 Windows 10 Enterprise and Education, version 21H2 Windows 10 IoT Enterprise, version 21H2 Windows 10 Enterprise Multi-Session, version 21H2 Windows 10, version 22H2, all editions Windows 11 version 21H2, all editions Windows
Chrome 89で「Partition Network State」という機能の導入が検討されています。 chromestatus.com 「Client-Side Storage Partitioning 」のいち部であり、w3cのPrivacy CGで議論されています。 これは、DNSキャッシュやHTTP/2のセッションといったネットワーク状態を、クロスサイトで共有できなくする機能です。 情報は多くないようですが、眺めていきます。 背景 ブラウザ内全体でキャッシュ情報を共有していると、サイトAで読み込んだキャッシュを、サイトBを表示する際にも使用できます。 この時サイトBではそのリソースの読み込みスピードを計測することで、キャッシュしてたかそうでないかが分かってしまいます。（読み込み速度はonloadイベント等で取得） 例えば、https://a.example/js/hoge.js
Amazon AthenaのPartition Projectionを設定したGlueテーブルをCloudFormationで作成してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 Amazon AthenaではPartition Projectionを使用することにより、パーティション化されたデータソースへのクエリ処理を高速化したり、パーティション管理を自動化したりすることができます。 Partition Projection with Amazon Athena - Amazon Athena 今回は、Amazon AthenaのPartition Projectionを設定したGlueテーブルをCloudFormationで作成してみました。 やってみた 具体的には、AWSの下記のドキュメントで紹介されている、Amazon Kinesis Data Firehoseが作成する/yyyy/MM/dd/HHというパスのパーティションに対するPartition ProjectionをCloudFormationで作成してみました。
MBRがパソコンの起動に不可欠なものなので、破損すると、パソコンが起動しなくなります。しかし、MBRの修復方法をよく分からない方は多いそうです。そこで、今回は、素人でもできるMBRの修復方法を紹介したいと思います。少しでもお役に立てればうれしいです。 そもそもMBRとは全称がマスターブートレコードです。Windowsのインストール時、コンピューターの第一パーティションに作成される先頭セクタ（ハードディスクの最初の512バイト）で、ブートセクターの一種である。コンピューターの起動に使用されます。 OSの場所の探しと識別に不可欠なMBRが、Windowsが起動できるようにするための大事な情報です。一般に、MBRが破損していると、コンピューターが起動しないことがあります。 では、MBRが破損したら、どうなりますか？ 大事なMBRが損傷すると、コンピュータが起動できなくなり、次のエラーが発生するこ
PCでソフトウェアをアンインストールしたり、他の変更を行ったりすると、時々空のファイルまたはフォルダが残されます。それらはディスクスペースを占有しませんが、ディスクの管理において目障りなところがあります。そこで今回はMiniToolより、PC上の空ファイルまたはフォルダすばやく検索して削除する方法を紹介していきます。 PCでエクスプローラーを開き、その中のファイルをチェックすると、用途も知らない、何の内容もない空フォルダを見つけたことはありますか？これらのフォルダのプロパティをチェックしたら、サイズはみんな０バイトと示し、PCのストレージスペースを占有しません。しかし、そのような空のフォルダが多すぎると、ディスク管理に大きな障害が発生します。 では、これらの空ディレクトリを削除できますか？削除したら何か悪い影響でも出ますか？ 通常の場合は、これらの空ディレクトリは無用なものなので、削除して
Gitで必要なファイルを間違って削除してことはありますか？このようなミスを起こってしまったら、大変なことになるかもしれません。そこで今回はMiniToolより、Gitで削除されたファイルを回復する方法5つ紹介したいと思います。 GitとはGit で誤って削除したファイルを復元する方法を説明する前に、まず Git とは何かについて見てみましょう。 Gitは、ソフトウェア開発においてソースコードを共同開発するプログラマー間の作業を調整するために使用されるオープンソースの分散型バージョン管理プログラムです。このソフトウェアは、ファイルを保存し、任意のファイル集合の変更をリポジトリで追跡することができます。 では、リポジトリとは何ですか？Gitを使ってソフトウェアを開発する場合、まずGitをインストールし、次にリポジトリを作成する必要があります。そして、このリポジトリにソフトウェア開発用のファイル
CloudFront のアクセスログを Athena で集計できる環境を作ったので、やり方を残しておきます。 アクセスログが溜まってもスキャンするデータ量を抑えるよう、パーティション分割もしました。 パーティション分割には、昨年追加された機能 “Partition Projection” を使ってみました。 環境を再現できるように、 CloudFormation のテンプレートも公開しています。 要件と経緯 他社から大量のイベントデータを HTTP GET で受け取って、それを集計したい！ という要件が出てきたのが発端でした。 本当なら Kinesis Data Streams などリアルタイム処理も試してみたかったのですが、 とても納期が短かったので、経験のあった CloudFront と Athena で簡単に実現しました。 仕組みとデータフローは、こんな流れです。 他社システムから
先日 NewSQL/分散SQLデータベース よろず勉強会 #1 にて「Cassandra で Partition を跨いだ Tx を実行できるようにする Accord というものが開発中である」というお話を聞いたのですが、「それって ScalarDB でもできるのでは？」ということでやってみました。 注意 このブログの内容は、あくまで個人の趣味の範囲で ScalarDB を使った検証を実施しているだけですので、あしからず。 また、サンプルとして記載しているコードではエラーハンドリング (エラー発生時の ROLLBACK 等) は考慮していません。実際に ScalarDB を使ってアプリを作る場合はそのあたりも考えないといけないので注意してください。ScalarDB でのエラーハンドリングについては Handle Exceptions に記載されているので、興味がある方はそちらもどうぞ。 環
Hiren’s BootCDは、パソコンに関するトラブルを修復するためのツールです。ここでは、MiniToolよりHiren’s BootCDの基本知識、機能および使い方を解説していきます。また、Hiren’s BootCDでPCのトラブルを修復できない場合に使用できる代替品をお勧めします。 Hiren’s BootCDとはHiren’s BootCD (HBCD)は、トラブルによって起動できないPCをPE環境で起動したから、デバイスのエラーを修正することができるツールです。ソフトウェアがリリース以来、その使いやすい機能により、多くのユーザーに愛用され、好評を得ています。しかし、Hiren’s BootCDは2012年11月以降、更新されていません。 そのため、Hiren’s BootCDのファンは、Hiren’s BootCD PE（プリインストール環境）を開発しました。これは、Wind
PARTITION BYとは 上記図は、partition byとgroup byのイメージ図です。 partition byは、グループ単位で行を表示します。 group byはグループでまとめた行を表示します。 partition(パーティション)は、仕切りという意味です。 partition byの使用例 次のテーブルがあるとします。 salesテーブル id name category price
yyyyとmmはcreated_atから作ったパーティション用のカラムです。保存するときとAthenaでCREATE TABLEする時に使います(*1)。 作成したデータをS3に保存します。 この時、amazon wranglerを使って、parquetかつパーティションを指定して保存します(*2)。 実行すると、Hive形式で保存されます（*3）。 詳しくは公式ドキュメントを確認してください。 import awswrangler as wr wr.s3.to_parquet( df=df, #保存したいDataFrame path='s3://{bucket_name}/{prefix}', #ご自身の環境に合わせてパス指定してください dataset=True, partition_cols=['year', 'month'] #パーティションするカラムを指定。複数指定できます。 )
はじめに #ラブライバーに見て欲しいアイマス公式絵 で涙腺崩壊😭😭 異次元フェスの余韻で夢見心地なnikkieです。 存在を知った興味深いライブラリの素振り（初手）です。 目次 はじめに 目次 Unstructured LangChainが使ってます1 partition 動作環境 WebのURLから ローカルのPDFから ファサードpartition 終わりに Unstructured We get your data LLM-ready 訳してみると「あなたのデータにLLMで使う準備を」といった感じでしょうか。 どんなソースのデータもUnstructuredで扱えるのが売りのようです。 80% of enterprise data exists in difficult-to-use formats like HTML, PDF, CSV, PNG, PPTX, and more.
WSLとは？そしてVMとは？それらの違いは何ですか？MiniTool Partition Wizard のこの投稿では、これらの問題を中心に、WSL と VM について詳しく説明し、どちらを選択すべきかを紹介しています。 VMとは？仮想マシン（VM）とは、コンピュータシステムを仮想化またはエミュレートする方法であり、コンピュータアーキテクチャに基づき、物理的なコンピュータの機能を提供するものです。 仮想化技術が導入される以前は、WindowsとLinuxの2つのOSを同じコンピュータ上で動作させたい場合、デュアルブートしなければなりませんでした。これは非常に不便なことです： デュアルブートの設定は複雑です。LinuxとWindowsは互いに通信することができません。片方のシステムがウイルスに感染すると、もう片方のシステムも感染してしまう。そこで、VMテクノロジーを利用すれば、上記の問題を解
以前にも紹介した事があるのですが、 「MiniTool Partition Wizard (無料版)」の最新版が出た様なので改めて紹介します。 こちらはパーティション・ディスク管理ソフトになるのですが、 パーティション変更機能(サイズ変更・拡張・結合・分割) などが出来てとても便利なソフトです。 香港とカナダに拠点がある「MiniTool Software」が開発しているソフトウェアになります。 何が新しく更新されたかというと・・・ ・インタラクションとユーザーインターフェースを改善 ・データ復元中にファイルを迅速に検索する為に新しい検索ボックスを追加 ・一部のバグを修正 相変わらずこういったソフトはよく分からない方なので、素人目線で使いやすいかなど見ていけたらと思います。 MiniTool Partition Wizardの特徴 信頼性の高いディスク統括マネージャー 復旧率抜群のデータ復
An all-in-one tool for data recovery, partition management, data backup, and disk utilities. DiskGenius is fully compatible with the latest Windows 11 and Windows Server 2022, designed to meet the needs of individuals, businesses, and enterprises alike.
2020年 6月 20日にAthenaに追加された機能Partition Projectionについて紹介していきたいと思います。 Partition Projectionについて 通常Athenaはパーティショニングされたテーブルに対してクエリを実行する際にAWS GlueのデータカタログやHive Metastoreからテーブルのメタデータ情報(パーティション情報やカラム情報など)を取得し、クエリを処理します。 その際にパーティションが多数存在する場合、メタデータを取得する時間がボトルネックとなる可能性があります。 一方、Partition Projectionを用いた場合、GlueやHive Metastoreへメタデータを取得せずにAthenaのテーブル設定を参照してパーティション情報を取得します。そのため、パーティションが多数存在することによるボトルネックを緩和することが可能にな
Microsoft が Windows 10 から導入した ReFS ファイル システムは、「Resilient File System」とも呼ばれます。 ReFSファイル形式は、NTFS と比較して信頼性が向上していますが、いくつかの欠点もあります。今回はMiniToolよりReFS とNTFSの違いについて紹介していきます。 NTFSとReFSの基本情報NTFSについてNTFS (New Technology File System) は、Microsoft によって開発された独自ログ構造ファイル システムです。1993 年に Windows NT 3.1 がリリースされて以来、NTFS は Windows NT シリーズのデフォルト ファイル システムとして広く使用されています。 NTFSは、FATやHPFSを置き換えるために設計されています。これらに比べて、NTFSには以下のような
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Athena のPartition Projection(パーティション射影)の設定方法の確認と、手動でパーティションを追加する場合との比較 | DevelopersIO
AWS - CloudFront アクセスログを Athena + Partition Projection で解析
