NRIネットコム の技術ブログ
全776件
データ分析基盤構築の肝は、データレイクとDWHの分離
2021/05/10
ブックマーク
こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それな
AWSのグローバルIPの空間はインターネットなのか？
2021/05/10
ブックマーク
こんにちは佐々木です。 先日、VPCのFAQに追加された項目が話題となっていました。2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、トラフィックがインターネットを経由するかどうかという問いに対して、AWSがノーと言っています。これは、どういうことなのでしょうか？ これがプライベートネットワークの通信と明示された意味は大きい『Q:2つの
Google アナリティクスのプロパティを作成する
2021/04/27
ブックマーク
はじめまして、神崎です。「Google マーケティング プラットフォーム（GMP）」の利活用コンサルティングと、テクニカルサポートを担当しています。AWS チームの勢いに負けじと記事を書いてみます。 次世代版の Google アナリティクス「Google アナリティクス 4」 昨年10月に「Google アナリティクス 4（GA4）」という次世代版の Google アナリティクスが正式リリースされました。
AWS OrganizationsとSavings Plansを活用したコスト削減のベストプラクティス
2021/04/21
ブックマーク
こんにちは佐々木です。 AWSを利用していると気になるのが、AWSの利用料です。個々のサービス・リソースは機能に比べて充分に安いものの、利用しているうちにそれなりの金額に積み上がってくることが多いです。その対策として、AWSにはさまざまなコスト削減方法があり、即効性がある対策はSavings Plansやリザーブドインスタンスです。これらは一定期間の利用を宣言す
AWS 認定 DevOps エンジニア – プロフェッショナル(AWS Certified DevOps Engineer – Professional)の学習方法
2021/04/19
ブックマーク
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 DevOps エンジニア – プロフェッショナル(AWS Certified DevOps Engineer – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化
【Part2】東京上陸！AWS Control Towerを触ってマルチアカウント管理のベストプラクティスを理解する ～運用編～
2021/04/12
ブックマーク
こんにちは、上野です。 前回は、AWS Control Towerを触ってセットアップするところまで紹介しました。今回はセットアップ後の運用操作について見ていきます。 AWSアカウントの新規追加（プロビジョニング） 前回の状態では、利用者独自のAWSアカウントを追加できるCustom OUは空の状態でした。 ここにアカウントを追加します。アカウントの追加は、AWS Service Catalogというサ
CloudTrailの履歴からIAMポリシーを作成するシンプルだが有用な機能がリリース！！
2021/04/09
ブックマーク
こんにちは佐々木です。 シンプルだが有用なサービスがリリースされました。CloudTrailとIAM Access Analyzerのあわせ技で、AWSの実際の利用履歴を元にIAMポリシーを生成する機能がリリースされました。これ機能のアプローチとしてとても良いので、IAMに一家言がある人間として紹介させて頂きます。 IAMポリシーと最小権限の原則 IAMのセキュリティのベストプラクティスの一つ
東京上陸！AWS Control Towerを触ってマルチアカウント管理のベストプラクティスを理解する ～セットアップ編～
2021/04/09
ブックマーク
こんにちは、上野です。 マルチアカウント管理のサービスであるAWS Control Towerを触ってみました。 その機能について紹介します。 東京リージョンにまだ来てないけど、来ることを願って検証しておこう。と思って触っていたら東京リージョンにきてました！！バンザイ AWS Control Towerのバージョン一覧の画面で以下のように表示されていました。 AWS Control Towerとは 最近で
初めてのAWSはいつですか？ 『Welcome to Amazon Web Services』で検索
2021/04/08
ブックマーク
こんにちは佐々木です。 ちょっと前に、自分のメールボックスを「Welcome to Amazon Web Services」で検索するのが流行っていました。これで検索すると、一番最初にAWSを使いだした時期が解るのです。初々しい頃を思い出すのはいいですよね。 自分のプライベートのGmailを検索してみると、2006年3月30日でした。古参でしょ、ドヤ！！ 2007年4月4日にもあるのは謎です。記憶では
データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について
2021/04/07
ブックマーク
データ分析基盤を構築する際に、ETL処理は欠かせないものです。ETL処理とは、Extract（抽出）・Transform（変換・加工）・Load（保管）の略で、データが使いやすいように加工する一連の処理を指します。データ分析基盤の構築の中で、実はこのETL処理の開発が一番時間が掛かるといっても過言ではありません。また、一度作ったらお終いではなく、分析する対象・方法が変わ
【小ネタ】S3の署名付きURLとアクセスキーの関係について
2021/04/06
ブックマーク
こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症の佐々木です。 今日は昔からあるものの、知名度が殆どないS3の署名付きURL（S3 Presigned URL）の仕組みの紹介を行います。また、Presigned URLはアクセスキーと密接な関係があります。それを知らないと思わぬ罠にハマります。 S3の署名付きURLについて まずS3の署
１アカウントでAWSを利用している場合のAWS Organizations化について
2021/04/05
ブックマーク
こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症の佐々木です。 今回のテーマはAWS Organizationsです。AWS Organizationsには様々な機能があるので、ここではAWS Organizationsの概要と、今１アカウントでAWSを利用している場合に、どうやってAWS Organizationsを導入すればよいのかのお勧めの方法を紹介します。 AWS Organizat
インフラエンジニアが見るJAMStack
2021/03/31
ブックマーク
はじめまして、志水です。 普段は主にAWSを利用したサービスの設計、構築、運用をして、プライベートでは妻や娘の障害対応を行うインフラエンジニアです。 最近JAMStackにふれる機会があり、まとめてみたいと思います。 フロント側の知識が乏しいので、ミスなどあれば教えて頂けると志水は喜びます。 CMSとは？ まずJAMStackを説明する前に、CMSについて説明します。 CMS
AWS 認定 デベロッパー – アソシエイト(AWS Certified Developer – Associate)の学習方法
2021/03/30
ブックマーク
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 デベロッパー – アソシエイト(AWS Certified Developer – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリ
AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)の学習方法
2021/03/29
ブックマーク
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記