こんにちは、神崎です。最近はゲーム・オブ・スローンズという海外ドラマをイッキ見しています。本記事では、Google アナリティクス 4（GA4）プロパティにおける「サンプリング・(other)・しきい値」について解説します。 サンプリング サンプリングは、一部のデータから全体のデータを拡大推計して表示する仕組みです。「推計」と記載しているとおり、サンプリングが適用されると実態とは乖離したデータが表示される場合があります。 従来のユニバーサル アナリティクス（UA）プロパティでは、下記のしきい値をもとにレポートにサンプリングが適用されるようになっていました。 無償版：選択した期間でプロパティ単位…

小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA D…

こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第六弾です。前回に引き続き、データ加工をテーマにします。今回は、GUIによるデータ加工処理についてです。将来的には、GUIが活躍する領域がもっと広がってくると予想していますが、その選定についての個人的な課題感についてです。なお、論理的にどういうパターンがあるかを整理しているだけで、具体的な製品についての紹介や言及はしません。 データプレパレーションについて データプレパレーション（Data Preparation ）とは、データ分析に先立って元データをクレンジングしたり分析しやすいように加工するプロセスです。いわゆる前処理にあた…

こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第四弾です。と思っていたのですが、その前に1個書いていたので、第五弾でした。今回は、データの民主化の概念と、ELTです。ELTと書くと、ETL（Extract/Transform/Load）の誤字でしょと言われることが多いのですが、ELT（Extract/Load/Transform）です。 データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について データ分析基盤構築の肝は、データレイクとDWHの分離 データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い デー…

こんにちは、上野です。 AWS認定試験のひとつである、認定データベースの本を書きました。2021/6/17発売予定で、現在予約可能な状態です。 私は認定セキュリティ対策本に引き続き、2回目の執筆でした。 要点整理から攻略する『AWS認定 データベース-専門知識』 (Compass Booksシリーズ)作者:NRIネットコム株式会社,佐々木 拓郎,上野 史瑛,小西 秀和,小林 恭平マイナビ出版Amazon 本書は認定試験の合格を主な目的としていますが、AWSにおけるデータベースサービスを網羅的に紹介しており、Amazon RDSやAmazon Aurora、Amazon DynamoDBなどAW…

こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い - NRIネットコムBlog 個人情報＆パーソナルデータと匿名加工について まず最初に個人情報＆パーソナルデータの定義と匿名加工について、サラッと確認し…

はじめまして、古田です。アプリ中心にシステムアーキテクト的なお仕事をしています。 先日、Amplify ConsoleのSSR(Server Side Rendering)アプリ対応が社内で話題になっていました。そこで今回は、Amplifyって何？という方にも解るようにAWS Amplifyの概要の説明と、実際のアプリ環境を例にAmplify Consoleという機能にスポットを当ててご紹介したいと思います。 （そしてさらに、新機能を用いてSSRアプリの構築を試していくのですが、長くなってしまったのでそちらは後編で続けたいと思います。） AWS Amplify について 開発 配信 管理 Am…

こんにちは、上野です。 皆様、IAMユーザーのアクセスキー、どう管理されていますでしょうか？ AWSの操作をローカルPCや外部のサービスから利用できる便利な反面、一度外部に漏れるとそれが悪用されてしまうというリスクもあります。クラウド環境におけるインシデントの多くが、このアクセスキー（認証情報）に関するものになっています。 ということで、アクセスキーが作成されたらとりあえず気づけるように。という方法を紹介します。 アクセスキーとは？ 復習の意味も込めて。AWSにおけるアクセスキーとは。わかる方は飛ばしてください。 AWSにおいて認証を行う場合、基本的にはIAMユーザーを作成します。（AWS S…

こんにちは、志水です 先日、ありがたいことに2021 APN ALL AWS Certifications Engineers & AWS Top Engineerに選出されました。周りの皆様の支援があってだと思いますので、本当に感謝しています。 さて、先日は非常にテンションの上がる記事がありましたね。何でしょう？そう、AWS App Runner（以降App Runner）の登場ですね。（AWS Amplify SSR対応も最高でしたね） もし結婚報道がよぎった方は、本記事を読んで頂きしっかり自分を見つめ直して頂ければと思います。 App Runnerとは まず簡単にApp Runnerとは…

小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA…

こんにちは佐々木です。 前回、データレイクとDWHを分離せよという趣旨の記事を書いていました。今回は、その続きとして、データレイクをRAWデータレイク・中間データレイク・構造化データレイクの３層構造がお勧めですよというお話をします。何の事でしょう？ RAWデータレイク・中間データレイク・構造化データレイクの役割 データレイクに、RAWデータレイク・中間データレイク・構造化データレイクと３つの名前をつけました。まずこのネーミングはオリジナルで、ググっても出てきません。ここ数年、データ分析基盤を作ってきた中の経験で、こんな感じでデータレイクを３層に分けると良いなぁってなっています。層ごとに便宜的に…

小西秀和です。 2020年度に続き2021年、2022年、2023年もJapan AWS All Certifications Engineer(旧称：APN ALL AWS Certifications Engineer)、Japan AWS Top Engineer(Services) (旧称：APN AWS Top Engineer)に選出していただきました。これも多くの方に読んでいただいたAWS認定記事に依るところが大きいと思いますが、今後はAWS認定以外の記事も書いていこうと思います。まずはデータベースに関するテーマからです。 AWSのデータベースサービスには現在、Amazon Au…

こんにちは、UI/UXデザイナーの東影です。 NRIネットコムで様々な会社のUI/UXの検討・デザイン制作をしていたり、HTMLのレビューなど、コンテンツ制作の領域で幅広い業務を担当しています。 普段の業務ではWebアプリケーションを制作することが多いです。 今回はデザインのクオリティを高めるときに、制作の過程で特に気をつけていることをまとめていきたいと思います。 今回はPCのブラウザで使う、↑こういう感じのWebアプリについてお話しします。 UIとは？ 冒頭で「UI/UXデザイナー」と自己紹介をしましたが、簡単に「UI/UX」についてご説明します。 UIは「User Interface（ユー…

こんにちは、初めまして。Webディレクターをしております、西田と申します。 AWSやGoogle Analyticsのプロがたくさんいる弊社ですが、そんな中でも私は、Webのコンテンツ制作を生業としているチームのメンバーです。 私達チームが何をしているかを1秒でまとめると「どんなサイトにしようか考えて形にすること」です。 あ、どんな方が見てもわかるような紹介をさせていただきましたが、ここから先はUI/UXを考えるディレクターさん＆デザイナーさん向けの情報となっております。 もちろんコンテンツ制作なんて縁がないエンジニアさんも大歓迎ですよ。小難しい話ではないので「へーそうなんや」ぐらいは思ってい…

こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。ま…

こんにちは佐々木です。 先日、VPCのFAQに追加された項目が話題となっていました。2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、トラフィックがインターネットを経由するかどうかという問いに対して、AWSがノーと言っています。これは、どういうことなのでしょうか？ これがプライベートネットワークの通信と明示された意味は大きい『Q:2つのインスタンスがパブリック IP アドレスを使用して通信する場合、またはインスタンスが AWS のサービスのパブリックエンドポイントと通信する場合、トラフィックはインターネットを経由しますか?』https://t.co/uy26KyCZKn—…

はじめまして、神崎です。「Google マーケティング プラットフォーム（GMP）」の利活用コンサルティングと、テクニカルサポートを担当しています。AWS チームの勢いに負けじと記事を書いてみます。 次世代版の Google アナリティクス「Google アナリティクス 4」 昨年10月に「Google アナリティクス 4（GA4）」という次世代版の Google アナリティクスが正式リリースされました。 第４世代の Google アナリティクスということから GA4 と名づけられたようですが、下図のツイートを見ると Urchin 時代から大きな変貌を遂げていることがよく分かります。 Goog…

こんにちは佐々木です。 AWSを利用していると気になるのが、AWSの利用料です。個々のサービス・リソースは機能に比べて充分に安いものの、利用しているうちにそれなりの金額に積み上がってくることが多いです。その対策として、AWSにはさまざまなコスト削減方法があり、即効性がある対策はSavings Plansやリザーブドインスタンスです。これらは一定期間の利用を宣言することにより、割引を受けることができます。今日はこの割引プランについての説明と、AWS Organizations適用時の効率的な利用料削減方法を紹介します。 リザーブドインスタンスとSavings Plans リザーブドインスタンスと…

小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 DevOps エンジニア – プロフェッショナル(AWS Certified DevOps Engineer – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA ML…

こんにちは、上野です。 前回は、AWS Control Towerを触ってセットアップするところまで紹介しました。今回はセットアップ後の運用操作について見ていきます。 AWSアカウントの新規追加（プロビジョニング） 前回の状態では、利用者独自のAWSアカウントを追加できるCustom OUは空の状態でした。 ここにアカウントを追加します。アカウントの追加は、AWS Service Catalogというサービスが使用されます。AWS Service Catalogは、各アカウントの設定やネットワーク設定をテンプレート化して展開するサービスです。 ※追加アカウント用の新規メールアドレスが必要です。…