この記事は Amazon EKS and Kubernetes sessions at AWS re:Invent 2024 (記事公開日: 2024 年 11 月 16 日) を翻訳したものです。 イントロダクション Amazon Web Services の年次イベントである AWS re:Invent 2024 が近づいています。今年のイベントでは、Kubernetes やその他のクラウドネイティブ技術に焦点を当てたセッションのフルトラックを含みます。広大なセッションカタログを簡単に参照できるよう、

はじめに こんにちは、クラウドエース株式会社 第一事業部の梅木です。 今回紹介するのは、2024年9月30日に GA となった Dataplex の「Managed connectivity pipelines」についてです。 Managed connectivity pipelines により、サードパーティソースのデータベースから Dataplex Catalog へメタデータをインポートする Workflows のパイプライン テンプレートが提供されました。 サードパーティソースの場合、従来は、メタ

はじめに 本ブログは、全日本空輸株式会社と Amazon Web Services Japan が共同で執筆しました。 みなさん、こんにちは。 AWS ソリューションアーキテクトの三宅です。 全日本空輸株式会社様では、2021 年よりグループ全社を横断したデータマネジメント基盤として「BlueLake」を整備し、社内のデータ活用の推進に取り組まれています。2024 年 6 月 20日 ～ 21 日に開催された AWS Summit Japan では、全日本空輸株式会社 デジタル変革室 イノベーシ

シニア GTM アナリティクススペシャリストソリューションアーキテクトの大薗です。 2024 年 11 月 7 日に「 データガバナンス事例祭り〜AWSで実現するモダンな取り組み〜 」を開催しました。今回の事例祭りでは AWS の Analytics サービスを活用してデータガバナンスの取り組みを実現している富士通株式会社様、株式会社日本経済新聞社様、 LINEヤフー株式会社様、全日本空輸株式会社様にご登壇いただき、AWS からもデータガバナンスを実現する AWS サービスを紹介しました。本ブログでは当日

Amazon DataZone は、AWS、オンプレミス、およびサードパーティのソースに保存されているデータを迅速かつ便利にカタログ化、発見、共有、管理できるデータ管理サービスです。Amazon DataZone では、データを保存して処理する仮想データレイクであるデータゾーンを作成および管理できます。詳細なコーディングやインフラストラクチャ管理は必要ありません。Amazon DataZone では、エンジニア、データサイエンティスト、プロダクトマネージャー、アナリスト、ビジネスユーザーが組織全体のデータ

みなさんこんにちは。タイミーのデータエンジニアリング部 データサイエンスグループ所属の菊地と小関です。 2024年9月27日（金）、28日（土）に開催された PyCon JP 2024 に参加してきました。今回はPyCon JP 2024の雰囲気と、特に興味深かった&勉強になったトークセッションをいくつかピックアップしてお届けしようと思います！ PyCon JPとは PyConJPは1年に1度開催されていて、今年はTOC有明コンベンションホールにて9月27日（金）、28日（土）の2日間にわたって開

2024年10月7日から10日（現地時間）にかけて、dbt Coalesce 2024がラスベガスで開催されています。 私たち株式会社タイミーからは、4名が現地参加しました （※）。 今回は、カンファレンスの最初のKeynoteについてご紹介したいと思います。 このKeynoteでは、dbtのビジョンや今後の新機能リリースに関する熱いトピックが多く取り上げられ、非常に刺激的な内容となりました。 以下がアジェンダです。 イントロ 新機能の紹介 dbt Copilot Visual Editing Exper

6 月 20 日と 21 日の 2 日間にわたり、幕張メッセにおいて 13 回目となる AWS Summit Japan が開催され、会場では 3 万人以上、オンラインも合わせると過去最高となる 5 万人超の方の参加者を記録しました。本イベントでは 150 以上のセッションと 250 以上のブース展示が行われ、AWS の最新情報が共有されました。 物流業担当チームでは「倉庫ｘ生成AIからの物流DX」と題しまして、Amazon Bedrock をはじめ Amazon QuickSight、Amazon Lo

はじめに ファイナンスデータソリューショングループの高橋です。今回は、Snowflakeに存在するデータを定期的にGCSに

本記事は 夏休みクラウド自由研究 8/30付の記事です 。 こんにちは、SCSKの松岡です。 今回は、Snowflakeをこれから利用する方向けに、環境構築で最低限抑えておきたいポイントをぎゅっと絞ってご紹介します。Snowflakeのアカウントは作ったけど何から始めよう…とお悩みの方はぜひご参考ください! Snowflakeとは Snowflake (Snowflake Cloud Data Platform)は、Snowflake社が提供するSaaS型のクラウドデータプラットフォームです。 データ管理

こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ) です。 先日「 みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！ 」というイベントに登壇し、 Snowflake でデータ基盤を作る際に大事になる権限管理とコスト管理の方法について、ナウキャストの事例を紹介させていただきました。 https://medium.com/media/f06fe7134446e775d34dbd4149635d29/href 要

AI事業本部 協業リテールメディアdivの林です。 私のチームでは広告配信システムを開発しており、配 ...

こんにちは。SCSＫ三上です。 今年も、インフォマティカ・ジャパンが主催するデータマネジメントカンファレンス「 Informatica World Tour 2024 」が開催されます！ このイベントは、AIを活用したクラウドデータ管理の最新テクノロジーとデモンストレーション、ユーザー導入事例、パートナーソリューションなど、多彩なプログラムが用意されています。高品質なデータに基づくAI活用の最新像をご体感ください。 Informatica World Tour 2024概要 開催日： 2024年9月13日

はじめまして！ナウキャストでデータエンジニア / データサイエンティストをしている大森 (X: @yukimooori )です。普段はオルタナティブデータを活用した民間統計の作成や、データパイプラインの構築などを行なっています。 ナウキャストでは2023年から Snowflake x dbt の環境を導入し、全社の各プロジェクトで利活用を進めています。 今回の記事ではこの Snowflake x dbt 環境 を利用し、「 HRog賃金Now 」という民間統計プロダクトをゼロから開発した中で感じた 分析・

はじめに こんにちは！Finatextのソフトウェアエンジニアの和田と申します。Finatextグループ内のナウキャストで、データの開発基盤を作るチームに所属しています。 ナウキャストでは、データ基盤にSnowflakeを採用しています。 今回は2024年の2月にVersion2がリリースされ、Public PreviewとなったSnowflake CLIを使って構築した、Python UDFs・Stored Proceduresの自動デプロイの仕組みを紹介します。 また、Python UDFs・Stor