「データベース」に関連する技術ブログ
企業やコミュニティが発信する「データベース」に関連する技術ブログの一覧です。
全1421件中 736 - 750件目
【Amazon Athena】パーティションを使ってマルチアカウントのCloudTrailログ検索を高速化する
2023/10/31
ブックマーク
エンタープライズクラウド部の松田です。こんにちは。 今回はパーティションを活用して、マルチアカウント環境における、AWS CloudTrailログの検索を高速化する方法をご紹介します。 1. はじめに 2. 事前準備 クエリ結果の場所を設定する データベースを作成する 3. テーブル作成（パーティション分割なし） 4. テーブル作成（パーティション分割あり） 5. クエリ実行 パー
サーバーレスVPCアクセスコネクタで発生するメンテナンスとその注意点
2023/10/31
ブックマーク
G-gen の佐々木です。当記事では Cloud Run や Cloud Functions などで使用する サーバーレス VPC アクセス のコネクタインスタンスで発生するメンテナンスと、それに関する注意点を記載します。 はじめに 前提知識 サーバーレス VPC アクセスとは コネクタインスタンスのスケーリングについて コネクタインスタンスのメンテナンス メンテナンス時に何が起こるのか メンテナンス
おい、誰も騒いでないから騒ぐけどExternal Network AccessっていうSnowflakeから外部へアクセスできる機能、データサイロ完全にぶっ壊せるぞ。
2023/10/25
ブックマーク
NHK関連の話ではないです こんにちは harry( @gappy50 )です〜。 これまでクラシルでデータエンジニアをしておりましたが、最近クラシルリワードという別プロダクトでデータエンジニアをしております。 クラシルリワードのデータ基盤は以下に詳細がありますので、ご興味あればどうぞ！ tech.dely.jp 本記事のタイトルは私がTwitter改めXにポストした投稿から抜粋しました（恥
AWS Glue Studio ビジュアル ETL ジョブで AWS Glue DataBrew レシピを使用する
2023/10/16
ブックマーク
AWS Glue Studio は AWS Glue DataBrew と統合されました。 AWS Glue Studio は、 AWS Glue で抽出、変換、ロード (ETL) ジョブを簡単に作成、実行、監視できるようにするグラフィカルインターフェイスです。 DataBrew は、コードを書かずにデータをクレンジングおよび正規化できる可視的なデータプレパレーションツールです。DataBrewで提供されている 200 を超える変換ステップを、AWS Glue Stu
はじめて設計について学習してみた。（概念モデリング編）
2023/10/13
ブックマーク
はじめに 本記事は、経験の浅いエンジニアを対象とした記事になります。 今回は、概念モデリングについての紹介です。 下記観点からの理解につながれば幸いです。 What 概念モデリングってなに？ When 概念モデリングは、どのタイミングでやるのか Why なぜ概念モデリングをやるのか How 概念モデリングのやり方（概念モデリングをやってみよう！） 目次 章 タイトル 概
Amazon MSK が Apache Kafka からデータレイクへのマネージドデータ配信を導入
2023/10/11
ブックマーク
9月28日、 Amazon Managed Streaming for Apache Kafka (Amazon MSK) の新機能を発表しました。この機能を使用することで、 Apache Kafka クラスターから Amazon Simple Storage Service (Amazon S3) にデータを継続的にロードできるようになります。抽出、変換、ロード (ETL) サービスである Amazon Kinesis Data Firehose を利用して、Kafka トピックからデータを読み取り、レコードを変換し、Amazon S3 の送信先に書
VPC ネットワークピアリングの概要
2023/10/06
ブックマーク
はじめに こんにちは。クラウドエースの木村です。 本記事にてご紹介する内容は、Google Cloud のサービスである VPC ネットワークピアリングについてです。 私自身今まで使ったことがなかったので、簡単にサービスの概要と、実際に使ってみた様子をまとめてみました。 VPC ネットワークピアリングに触れたことがない方、どのようなサービスなのかを簡潔に知りたい方に
Amazon QuickSight データセットパラメータを使用したクエリの最適化
2023/10/04
ブックマーク
Amazon QuickSight はハイパースケールの統合ビジネスインテリジェンス ( BI ) でデータ主導型組織を強化します。QuickSight を使用すると、すべてのユーザーが同じ情報源を共有し、インタラクティブダッシュボード、ページ分割レポート、埋め込み分析、自然言語クエリを通じて、さまざまな分析ニーズに対応できます。 データセットパラメータ は、ダッシュボードでインタ
踏み台にはECSコンテナを。～ログイン有無を検知して自動停止させる～
2023/10/02
ブックマーク
こんにちは、後藤です。今回はAWS構成における踏み台についての記事です。 データベースなどのインターネットに繋げたくないリソースに踏み台リソース経由でアクセスさせることは、セキュリティ設計としてよくある構成だと思います。 今回はその踏み台リソースに「ユーザーログイン有無を検知して自動停止する」ロジックを組み込んだ方法を共有します。 また、
[Multi-AS Segment Routing 検証連載 #16] Delay Measurement using IOS XR, Junos and SR OS
2023/10/02
ブックマーク
サマリ 概要 検証 responder 機能の検証 IOS XR - SR OS 間 Junos - SR OS 間 controller 機能の検証 SR OS - IOS XR 間 SR OS - Junos 間 考慮事項 まとめ サマリ IOS XR + Junos + SR OS の Multi-vendor 環境におけるリンク遅延計測の動作検証を実施 この記事は Multi-AS Segment Routing 検証連載の第 16 回です。目次は こちら 概要 イノベーションセンターの竹中です。普段の業務では Multi-AS Segment Routing に関する
イベントレポート : Developer x NoSQL night at AWS Loft Tokyo 9/21を開催しました
2023/09/29
ブックマーク
DynamoDB Specialist Solutions Architectの成田と申します。 前回、表題のイベントについて イベントの告知ブログ を公開させて頂きました。 本投稿ではイベントの風景や各スピーカーの資料を皆様にシェアさせて頂きます。当日参加したが見逃してしまった、などに是非お役立て下さい。 なお、一部スライドは今回の公開用に変更・修正をしている可能性があることを承知下さい
Two-Towerモデルと近似最近傍探索による候補生成ロジックの導入
2023/09/29
ブックマーク
はじめに こんにちは。Kagglerの中間 と若月 です。業務では主に人材領域でのレコメンドシステムの改善に取り組んでいます。
Spanner change stream を streaming 処理する
2023/09/26
ブックマーク
データベースの変更に対して非同期で処理を追加したい こんにちは、ホシイです。 サーバーアプリケーションをつくっていて、あるデータが追加されたり変更されたときに、別の処理を追加したいということがよくあります。アプリケーションの実装を変更してそこに直接処理を追加することも出来ますが、その改修自体が難しかったり、テストの工数がとれなかったり
サステナビリティプロキシメトリクスによるクラウド効率の測定と追跡、パート II : メトリクスパイプラインの構築
2023/09/25
ブックマーク
このブログは 2023 年 8 月 30 日に Katja Philipp、Jonas Bürkel、Steffen Grunwald によって執筆された内容を日本語化したものです。原文は こちら を参照して下さい。 このブログ記事シリーズでは、持続可能性を目的として AWS の使用を最適化したいと考えているチーム向けに、持続可能性プロキシメトリクスのショーバックメカニズムを確立する方法の概要を説明します。 パート I
【マイグレーションTips】Ｃのプログラム移植/移植後に見つかる潜在バグ例(RHEL8へのバージョンアップ)
2023/09/25
ブックマーク
はじめに