「データベース」に関連する技術ブログ
企業やコミュニティが発信する「データベース」に関連する技術ブログの一覧です。
全711件中 361 - 375件目
タイミーのデータ基盤品質。これまでとこれから。
2022/01/24
ブックマーク
はじめに 以前のデータ基盤 3つの問題解決と振り返り 問題1: データパイプラインの更新遅延 解決策 実装 振り返り 問題2: 分析チームへのクエリ修正依頼の増加 解決策 実装 振り返り 問題3: ETLパイプラインにおける加工処理の負債 解決策 実装 振り返り これからの品質に関する改善 はじめに 初めまして、タイミーのDRE (Data Reliability Engineering) チームの土川( @tvtg_24 )です。
Gitワークフロー設計について
2022/01/24
ブックマーク
みなさんこんにちは、 電通国際情報サービス （ISID）X イノベーション 本部ソフトウェアデザインセンターの佐藤太一です。 この記事では、Git を使った仕事のやり方（以降は Git ワークフローと記載）を設計する上での検討事項を説明します。 これによって、読者の皆さんがGitワークフローを適切に定義できるようになることを主たる目的としています。 また、筆者の
AWS LambdaからRDS Proxy経由でAmazon RDSに接続してみる
2022/01/20
ブックマーク
DS課の古川です。RDS Proxyの登場により、AWS LambdaとAmazon RDS間接続のボトルネックを回避できるようになりました。今回は、RDS Proxyを経由してAWS LambdaからAmazon RDSに接続する手順を試してます。 はじめに 最大同時接続数 LambdaとRDBの接続 RDS Proxy リソース Security Group Lambda用 RDS Proxy用 RDS用 手順 1. データベースを作成 2. 接続テスト 踏み台サーバー or Cloud9を用意 RDSに接続 テス
DB→わかる。Table→わかる。Schema→お前は一体なんなんだ・・・！
2022/01/10
ブックマーク
記事作成から1年以上経過しています。 内容が古い可能性があります。 publicスキーマってなんじゃ！！！ TL;DR（要約すると・・・） MySQLではデータベースとスキーマは同じと思って大丈夫。 PostgreSQLではデータベースがあってその下にスキーマが存在する。 デフォルトでは public スキーマが作成される。 これまでの経緯 とある日の昼下がり BOSS: ちょっと悪いんだけどさ、
新規開発時の技術選定の指針について
2022/01/07
ブックマーク
初めに こんにちは。エンジニアの野崎です。最近は現場でプロダクトの開発を行いつつ、 兼務としてCTO準備室に所属しテックリードというロールを持ち、複数のプロダクトにまたがるテクノロジーセンターの課題を 技術的な点を軸にしながら解決に向けて取り組んでいます。 ※参考記事： 2020年度エンジニア組織について | mediba Creator × Engineer Blog 本記事では、テックリ
本番データを使った検証を手軽にできる仕組みの構築
2022/01/06
ブックマーク
ロジクラでエンジニアをしている高梨です！ 前回のstagingDev環境構築に引き続き、DevOps周りの改善を紹介します！ 普段開発を進めていると、本番のデータを利用したいと思うことがよくあったりしますよね？ 例えばロジクラでは 顧客からの不具合問い合わせの検証 新機能の仕様検証 新機能のパフォーマンス検証 ...etc などなど、色々なタイミングで本番データを利用し
【用途別】S3ログを集計する方法 〜その② 少し複雑な条件で集計したい〜
2021/12/24
ブックマーク
こんにちは、屋根裏エンジニアこと 技術1課の折戸です。 前回に引き続きS3ログを集計する方法について、 今回は その② 少し複雑な条件で集計したい 場合の方法についてご紹介します。 集計条件 その② 少し複雑な条件で集計したい Athena クエリ結果の場所用のS3バケットを作成 Athena クエリ結果の場所を設定 Athena データベースを作成 Athena テーブルを作成 Athena SELECT ク
クラウドネイティブデータベースを実現する技術(の一端)を理解してみた
2021/12/24
ブックマーク
はじめに こちらは NTT Communions Advent Calender 2021 の 24 日目の記事です。 はじめまして、データプラットフォームサービス部の tnkgw と申します。 普段は、Smart Data Platform の契約管理機能を開発しています。 本記事では、クラウドネイティブデータベースを実現する技術の一端を理解するということでAlibaba Cloud で提供されている PolarDB のファイルシステムである PolarFS で用い
オンプレミスMySQLをAuroraへ移行する際に、困ったこととその対応
2021/12/24
ブックマーク
こんにちは、インフラエンジニア の 加藤( @kuromitsu_ka )です。 この記事は Enigmo Advent Calendar 2021 の 24 日目の記事です。 今回は、オンプレミスの MySQL を、Auroraへ移行する際、困ったことと対応したことを記載します。 移行方式をざっくりいうと、オンプレミスの MySQL より取得した、論理バックアップ(mysqldump)とバイナリログを使用してAuroraへ移行しました。移行のため、リ
高性能分散SQLエンジン「Trino」最速ガイド
2021/12/22
ブックマーク
こんにちは。なんの因果か NTTコミュニケーションズのエバンジェリスト をやっている 西塚 です。 この記事は、 NTT Communications Advent Calendar 2021 22日目の記事です。 5分でわかる「Trino」 「Trino」は、異なるデータソースに対しても高速でインタラクティブに分析ができる高性能分散SQLエンジンです。 以下の特徴を持っており、ビッグデータ分析を支える重要なOSS(オープン
Underscore.jsのソースコードを読んでみた
2021/12/22
ブックマーク
これは、 FORCIA Advent Calendar 2021 の22日目の記事です。 こんにちは。アドベントカレンダー22日目の記事を担当させて頂きます、エンジニアの澤田です。 普段の業務でJavaScriptでプログラムを書くことが多いですが、その際によく使用するJavaScriptのライブラリにUnderscore.jsがあります。 なぜUnderscore.jsを多用するのかというと、フォルシアで開発している主な機能の1つに検索機
IoTボタンによる回数記録基盤をAWSとRaspberry Piで構築する
2021/12/22
ブックマーク
aptpod Advent Calendar 2021 の22日目を担当する、製品開発グループintdash チームの呉羽です。 以下の要件を満たした回数記録基盤を、以前に個人開発したので紹介します。 Bluetoothで接続されたIoTボタンが押された回数を記録したい ボタンが押された時刻と共に永続化したい 永続化されたデータを集計して閲覧したい 利用したもの 構築までの流れ IoTボタンの準備 Raspberry Piの準
MySQLでデータベース内のGenerated Columnをリストアップする
2021/12/19
ブックマーク
MySQL 5.7.6 以降では Generated Column が使えます。 テーブル定義に計算式を記述すると計算結果をカラムとして扱えるようになる機能です。 駅メモ！でも最近利用しているGenerated Columnですが、データベース内で増えたGenerated Columnをリストアップしたくなったので方法を調べました。 GENERATION_EXPRESSION に値があるカラムリストを得る MySQL 5.7のリファレンス から例を流用します CR
goでValueObject(値オブジェクト) を実装する
2021/12/17
ブックマーク
これは 電通国際情報サービス アドベントカレンダー の17日目の記事です。 はじめに 開発環境 ValueObject(値オブジェクト)とは？ 実装方針のアプローチ 構造体として実装し、フィールドに値を保持し、必要な機能をメソッドで外部公開する defined typeとして実装し、必要な機能をメソッドで外部公開する 両アプローチの考察 データベースへの永続化 Value関数 Scan関数 実際に
AWS Lake Formationでのデータレイク登録からデータアクセスまで
2021/12/16
ブックマーク
AWS Lake Formationでのデータレイク登録からデータアクセスまで この記事は NTTコミュニケーションズ Advent Calendar 2021 の16日目の記事です。 はじめに はじめまして！BS本部SS部の荒井です。データマネジメントに関するプリセールスを担当しています。 今回はアドベントカレンダー企画ということで、 AWS Lake Formation に関する記事を投稿をさせていただきます。 データレイク