はじめに こんにちは。楽楽精算開発チームのyk_itgです。 これまで6回の投稿で主に PostgreSQL についての記事を書いてきましたが、今回は PostgreSQL をはじめとする データベースを管理する DBMS や、 リレーショナルデータベースを管理する RDBMS についてまとめました。 初心者の方でも分かりやすい内容になっていると思いますので、ご参考いただけますと幸いです。 はじめに DBMSとは データベースって？ DBMSの分類と特徴 RDBMSとは RDBMSの特徴 柔軟な検索ができ

こんにちは、データプラットフォームグループの樋口です。エンジニアとしてデータ基盤の構築・運用を約4年ほど担当しています。 今回は私達が「データの民主化」を目指してこれまでに取り組んできた事を振り返りながらご紹介したいと思います。 はじまり（2017年10月〜） 当時社内では以下のようなキーワードがトレンドでした。 データドリブン経営 データの民主化 データウェアハウス しかしデータが十分に活用されているのは一部の部署や施策に限られており、「データの民主化」と呼ぶには程遠い状態でした。 データのサイロ化 デ

2021 年 8 月 19 日(木)に開催される、AWS Innovate – Data Editionにて、ミイダス VPoEの大谷が「転職サービスにおけるデータ分析基盤の構築事例」というテーマで、ミイダス インフラチームのチャレンジについて発表しますので、その概要についてご案内いたします。セッション概要

こんにちは。クルーズ株式会社CTOの鈴木です。 今回はSHOPLISTにおける AWS のインフラ アーキテクチャ を見直した話です。 以前、「 SHOPLISTのシステムをモダンなアーキテクチャに変えようとしたら予想以上に闇が深かった話 」でも記載のとおり、SHOPLISTのインフラ環境はオンプレミスの環境を2014に クラウド 移行したものなのですが、当時は時間的な制約や、十分に AWS に関する知見なさなどにより、オンプレ環境をとりあえず クラウド に移行した状態で、その後ElastiCache や

こんにちは!! BASE BANK 株式会社 Dev Division にてSoftware Developerをしている永野( @glassmonkey )です。 普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。 現在、自分たちのプロダクトである YELL BANK の分析基盤を構築しています。 その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータポータルで簡

こんにちは。テクノロジー本部の稲垣です。 LIFULLでは、提供するサービスによって、様々なDBが稼働しています。 異なるDBエンジン間でのデータ移行が必要となるプロジェクトが立ち上がることとなり、AWSが提供しているAWS Database Migration Service（AWS DMS）による検証を行う機会がありました。 www.lifull.blog AWS Database Migration Service（AWS DMS）がリリースされて間もないころに、一度検証目的で使ったことがありました

こんにちは、ECプラットフォーム部の権守です。普段はID基盤やAPI Gatewayの開発を行い、ZOZOTOWNのリプレイスに携わっています。 本記事では、ID基盤で開発・導入したMySQL実行計画の簡易検査を行うツールを紹介します。 ツール開発の経緯 RDBにおけるテーブル設計は利用するクエリに応じて適切なインデックスを設定するなど専門的な知識を必要とし、設計できる人が限られてきます。しかし、アプリケーション上で利用されるクエリは機能の追加・改修に伴って日々変化していくため、それら全てに目を通し、漏れ

アプリケーションサービス部の宮本です。 今回は S3 Select の検証をしたのでご紹介します。 はじめに S3 Select とは 料金 検証 事前準備 クエリ実行 日本語対応は？ 関数 注意点 まとめ 参考 はじめに S3 Select とは Amazon S3 Select では、シンプルな構造化クエリ言語 (SQL) ステートメントを使用して Amazon S3 オブジェクトのコンテンツをフィルタリングすることで、必要なデータのサブセットのみ取得することができます。 https://docs.a

こんにちは。ミイダスVPoEの大谷です。この度、パーソルグループ 横断のAWS合同勉強会を開催しました。グループ内でAWSを使っているチームやクラウド活用を推進しているチームが増えたので、情報共有の目的と、グループでテクノロジーをもっと盛り上げていきたという思いで今回企画をしました。ミイダスでは「巨大データベースの運用とデータレイク」というテーマで府川が登壇しましたので、その内容についてご紹介します。

はじめに 今回は、 5/28のアップデートについて紹介していきます。 こちらの内容については、YoutubeやPodcastでもアップロードしているので、気になる方はぜひチェックしてください。 ■ YouTube での配信 youtu.be ではさっそくアップデートの方を見ていきましょう。 今回は12件のアップデートを紹介します。 アップデート内容 ①Amazon RedshiftMLの一般提供を発表 Amazon Redshift MLを使用すると、SQLコマンドを使用して、機械学習（ML）モデルを作成

はじめに こんにちは。BASEのCSEチームの秋谷です。 CSEチームは社内業務の効率化と財務の信頼性担保することを専門とするチームとして開発や社内の整備を行なっています。そんなCSEの取り組みを紹介できればと思います。 CSEについて詳しくはこちらをご覧ください devblog.thebase.in BASEショップの売上金の担保とJ-SOX対応 BASEではショップの売上を一時的にプラットフォーム側が預かっており、申請があった段階で売上金を引き出せるようになっています。 そのため、ECプラットフォーム

はじめに こんにちは、スタメンの松谷( @uuushiro )です。この記事では、MySQLのパフォーマンススキーマを利用し、トランザクションの実行時間を調査する方法を紹介します。なお、検証に利用した実行環境は Amazon Aurora MySQL5.7互換 です。 なぜトランザクションの実行時間を調査したいのか 過去に弊社が提供するWEBサービスのデータベースに、ALTER文などのデータ定義言語(以下DDL)をオンラインで実行した際、DDL対象のテーブルへのクエリが「Waiting for table

こんにちは。エンジニアのrs_shoです。 投稿は5回目になります。今回は初心者向けの SQL について説明しようと思います。 はじめに SQLとは 各SQLの命令文 データの検索(閲覧) SELECT文の書き方 SELECT文の使用方法 データの登録(挿入) INSERT文の書き方 INSERT文の使用方法 データの更新(編集) UPDATE文の書き方 UPDATE文の使用方法 データの削除 DELETE文の書き方 DELETE文の使用方法 条件指定 WHERE句の書き方 WHERE句の使用方法 SEL

こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGoogle Cloud SQLへレプリケーションします。そして、BigQ

こんにちは。アーキテクト部の廣瀬です。 弊社ではサービスの一部にSQL Serverを使用しており、BigQuery上のデータ基盤へテーブルを連携しています。連携の仕組みは非常によくできているものの、データ不整合や遅延が発生し得るという課題を抱えていました。しかし、SQL Serverのスナップショット分離レベルを導入することでそれらを解決できました。本記事では、抱えていた課題および解決までの流れと、スナップショット分離レベルを導入する際に気を付ける点を紹介します。 データ基盤連携の方法と課題 データ基盤