「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全1007件中 631 - 645件目
Cloud Spanner を徹底解説！
2023/03/07
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の片岩です。Google Cloud の Cloud Spanner について徹底解説します。Cloud Spanner は強整合性を持ちながらグローバルな負荷分散が可能なサービスです。高い可用性、データの完全性が求められる金融分野での活用が見込まれるデータベースです。 Cloud Spanner の概
Cloud Composerにデータマート集計基盤を移行しました
2023/02/13
ブックマーク
こんにちは、MLデータ部データ基盤ブロックの奥山（ @pokoyakazan ）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構築されています。そして、データ基盤内の各テ
SQL作成のコンペを通した業務効率とコミュニケーションの改善
2023/02/01
ブックマーク
エンジニアの松尾です。LIFULL HOME'S の売買領域を支えるエンジニアチームのマネジメントを担当しています。 私が所属する組織ではLIFULL HOME'Sからより良い価値を提供していくために、エンジニアの「業務効率化」と「コミュニケーション活性化」が課題となっています。今回はこれらを効率良く進めるために取り組んだ内容を紹介します。 組織の課題 業務効率化 コミュ
Flyway導入
2023/01/31
ブックマーク
背景紹介 自己紹介 こんにちは。KINTOテクノロジーズ Globalグループ、DevOpsチームの李琳です。2017年までは中国でエンジニア、プロジェクトマネージャー、大学の先生を経験し、 2018年から日本で働き始めました。 子供を二人持っている母ですが、リスキルしながら仕事をしています。 DevOpsチームの紹介 GlobalグループのDevOpsチームは今年から実働開始しました。Globalグルー
初学者向けにBigQueryを解説
2023/01/31
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ＆テクノロジーズ株式会社の藤根です。この度、G-gen さんとのコラボを通じて、弊社エンジニアによる Google Cloud の記事を執筆する機会をいただきました。 本記事では、Google Cloud が誇る BigQuery について、初学者を対象にご紹介させていただきま
2022年版 AWS Glue の Spark Job で Aurora MySQL にデータを書き込む方法まとめ
2023/01/31
ブックマーク
KAKEHASHI でバックエンドエンジニアをしている横田です。 私が運用している Web サービスでは、AWS Glue で ETL 処理をしたデータを Aurora MySQL に投入することでユーザーが利用できるようにしています。 その中でも「データを Aurora MySQL に投入する」方法に関して、今まで色々なパターンを試してきました。 AWS Glue の Job で作成したデータを Aurora に投入するいくつかのパター
QCon SFに見る、MLOpsとアーキテクチャの最前線
2023/01/30
ブックマーク
こんにちは、『スタディサプリ』でデータエンジニアをしている橘高 (@masanobbb)と丹田 (@JinTanda) です。 今回は、昨年の10/
Data Vault モデリングのご紹介
2023/01/27
ブックマーク
データ分析基盤グループでデータエンジニアをしている平川です。 近年注目されてきているDataVaultに関して、全3回(予定)で記事を書かせていただく予定です。 第1回の記事では、DataVaultとは何なのか？どんな特徴があるのかを書いていきます。 参考までに、1~3回の内容を紹介しておきます。(内容は変わる可能性が大いにありますのでお許しください🙇♂️) 第1回: DataVa
Google Cloudを活用したキャリア事業のデータ分析基盤
2023/01/24
ブックマーク
はじめに エス・エム・エス BPR推進部カスタマーデータGrで、「 ナース人材バンク 」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発を担当しています、橘と申します。 私達カスタマーデータGrでは、Google CloudのBigQueryを中心としたデータ基盤を構築しており、社員がデータを利用して意思決定をする業務をサポートする役割を担っています。本記
レビューBotでレビュー効率を改善した話
2023/01/23
ブックマーク
プロダクト開発部バックエンド開発グループでエンジニアをしてます、ゆうまです。 今回はココナラのバックエンド開発グループでレビュー開始までの時間を改善し、開発速度を改善した事例を紹介します。 改善前のレビュー 改善前のココナラのバックエンド開発グループのレビューを紹介します。 GitHubでのレビュー レビュー対象は主にコードやSQLです。それらのレビ
大規模SaaS「カイポケ」の意思決定を支える事業責任者の思考と技術
2023/01/18
ブックマーク
「エス・エム・エス社員に訊いてみた」第三弾として、介護事業者向け経営支援サービス「カイポケ」の事業責任者である園田さんへのインタビュー記事をお届けします。 事業責任者の役割 本日はよろしくお願いします。はじめに、園田さんの担っている「事業責任者」という役割がどんな役割なのかを教えてください。 カイポケに関わる組織のうち、プロダクトマネ
AthenaとGlueを利用して、データソースへのSQLクエリ実行環境を準備する
2023/01/05
ブックマーク
こんにちは、CI2部の加藤ゆです。 Athenaを利用したデータ分析を実施するための環境準備作業をやっていきます。 Amazon Athena とは？ AWS Glueとは？ Glue Data Catalog Glueクローラ AthenaとGlueの関係 本記事でやること 前提条件 作業手順 １．Databaseの作成 ２．AWS Glue データ カタログにテーブルを定義する Set crawler properties Choose data sources and classifiers Configure security settings Set output and sch
VACUUMでPostgreSQLのゴミデータをお掃除！
2022/12/27
ブックマーク
今年も早いものでもう年末です。 大掃除を意識した時に、「普段からこまめにやっておけば...」と毎年後悔しています。 そんな私とは違って、 PostgreSQL には普段からデータをこまめに掃除してくれる優秀な「VACUUM」という機能があります。 しかも ゴミがでやすい時は小まめに、そうでないときは手を抜いてゆっくりやる というように調整しながら掃除をしてくれます！
AWS re:Invent 2022 現地参加で感じたAWSの意気込み
2022/12/27
ブックマーク
AI事業本部 DX本部22新卒の西澤(@ZAWAVE7)です！ 2022/11/28~12/2までア ...
Elasticsearchの更新をGoogle Cloud DataflowとBigQuery+SQLで実現したい
2022/12/26
ブックマーク
はじめまして。 株式会社ココナラ R&Dグループ MLデータ基盤チームの北郷と申します。 MLデータ基盤チームではココナラにおける検索周りの機能拡張や運用を行なっています。 今回の記事は、現在導入を進めているGoogle CloudのDataflowについてです。 本記事は、2022/12/16時点で検証を行なっております。 GCP側の仕様変更により手順などが変わる可能性がある旨ご承知おき