「SQL」に関連する技術ブログ

企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。

Data Vault モデリングのご紹介

データ分析基盤グループでデータエンジニアをしている平川です。 近年注目されてきているDataVaultに関して、全3回(予定)で記事を書かせていただく予定です。 第1回の記事では、DataVaultとは何なのか?どんな特徴があるのかを書いていきます。 参考までに、1~3回の内容を紹介しておきます。(内容は変わる可能性が大いにありますのでお許しください🙇‍♂️) 第1回: DataVa

Google Cloudを活用したキャリア事業のデータ分析基盤

はじめに エス・エム・エス BPR推進部カスタマーデータGrで、「 ナース人材バンク 」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発を担当しています、橘と申します。 私達カスタマーデータGrでは、Google CloudのBigQueryを中心としたデータ基盤を構築しており、社員がデータを利用して意思決定をする業務をサポートする役割を担っています。本記

レビューBotでレビュー効率を改善した話

プロダクト開発部バックエンド開発グループでエンジニアをしてます、ゆうまです。 今回はココナラのバックエンド開発グループでレビュー開始までの時間を改善し、開発速度を改善した事例を紹介します。 改善前のレビュー 改善前のココナラのバックエンド開発グループのレビューを紹介します。 GitHubでのレビュー レビュー対象は主にコードやSQLです。それらのレビ

大規模SaaS「カイポケ」の意思決定を支える事業責任者の思考と技術

「エス・エム・エス社員に訊いてみた」第三弾として、介護事業者向け経営支援サービス「カイポケ」の事業責任者である園田さんへのインタビュー記事をお届けします。 事業責任者の役割 本日はよろしくお願いします。はじめに、園田さんの担っている「事業責任者」という役割がどんな役割なのかを教えてください。 カイポケに関わる組織のうち、プロダクトマネ

AthenaとGlueを利用して、データソースへのSQLクエリ実行環境を準備する

こんにちは、CI2部の加藤ゆです。 Athenaを利用したデータ分析を実施するための環境準備作業をやっていきます。 Amazon Athena とは? AWS Glueとは? Glue Data Catalog Glueクローラ AthenaとGlueの関係 本記事でやること 前提条件 作業手順 1.Databaseの作成 2.AWS Glue データ カタログにテーブルを定義する Set crawler properties Choose data sources and classifiers Configure security settings Set output and sch

VACUUMでPostgreSQLのゴミデータをお掃除!

今年も早いものでもう年末です。 大掃除を意識した時に、「普段からこまめにやっておけば...」と毎年後悔しています。 そんな私とは違って、 PostgreSQL には普段からデータをこまめに掃除してくれる優秀な「VACUUM」という機能があります。 しかも ゴミがでやすい時は小まめに、そうでないときは手を抜いてゆっくりやる というように調整しながら掃除をしてくれます!

Elasticsearchの更新をGoogle Cloud DataflowとBigQuery+SQLで実現したい

はじめまして。 株式会社ココナラ R&Dグループ MLデータ基盤チームの北郷と申します。 MLデータ基盤チームではココナラにおける検索周りの機能拡張や運用を行なっています。 今回の記事は、現在導入を進めているGoogle CloudのDataflowについてです。 本記事は、2022/12/16時点で検証を行なっております。 GCP側の仕様変更により手順などが変わる可能性がある旨ご承知おき

2022 Review & 2023 Outlook

2022 Review & 2023 Outlook This is Kageyama from KINTO Technologies! I would like to write a review of 2022 and my outlook for 2023. We launched various services in 2022. In May, we launched the bZ4X online subscription sales site. After the launch, we had to deal with a recall, and then we also made modifications to the site to allow corporate customers to place orders. Thus, the development team took a lot of action after the launch. Online used car subscription sales site launch in July.

2022年振り返り&2023年展望

2022年振り返り&2023年展望 KINTOテクノロジーズの景山です! 2022年の振り返りと2023年の展望について書こうと思います。 2022年はさまざまなサービスをローンチしました。 5月のbZ4Xの受注サイトローンチ。ローンチ後にリコール対応が入り、その後、法人顧客が受注できるように改修などローンチ後も開発チームは多くの対応をしてくれました。 7月にKINTO ONE中古車サイト

Notionで社内情報をスムーズに検索!移行前の大掃除と再配置で効率アップ

この記事は、 ニフティグループ Advent Calendar 2022 (カレンダー1) 25日目の記事です。 こんにちは、ニフティでAWS/GCPや開発寄りのSaaS管理などしている石川です。 年末ですね、大掃除のシーズンです。 オフィスやキャビネットの掃除はしてても社内情報の掃除はみなさんしているでしょうか。 本日は Notion様の事例紹介として載せさせていただいた内容 の詳細版として、Conflue

データアナリストと協業してデータ分析基盤を構築した際に感じたDatabricksの良さ

こちらの記事は Databricks Advent Calendar 2022 の25日目の記事になります。 こんにちは、カケハシで Musubi Insight という薬局向けBIツールのバックエンドエンジニアをしている高田と申します。 BIツールを開発しているということもあり日常的にETL処理の実装を行っていますが、普段の開発では AWS Glue を採用しています。 しかし、カケハシでは 全社的なデータ活用基盤のプラッ

pandasユーザーがPandas API on Sparkでつまづいたあれこれ

こちらの記事は Databricks Advent Calendar 2022 の24日目の記事です。 はじめに 初めまして。カケハシでデータサイエンティストをしている赤池です。 弊社はフルリモートで業務できるため今年9月から地元の仙台市で業務していますが、本格的な冬の到来を前に戦々恐々しています。(寒い。雪。路面凍結。) さて、あなたは「Pandas API on Spark」を知っていますか? これは「panda

Databricks導入でデータ分析における苦しみや悩みが消え、夢も叶った話

こちらの記事は Databricks Advent Calendar 2022 の23日目の記事です。 はじめに 初めまして。カケハシにてデータサイエンティストをしている赤池です。 業種的に、自己紹介の際に統計学のビッグネームとの関係性を聞かれることがたまにありますが 全く関係ありません 。統計学もがんばります。 突然ですが、あなたの分析環境では「 DBから抽出したデータをPythonやRなどで利

Redash から Databricks SQL へ移行すると何がどう変わる??

こちらの記事は Databricks Advent Calendar 2022 の22日目の記事になります。 こんにちは、カケハシで Musubi Insight のバックエンドエンジニアをしている末松です。 カケハシでは 全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用 しておりますが、それまでは Redash を利用していました。 Redash は Databricks社にM&A された背景もあり、基本的には Redash を使っていた
技術ブログを絞り込む

TECH PLAY でイベントをはじめよう

グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか?