「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全823件中 451 - 465件目
Google Cloudを活用したデータマネジメントの支援
2023/03/27
ブックマーク
テクノロジー本部の yoshikawa です。 普段の業務では全社データ基盤の開発や技術検証、ビジネスサイドのデータ活用支援を行っています。 本記事では、Google CloudのDataplex(主にData CatalogとData Lineage)を活用したデータマネジメント及びその支援に関する事例を紹介します。 また関連して、データ開発の質とスピードを高めるべくCloud Composerとdbt(dbt Core)を採用し、DWH(データウ
SIerで自社製品導入をする新卒5年目（※IT経験なし）の働き方と今感じること～ちょこっと就活の話も添えて～
2023/03/27
ブックマーク
こんにちは！グループ経営ソリューション（ GMS ）事業部5年目の川島です。現在は自社製品Ci*Xの導入やセールス支援をしています。 この記事では私のやっている仕事の内容や職場の雰囲気について、また、今学生で今後ISIDを目指す方向けに就活のお話も少しできればと思います。 本記事を通して私の仕事を知ってもらえたり、IT経験のない方でIT企業を目指す方に少しで
SIerで自社製品導入をする新卒5年目（※IT経験なし）の働き方と今感じること～ちょこっと就活の話も添えて～
2023/03/27
ブックマーク
こんにちは！グループ経営ソリューション（ GMS ）事業部5年目の川島です。現在は自社製品Ci*Xの導入やセールス支援をしています。 この記事では私のやっている仕事の内容や職場の雰囲気について、また、今学生で今後ISIDを目指す方向けに就活のお話も少しできればと思います。 本記事を通して私の仕事を知ってもらえたり、IT経験のない方でIT企業を目指す方に少しで
推薦システムにおけるSnowparkの活用
2023/03/24
ブックマーク
こんにちは！クラシルバックエンドエンジニアの高松 @takarotoooooo です。 今回はクラシルの推薦システムにおけるSnowparkの活用事例を経緯とともに紹介しようと思います。 Snowparkとは DataFrame式のプログラミングを可能にする開発者向けツールで、現在はJava, Python, Scalaで利用することができます。 Snowparkを利用することで、SQLでは対応できなかったタスクがSnowflakeからデー
gcloudとjqでGoogle Cloudのリソース情報を取得(IAM編)
2023/03/23
ブックマーク
G-gen の武井です。 当記事は gcloud と jq コマンドシリーズの第2弾として、Google Cloud (旧称 GCP) の IAM に関する情報の取得方法についてご紹介します。 組織 / フォルダ / プロジェクト 編の記事 組織の IAM Policy IAM ポリシーの表示 プリンシパルの抽出 jq コマンドの利用 重複値の除外 ( unique 構文 ) 特定のプリンシパルに紐づくロールの抽出 特定のロールに紐づくプリンシパル
Cloud FirestoreからPostgreSQLへ移行したお話
2023/03/14
ブックマーク
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデー
BigQuery MLで機械学習モデル(分類)を構築してみた
2023/03/13
ブックマーク
G-gen 又吉です。今回は BigQuery に備わる機械学習機能である BigQuery ML で、2 項ロジスティック回帰を用いた分類モデルを作成してみました。 BigQuery ML とは サポートされているモデル 今回使用するデータ 準備 各種ファイルのアップロード データセットの作成 テーブルの作成 テーブルにデータをロード データの確認 モデルの作成 データの前処理を行います。 モデル構築
Go製DBマイグレーションツール liamstask/goose から pressly/goose へのスムーズな移行
2023/03/10
ブックマーク
こんにちは！スタンドアロンと聞くとどうしても攻殻機動隊を連想してしまう、しゅん（@MxShun）です ...
Cloud Spanner を徹底解説！
2023/03/07
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の片岩です。Google Cloud の Cloud Spanner について徹底解説します。Cloud Spanner は強整合性を持ちながらグローバルな負荷分散が可能なサービスです。高い可用性、データの完全性が求められる金融分野での活用が見込まれるサービスであり、仕様を調査するこ
Cloud Composerにデータマート集計基盤を移行しました
2023/02/13
ブックマーク
こんにちは、MLデータ部データ基盤ブロックの奥山（ @pokoyakazan ）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構築されています。そして、データ基盤内の各テ
SQL作成のコンペを通した業務効率とコミュニケーションの改善
2023/02/01
ブックマーク
エンジニアの松尾です。LIFULL HOME'S の売買領域を支えるエンジニアチームのマネジメントを担当しています。 私が所属する組織ではLIFULL HOME'Sからより良い価値を提供していくために、エンジニアの「業務効率化」と「コミュニケーション活性化」が課題となっています。今回はこれらを効率良く進めるために取り組んだ内容を紹介します。 組織の課題 業務効率化 コミュ
Flyway導入
2023/01/31
ブックマーク
背景紹介 自己紹介 こんにちは。KINTOテクノロジーズ Globalグループ、DevOpsチームの李琳です。2017年までは中国でエンジニア、プロジェクトマネージャー、大学の先生を経験し、 2018年から日本で働き始めました。 子供を二人持っている母ですが、リスキルしながら仕事をしています。 DevOpsチームの紹介 GlobalグループのDevOpsチームは今年から実働開始しました。Globalグルー
初学者向けにBigQueryを解説
2023/01/31
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ＆テクノロジーズ株式会社の藤根です。この度、G-gen さんとのコラボを通じて、弊社エンジニアによる Google Cloud の記事を執筆する機会をいただきました。 本記事では、Google Cloud が誇る BigQuery について、初学者を対象にご紹介させていただきま
2022年版 AWS Glue の Spark Job で Aurora MySQL にデータを書き込む方法まとめ
2023/01/31
ブックマーク
KAKEHASHI でバックエンドエンジニアをしている横田です。 私が運用している Web サービスでは、AWS Glue で ETL 処理をしたデータを Aurora MySQL に投入することでユーザーが利用できるようにしています。 その中でも「データを Aurora MySQL に投入する」方法に関して、今まで色々なパターンを試してきました。 AWS Glue の Job で作成したデータを Aurora に投入するいくつかのパター
QCon SFに見る、MLOpsとアーキテクチャの最前線
2023/01/30
ブックマーク
こんにちは、『スタディサプリ』でデータエンジニアをしている橘高 (@masanobbb)と丹田 (@JinTanda) です。 今回は、昨年の10/