「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全823件中 76 - 90件目
BigQueryで大きなテーブルを扱う際のTips～高額課金を防止したい～
2024/09/24
ブックマーク
こんにちは。SCSKの磯野です。 BigQueryでTBレベルの大きなデータを扱うとき、意図しない高額課金のリスクを抑えたいと思ったことはありませんか？ 今回は、大きなテーブルを扱う上で、コスト削減につながるTipsをいくつかご紹介します。 BigQueryの課金体系 BigQuery の料金は主に次の 2 つの要素で構成されています。 コンピューティングの料金 は、SQL クエリ、ユーザ
SupabaseとDrizzle ORMを利用する場合のDBスキーマの管理方法
2024/09/24
ブックマーク
こんにちは、 電通 総研の瀧川亮弘です。 本記事ではSupabaseとDrizzle ORMを利用する場合のDB スキーマ の管理方法について記載します。 テーブル定義は、Drizzleのお作法に則り、TypeScriptで管理しています。 schema.ts import { boolean, pgEnum, pgTable, primaryKey, timestamp, uuid, } from "drizzle-orm/pg-core"; export const roleEnum = pgEnum("Role", ["admin", "general"]); export const users = pgTable(
【チートシート】psqlコマンドで全部やる
2024/09/20
ブックマーク
こんにちは、エンジニアの水野です。 突然ですが、みなさんコマンドライン操作はお好きですか？ 私は特に、直感的かつ手軽にスクリプトを書いてタスクをこなせるようなコマンドが好きです。 たとえばPostgreSQLを日常的に利用するDBプロフェッショナルは数多いるとはいえ、 「psqlコマンドをフルに使いこなしているよ」という方は意外と少ないのではないでしょうか。
rpy2を用いてPython上でRを使用した効果検証手法の簡単な実装
2024/09/20
ブックマーク
カケハシでデータサイエンティストをしている島吉です。 カケハシのデータサイエンティストは、AI在庫管理のエンジニアと連携したり、機械学習を使う業務が多いため、データ分析にはPythonを使用することが多いです。 しかし、統計的な手法のライブラリはRに多く存在しています。 たとえば、現在の業務では、効果検証に傾向スコアマッチングを使用しており、さま
【GCP】BigQueryML ARIMA PLUSモデルで時系列予測してみる
2024/09/20
ブックマーク
こんにちは。最近BigQueryMLにハマっているSCSKの山口です。 もちろん今回もBigQueryMLに関するブログです。今回は 時系列予測 が可能な ARIMA+（ARIMA PLUS） でモデルを作成し、実際に使ってみようと思います。 時系列予測をするにあたって様々な知識が必要になりましたが、今回はできるだけ漏れなく最低限まとめています。少し長いですが最後まで読んでいただけると幸いで
モバイル開発マネージャー厳選！キャリアアップの必読書10選
2024/09/19
ブックマーク
はじめに ラク スが開発する楽楽精算は、東京開発統括部の楽楽精算開発部が担っています。 楽楽精算の iPhone （Swift）& Android （Kotlin）対応のモバイル アプリ開発 を担当しているのが、モバイル開発課です。 本記事では、楽楽精算のモバイル アプリ開発 案件を担当しているモバイル開発課のマネージャーが厳選した 「モバイル開発を軸に、キャリアをステップアッ
Flyway Implementation
2024/09/18
ブックマーク
Background Introduction Self Introduction Hello. My name is Li Lin from the DevOps Team of the KINTO Technologies Global Development Group. Until 2017, I worked in China as an engineer, project manager, and university lecturer. In 2018, I started working in Japan. I’m a working mother of two, balancing my job while actively reskilling. Meet our DevOps team The Global Development Group's DevOps team started its operations this year. Our team is international, and the DevOps Team members spe
Google Cloud で簡単にデータ分析基盤を作ろう
2024/09/18
ブックマーク
はじめに こんにちは、クラウドエースのデータソリューション部の伊藤です。 普段は、データ基盤や機械学習基盤の構築だったり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 データ分析基盤の構築は、ビジネスにおける意思決定を迅速かつ正確に行うために不可欠です。しかし、データの収集、変換、格納といったプロセスは複雑で、多くの時
【GCP】BigQueryでのETL開発 ~DataformのPJ導入と運用方法~
2024/09/17
ブックマーク
こんにちは、k-kzkです。私はInsight Edgeに参画して早2年が経ちました。 今回の記事では、私が初めて取り組んだETL開発プロジェクトと、そこで選択したツールであるDataformについてお話しします。 目次 1. はじめに 1.1 ETL 開発とは 1.2 Dataform の選定理由 2. Dataform を利用した ETL 開発のライフサイクル 2.1 リポジトリ作成 2.2 ワークスペースの使い方について 2.3 ディレクトリに
トリガーを用いたPostgreSQLのデータ変更検知方法
2024/09/12
ブックマーク
はじめに 事前準備 トリガーを使用する方法 補足：トリガーと関数のみ消す方法 まとめ はじめに こんにちは！ エンジニア２年目のTKDSです！ PostgreSQL でのテーブル変更検知方法について調べました。 今回はトリガーを使用する方法について説明します。 事前準備 DBの準備(compose. yaml ) services : db : image : postgres:16.4-bullseye container_name : db environment : POSTGRES_USER : postgres POSTGRES_D
医薬品検索でMySQLの全文検索機能を使った話
2024/09/11
ブックマーク
AI在庫管理の開発チームでバックエンドエンジニアをしている沖です。今回は、AI在庫管理の医薬品検索において、MySQLの全文検索機能を使った話を紹介しようと思います。 この記事は 秋の技術特集 2024 の 8 記事目です。 今までの医薬品検索では満足できないユーザーがいた なぜMySQLの全文検索機能を採用したのか 全文検索機能を導入する 全文検索インデックスを付与し
Dataplexのデータリネージ機能が対応している、BigQueryの加工方法は？
2024/09/09
ブックマーク
こんにちは。SCSKの磯野です。 Dataplexにはデータリネージ機能があります。BigQueryでどのように加工したときがリネージ対象なのか、調べてみました。 データリネージとは？ データリネージ とは、データがいつ、どこで、どのように取得され、今の状態にあるのかを追跡し、データの流れを可視化する機能です。データリネージは、DataPlex の機能名ではありますが、Google C
【GCP】BigQuery MLで作成した線形回帰モデルを評価してみる
2024/09/06
ブックマーク
こんにちは。SCSKの山口です。 本ブログでは、前回のブログで作成したBigQuery MLの線形回帰モデルの性能を評価してみたいと思います。 [前回ブログ]モデル作成・予測結果 【GCP】BigQuery MLを触りたいときに読むブログ 今回はBigQuery MLを使って機械学習モデルの作成、テストをやってみます。 AI/MLの知識はあまりないがとにかくBigQuery MLを触ってみたい方、BigQuery MLでモデルを
【GCP】BigQuery MLを触りたいときに読むブログ
2024/09/06
ブックマーク
こんにちは。SCSKの山口です。 今回はBigQuery MLを使って機械学習モデルの作成、テストをやってみます。 こんな方にオススメの記事です。 ・とにかくBigQuery MLを触ってみたい ・BigQuery MLでモデルを作成してみたい ・BigQuery MLでモデルを使って推論してみたい 筆者はこんな人です。 ・Google Cloud歴：約2年 ・BigQueryのコンソール操作には慣れている ・ SQLが少し書ける ・AI/MLの
Databricks GenieではじめるText-to-SQL
2024/09/04
ブックマーク
はじめに こんにちは。 株式会社エブリーの開発本部データ&AIチーム(DAI)でデータエンジニアをしている吉田です。 今回は、Text-to-SQLを実現するDatabricks Genieを紹介します。 Databricks Genie Databricks Genieは、自然言語を利用してデータ分析が行えるサービスです。 あらかじめデータ、サンプルクエリ、Genieへの指示を登録しておくことで、Genieに対して自然言語でクエリを投