「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全549件中 61 - 75件目
【供養】DynamoDBでも部分一致検索したかった
2023/12/19
ブックマーク
はじめに この記事は RevComm Advent Calendar 2023 の 19 日目の記事です。 こんにちは @sara_ohtani_mt2 です。 バックエンド開発をしています。 最近は、いわゆる電話帳のような連絡先を管理する機能のリニューアルに取り組んでいます。 これは現在、処理速度やシステムの拡張性の向上が求められている機能で、その改善を図るためのリニューアルプロジェクトです。 大きなモノ
AWS費用削減の記録
2023/12/19
ブックマーク
SREのクラシマです。 SREを名乗る前から継続している AWS の費用削減についてのお話です。 スタートアップは事業拡大が最優先なので、四半期ごとにコスト削減活動にも強弱があります。 最近はちょっとがんばってたので、記録として。 コストの可視化 以前からblogでお伝えしている通り、トラーナはクラスメソッドメンバーズを利用しています。 とても良いサービスな
社内でのデータ活用を推進する取り組みの紹介
2023/12/19
ブックマーク
はじめに この記事は BASE Advent Calendar 2023 の19日目の記事です。 こんにちは！Data Strategyチーム(以下、DSチーム)でデータエンジニア兼データアナリストの @shota.imazeki です。 今回は全社的なデータ活用を推し進めていくために、いくつかの施策を行ってみたので、それらを紹介していきます。その際に上手くいかなかった点やこうすればよかった点なども紹介していきます。
TrinoとIcebergでログ基盤の構築
2023/12/19
ブックマーク
はじめに 2023年10月5日(木)にTrino / Presto Conference Tokyo 2023 (Online)が開催されました。本記事はイベントにて発表した内容をご紹介します。 社内の監視サーバについて […]
Amazon Aurora Limitless Database のプレビューが公開
2023/12/18
ブックマーク
Amazon Aurora Limitless Database のプレビューを開始しました。Aurora Limitless Database は自動水平スケーリングをサポートする新機能であり、1 秒間に数百万件の書き込みトランザクションを処理し、1 つの Aurora データベースでペタバイト規模のデータを管理できるようにします。 Amazon Aurora リードレプリカを使用すると、1 つのデータベースインスタンスが提供できる上限を超えて
BigQueryの列レベル暗号化(Cloud KMS利用)を解説
2023/12/18
ブックマーク
G-gen の杉村です。BigQuery では、Cloud KMS で管理する暗号鍵を使って、列レベルの暗号化を行うことができます。その仕組みと方法を解説します。 BigQuery における暗号化 ストレージ暗号化とは 列レベル暗号化とは 権限と読取可能性 暗号化方式 AEAD 暗号化とキーセット エンベロープ暗号化 BigQuery 以外でのエンベロープ暗号化 2つの暗号化関数 検証 作業の流れ 1. Cloud KMS 鍵を
総合職の新卒1年目が、自社のデータ構造に合わせたSQL生成AIを作ってみた
2023/12/17
ブックマーク
この記事は CyberAgent Developers Advent Calendar 2023 1 ...
AWS SQS + Lambda Triggerの導入でIoT端末のメッセージ処理を快適に
2023/12/16
ブックマーク
※この記事はLuup Advent Calendarの16日目の記事です。 こんにちは。IoTチームのYuxiです。 この記事ではメッセージが大量に飛び交うIoTシステムをより楽に処理できる技術、AWS SQS + Lambda Triggerをご紹介します。 IoTの通信メッセージ処理のアーキテクチャーの話 IoTシステムでは常に、IoT端末とサーバーの間に通信メッセージが飛び交っています。 システム規模によるさまざまな
ドメイン知識を素早くキャッチアップする時に心がけている事
2023/12/16
ブックマーク
はじめに この記事は BASEアドベントカレンダー2023 の16日目の記事です。 こんにちは！ Cart DevチームでBackendエンジニアをしている @endu です。 気づけば入社してからそろそろ1年が経ちます。 この1年をふりかえると、最初のオンボーディング期間を経てはひたすらに、既存コードを読んでは仕様を把握してコードを書く1年だったかなと思います。 今回は既存コードを理解
VUCAと共にあるプロダクトバックログ
2023/12/16
ブックマーク
はじめに こんにちは。カケハシで Patient Engagementという新規事業 に関わるプロダクトマネジャー（以降PdM）を担当している渡部と申します。現在はこれらの事業を加速させるために、いわゆる0→1フェイズ、かつ、SoE( System of Engagement )の側面が強いプロダクト・サービスの企画開発をしております。 カケハシではスクラムでのアジャイル開発が共通して採用されています
サンタが使うシステム開発：非機能要件の重要性
2023/12/15
ブックマーク
クリスマスのサンタクロースの話 クリスマスが近づいてきました。 そうです。サンタクロースの繁忙期です。 サンタクロースは、世界中の子供たちに、最高のプレゼントを配らなければなりません。 しかし現実問題、受け取った子供はごく一部です。 ここで、サンタクロースについて紹介します。 サンタクロースは、世界に120人いると言われており、 平均年齢は1700歳
From a New Graduate Data Analyst to a Data Engineer
2023/12/13
ブックマーク
Introduction Hello. I am Koike, a data engineer in the Analytics Group. At my previous job, which I started as a new graduate, I mainly performed analyses for service growth, but in my current position, I am developing a data analysis platform. To put it simply, I changed my career from a data analyst to a data engineer. In this article, I would like to talk about my journey from being a data analyst to a data engineer. Data Analysts and Data Engineers As there might be some who are not familiar
【第8回】Ethereumデータ分析演習4
2023/12/13
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 最終回となる今回は、過去の連載記事で紹介しきれなかったDune（分析ツール）のTips的な有用機能や、分析のための高度なSQL構文についてご紹介します。 Dune Tips DuneのようなSQLベースの分析ツールは、SQLで記述されたクエ
OpenAI Assistants APIを使って分析用SQLを生成してみる
2023/12/12
ブックマーク
こんにちは。開発本部のデータ&AIチームでマネージャー兼データサイエンティストをしている伊藤です。 この記事は every Tech Blog Advent Calendar 12日目の記事です。 今回は、先日発表されたOpenAI Assistants APIを使って分析用のSQLの生成を試してみた取り組みについて紹介します。 分析用SQLの生成 最近1年ほどでLLMが注目されるようになり、ChatGPTをはじめLLMを使ってより効率
請求書発行のためにEmbulkを使って爆速でデータを集約した話
2023/12/12
ブックマーク
こんにちは。宿泊開発チームの菊地です！ このエントリは 一休.com Advent Calendar 2023 12日目の記事です。昨日は id:rotom による Slack Enterprise Grid における情報バリアの設計 でした。その他の素敵なエントリも以下のリンクからご覧ください。 qiita.com 私はEmbulkを使って、各プロダクトの請求データを集約する機能を担当しました。今回は、Embulkの紹介とふりかえりをしていき