「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全824件中 361 - 375件目
Laravelで一万行あるCSVデータのインポートを行う方法。
2023/09/15
ブックマーク
始めに 今回業務でlaravelでフォームからのCSVインポート作業の実装を行いました。 そこまで容量がないCSVなら、時間がかからず実装できると思うのですが、 今回は最大で一万行あるCSVのデータをタイムアウトしないでインポートする必要があった為、 実装に一ヶ月程かかってしまいました。。 今後も同じような実装をするかもしれない為、記事にまとめてみました。 誰
一休.comサイトパフォーマンス改善 - 2023年 夏の振り返り
2023/09/15
ブックマーク
ヤフー株式会社より出向しております、卯田と申します。 主務で、 一休.com および Yahoo!トラベル のフロントエンド開発を担当しています。 兼務で、ヤフー株式会社の全社横断組織で Webパフォーマンス改善の推進 を行っております。 本稿では、直近半年弱(2023年2月〜8月)で、断続的に行っていた一休.comのパフォーマンス改善について振り返ります。 開始が2023年2月とな
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜
2023/09/14
ブックマーク
こんにちは、MA部MA開発1ブロックの齋藤（ @kyoppii13 ）です。 8/29-8/31に開催された Google Cloud Next '23 へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました
【第5回】Ethereumデータ分析演習 1
2023/09/13
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第5回となる今回から、オンチェーンデータのオンライン分析サービスのDuneを用いて、Ethereumを対象としたデータ分析の演習を始めていきます。 Hello Dune Dune は、ブロックチェーン上のデータ分析に特化したオンラインサー
ニフティ株式会社 社内ISUCONを実施しました！
2023/09/12
ブックマーク
はじめに こんにちは。会員システムグループの上原です。 8月末に社内でISUCONを開催・運営したので、レポーティングしていこうと思っています。 ISUCONとは？ ISUCON ( Iikanjini Speed Up Contest) は、限られたリソース・時間の中でWebサービスをどれだけ高速にできたかを競うコンテストです。 ISUCONで参加者は動作が遅いWebアプリケーションを与えられ、アプリケーションを高速
pytest-bddを使って振る舞い駆動でテストを自動化！生成AIでテストスクリプトも作れます！（改良編）
2023/09/11
ブックマーク
はじめに
エブリーのデータ組織の取り組み紹介
2023/09/08
ブックマーク
はじめまして。株式会社エブリーの開発本部のデータ&AIチームでマネージャー兼データサイエンティストをしている伊藤です。 今回は、エブリーのデータ組織が普段どういった取り組みを行なっているかを、簡単にご紹介したいと思います。 エブリーについて 株式会社エブリーは、「DELISH KITCHEN」「トモニテ」「TIMELINE」という3つのメディアを運営しています。 各メ
BigQueryクエリキューの概要まとめ
2023/09/08
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の松山です。 データML ディビジョンでは、Google Cloudが提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 用語 本ペー
dbtCloudから作成したPullRequestにコンパイル済みSQLをコメントする仕組みを作成した話
2023/09/07
ブックマーク
こんにちは☀️ タイミーでアナリストとアナリティクスエンジニアしてますokodoonです 今回の記事はdbt CloudでPull Requestを作るときに、レビュー負荷が高くなってしまっていた問題を解消できるように、 コンパイル 済みの SQL をPR上にコメントするような仕組みを作成したことについての紹介です。 もし同じような課題感を抱えている方がいらっしゃれば、参考にしていた
Sharding vs. Partitioning Demystified: Scaling Your Database
2023/09/07
ブックマーク
Hello, I'm Allan, a Server-Side Engineer at Kurashiru 🚀 While Kurashiru predominantly relies on MySQL, it's intriguing to explore the broader landscape of database management. Enter PostgreSQL, a robust contender, known for its powerful techniques of Sharding and Partitioning. Even if you're steeped in a different database system, understanding these strategies can be invaluable. This guide delves into the world of PostgreSQL, elucidating how to implement and monitor Sharding and Partitioning
Amazon MSKを用いてMySQLに対してChange Data Captureを実現する
2023/09/05
ブックマーク
はじめに こんにちは。基幹システム本部・物流開発部の作田です。現在、ZOZO社内で使用している基幹システムのリプレイスを担当しています。 現在行っているリプレイスでは、既存の基幹システムから発送機能を切り出し、マイクロサービスに移行しています。リプレイスの詳細については、ZOZOBASEを支える発送システムリプレイスの取り組みをご覧ください。 techblog.zo
小売業で売り上げ数量の予測を実現するサンプルソリューションを公開しました
2023/09/04
ブックマーク
小売業で、過去の販売データをもとに売り上げ数量を予測する仕組みのサンプルソリューションを Github上でOSSとして公開しました。 実績データをDWHに取り込んで前処理し、LightGBMベースの予測を出すまでの仕組みをAWS Cloud Development Kit (CDK) ベースで提供するものです。本エントリではソリューションの構成や使い方について説明します。 End2End Data Solution for Retail Industr
2023年8月21日週のGoogle Cloudの主なリリースに関するニュース
2023/09/04
ブックマーク
クラウドエースの北野です。 8月21-8月27日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 BigQuery データのプロファイル作成とデータのクオリティ監視のテーブルスキャン機能の提供 (GA) Analytics Hub でのサブスクリプション管理機能の提供 (Preview
Amazon Kinesis Data Analytics から名称が変更された Amazon Managed Service for Apache Flink の発表
2023/09/01
ブックマーク
8月30日、Amazon Kinesis Data Analytics の名称が Amazon Managed Service for Apache Flink に変更されたことをお知らせします。これは、 Apache Flink を使ってリアルタイムのストリーミングアプリケーションを構築および実行するためのフルマネージドのサーバーレスサービスです。 進行中の運用、開発、またはビジネスユースケースに影響を与えることなく、同じエクスペリエンスが Flink
Google Cloud Next '23 速報を日本語で解説(2&3日目)
2023/09/01
ブックマーク
G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。 前回の記事 では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start Solutions GitLab との提携 Application Integration の GA インフラ C3A / C3D VM Titanium BigQuery と AI/ML BigQuery ML での生成 AI 利用 Feature Store の Bi