はじめに こんにちは、新卒1年目のYoshidaMichaelです。 私の所属しているチームでは1年目に OSS -DB Silverを取得するという目標があり、この度無事取得に至りましたので私の行った学習方法とその比較、今ゼロから学習を進めるならもっとこうできたな、といった内容をご紹介していきたいと思います。 学習前の知識量は簡単な SQL くらいはわかるけれど運用の知識や細かい SQL は全くわからない程度です。 学習期間は2週間半 (時間にして55時間位？) 、得点は94点でした (合格ライン64点

はじめに はじめまして。2020年3月からエブリーでインターンをしている田村です。 私はデータエンジニア・データサイエンティストとしてインターンシップに参加し、データ関連部門に配属され、データ業務を担当しています。 今回は、エブリーにインターンとして入社し約４ヶ月間で感じたことをまとめていこうと思います。 目次 1.エブリーのインターンに参加した経緯 2.インターンを通して学んだこと 1.エブリーのインターンに参加した経緯 私は機械学習を主とする統計分野に興味があり大学院に進学したのですが、査読した論文を

こんにちは。エンジニアの加藤です。 普段はLIFULL HOME'Sの注文住宅領域にてエンジニアチームのマネジメントを担当しております。 LIFULL HOME'Sでは日々新機能の開発や機能改修を重ねておりますが、一方でレガシーコードや技術的負債も少なからず抱えており、開発速度低下や開発の幅を狭める一因となっております。 そのような状況の下、ここ数年、機能開発と同様に技術的負債の解消への取り組みにも注力し、注文住宅領域においてもシステム基盤刷新プロジェクトとして、開発効率向上やビジネス成長に耐えうる基盤づ

こんにちは、takaramです。 私が担当しているサービスでは、 RDBMS に PostgreSQL を利用しています。今回は業務で行った デッドロック の調査で知った、 PostgreSQL の仕様に関して書いていきます。 ここでは デッドロック や パーティショニング といった用語が登場しますが、今回これらの説明は割愛します。 パーティショニングについてご存じでない方は、まずはこちらの記事をお読みください。 tech-blog.rakus.co.jp qiita.com なお、この記事の内容は Po

こんにちは。ECプラットフォーム部の廣瀬です。 ZOZOテクノロジーズでは、お客様の氏名や住所をはじめとする秘密情報を保護するための様々な取り組みを行っています。本記事ではその中の一部である、データベース（以下、DB）に保存している秘密情報の取扱いルールについてご紹介したいと思います。なお、今回の内容は特定の製品の機能に関する話ではなく、取り組みの基本的な考え方についての話となっています。 背景 何も対策を講じない場合、開発者がDBの秘密情報を権限的には閲覧することが可能な状態となり得ます。例えば、 se

こんにちは！フリーランスエンジニアの曽根田です。 本日は「Let'sリファクタリング！！」ということで、以下の内容でお届けさせていただきます。 はじめに ボクシル開発チームで取り組んできたこと リファクタリングに取り組むにあたっての背景 リファクタリングコードのサンプル Let's リファクタリング DB への問い合わせの削減(N+1 対策) 対策 1: categories と category_setting_items を予め読み込んでおき、キャッシュさせておく 対策 2: product_cate

　こんにちは、LIFULLでData Analystとして働いている竹澤です。社外では、Mediumの Towards Data Science でContributorとして寄稿したりしています。 　2020年私は主にデジタルマーケティング領域で効果検証の自働化や異常検知ロジックの開発、DXプロジェクトの立ち上げに携わってきました。 　今回はデータアナリティクス/データサイエンス・プロジェクトにおけるマネジメント論の整理を試みます。あくまで私見の塊（いわゆるオレオレ）ですが。 想定読者としては、Data

ZOZOテクノロジーズ ECプラットフォーム部 マイグレーションチームの會田です。 ZOZOTOWNでは 先日公開した記事 の通り、すべての検索をElasticsearchへリプレイスしました。 検索エンジンのリプレイスに伴い、VBScriptで稼働していた検索システムをJavaへリプレイスすることも併せて行われました。 本記事ではその際に得た知見を、Elasticsearch初心者の方及びElasticsearch Java APIを初めて触る方向けに紹介します。 環境（開発当時） Elasticsea

初めまして、こんにちは。 セーフィー株式会社 プラットフォーム開発部の大友です。 サーバーサイド周りの開発を担当しています。 今回はユーザーより問い合わせを受け、システム内を調べなければならないとき、サーバーサイドはどのように対応しているのか！その一例を紹介したいと思います。 テーマはログ解析を用いた問い合わせ対応です。 Amazon Athena と お問い合わせ Athenaの注意点 セーフィーの構成 さいごに Amazon Athena と お問い合わせ 今回の主役となるサービスです。 セーフィーで

クラウドインテグレーション部の宮本です。 今回は Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた の QuickSight 版です。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 データセット、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の推移（日別） 報告日別による陽性者数の推移（累計） ダッシュボードの作成 クエリ、チャートの作成（追加分） 新規陽性者数 デー

こんにちは。ZOZOテクノロジーズの廣瀬です。 私は2020年8月に、Microsoft MVPをData Platformカテゴリにおいて受賞しました。本カテゴリにおける現在の日本の受賞者は私で10人目となります。本記事ではMicrosoft MVPの概要と、受賞するためにどのようなことを意識して、どのような行動をとっていたのかについてご紹介します。 Microsoft MVPとは Microsoft MVPとは、Microsoftに関連する技術コミュニティにおいて大きく貢献した人物を表彰する制度で、1

Postgresでは9.2からjson型が、9.4からjsonをバイナリ解析して保持するjsonb型が使えるようになりました。 普段のアプリケーション開発ではRuby on Railsのstore_accessorを経由してjsonb型を使うことが多いので、そこまでjsonb型特有の文法で困ったことはないのですが、分析や集計をする時にSQLでjsonb型を扱う必要があり、jsonb型の検索に使える演算子や関数を調べたのでまとめてみたいと思います。 特定のキーの値にアクセスする演算子 例えば次のようなテーブ

こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは 先日公開した記事 の通り、すべての検索をElasticsearchへ置き換えました。置き換え直後は順調に見えたのですが、実際に数%ずつリリースしていく中で一部時間帯、一部リクエストでレスポンス速度の低下がみられました。 本記事ではその解決のために行ったパフォーマンス調査、チューニング方法についてご紹介します。なお、一般的に行われるであろうElasticsearch

CI 部の宮本です。今回は Snowflake に S3 からデータをロードする でインポートしたデータを使って、Redash 上で新型コロナウイルス感染動向を可視化してみます。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 クエリ、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の推移（日別） 報告日別による陽性者数の推移（累計） ダッシュボードの作成 クエリ、チャートの作成（追加分） 新規陽性者数 SQL チ

はじめに こんにちは、yk_itgです。 これまでいくつか PostgreSQL の記事を作成しましたが、今回は知っていると便利だと思う テーブル・DBの閲覧・コピー に関するtipsをまとめてみました。 私はテストを実施する時に結果を確認したり、データを用意する際によく使います。 PostgreSQL ユーザなら必須のテクニックを紹介していきますので、どうぞお役立てください！ はじめに テーブルを閲覧する テーブルの情報を確認したい：\d テーブルの一覧を確認したい：\dt 実行結果を見やすくしたい：\