こんにちは、CI2部の加藤ゆです。 Athenaを利用したデータ分析を実施するための環境準備作業をやっていきます。 Amazon Athena とは？ AWS Glueとは？ Glue Data Catalog Glueクローラ AthenaとGlueの関係 本記事でやること 前提条件 作業手順 １．Databaseの作成 ２．AWS Glue データ カタログにテーブルを定義する Set crawler properties Choose data sources and classifiers Con

今年も早いものでもう年末です。 大掃除を意識した時に、「普段からこまめにやっておけば...」と毎年後悔しています。 そんな私とは違って、 PostgreSQL には普段からデータをこまめに掃除してくれる優秀な「VACUUM」という機能があります。 しかも ゴミがでやすい時は小まめに、そうでないときは手を抜いてゆっくりやる というように調整しながら掃除をしてくれます！ ですがしっかりお世話をしないと、「あまりにも時間がかかりすぎる」「途中でやめてしまった」といったトラブルが発生します。 今回はそんな Pos

AI事業本部 DX本部22新卒の西澤(@ZAWAVE7)です！ 2022/11/28~12/2までア ...

はじめまして。 株式会社ココナラ R&Dグループ MLデータ基盤チームの北郷と申します。 MLデータ基盤チームではココナラにおける検索周りの機能拡張や運用を行なっています。 今回の記事は、現在導入を進めているGoogle CloudのDataflowについてです。 本記事は、2022/12/16時点で検証を行なっております。 GCP側の仕様変更により手順などが変わる可能性がある旨ご承知おきください。 Google Cloud Dataflowについて Google Cloudのサービスの一つで、E

2022年振り返り＆2023年展望 KINTOテクノロジーズの景山です！ 2022年の振り返りと2023年の展望について書こうと思います。 2022年はさまざまなサービスをローンチしました。 5月のbZ4Xの受注サイトローンチ。ローンチ後にリコール対応が入り、その後、法人顧客が受注できるように改修などローンチ後も開発チームは多くの対応をしてくれました。 7月にKINTO ONE中古車サイトのローンチ。まずは東京都からですが、11月には愛知県も追加。今もより便利にするため各種機能の開発を継続中です。 もちろ

2022 Review & 2023 Outlook This is Kageyama from KINTO Technologies! I would like to write a review of 2022 and my outlook for 2023. We launched various services in 2022. In May, we launched the bZ4X online subscription sales site. After the launch, w

この記事は、 ニフティグループ Advent Calendar 2022 (カレンダー1) 25日目の記事です。 こんにちは、ニフティでAWS/GCPや開発寄りのSaaS管理などしている石川です。 年末ですね、大掃除のシーズンです。 オフィスやキャビネットの掃除はしてても社内情報の掃除はみなさんしているでしょうか。 本日は Notion様の事例紹介として載せさせていただいた内容 の詳細版として、ConfluenceをNotionに移行する前に行った大掃除とNotion上での情報の配置の話をしようと思います

こちらの記事はDatabricks Advent Calendar 2022の25日目の記事になります。 こんにちは、カケハシでMusubi Insightという薬局向けBIツールのバックエンドエンジニアをしている高田と申します。 BIツールを開発しているということもあり日常的にETL処理の実装を行っていますが、普段の開発ではAWS Glueを採用しています。 しかし、カケハシでは全社的なデータ活用基盤のプラットフォームとしてDatabricksが採用されたこともあり、とあるプロジェクトでDatabric

こちらの記事はDatabricks Advent Calendar 2022の24日目の記事です。 はじめに 初めまして。カケハシでデータサイエンティストをしている赤池です。 弊社はフルリモートで業務できるため今年9月から地元の仙台市で業務していますが、本格的な冬の到来を前に戦々恐々しています。（寒い。雪。路面凍結。） さて、あなたは「Pandas API on Spark」を知っていますか？ これは「pandasと同じ書き方でSpark上で処理を実行できる」という代物で、pandasでは処理に時間がかか

こちらの記事はDatabricks Advent Calendar 2022の23日目の記事です。 はじめに 初めまして。カケハシにてデータサイエンティストをしている赤池です。 業種的に、自己紹介の際に統計学のビッグネームとの関係性を聞かれることがたまにありますが全く関係ありません。統計学もがんばります。 突然ですが、あなたの分析環境では「DBから抽出したデータをPythonやRなどで利用する際にうまく連携できていない」なんてことはありませんか？ そして「この処理だけはRでやりたいが、そのためだけに別環境

こちらの記事は Databricks Advent Calendar 2022 の22日目の記事になります。 こんにちは、カケハシで Musubi Insight のバックエンドエンジニアをしている末松です。 カケハシでは 全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用 しておりますが、それまでは Redash を利用していました。 Redash は Databricks社にM&A された背景もあり、基本的には Redash を使っていた感覚のまま Databricks SQL

こちらの記事はカケハシ Advent Calendar 2022 の21日目の記事になります。 はじめに こんにちは、カケハシのデータ基盤チームのデータエンジニアの大木です。今年も残すところ10日ほどになりましが、皆さんいかがお過ごしでしょうか。 私はカケハシに入社したのが2022年の1月ですので、もうすぐ1年が経とうとしています。本当に月日の流れは早いものです。 個人的に入社1年という節目を迎えるということもあり、この記事では私がデータ基盤チームにJOINしてからの1年間のチーム活動を振り返ってみようと

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴テーブルの作成方針だけど 本当にその方法で改善するの？ 運用保守する上で気になっていたこと 見込み効果はどうなの

※ この記事はLuup Advent Calendarの20日目の記事です。 こんにちは、Luupの小笠原です。 今日は、Luupのサービス運営を裏で支えているオペレーション用アプリ開発の紹介をします。インナーアプリは当然ユーザーの皆様の目に触れる機会はなく、インナーアプリ開発について公開されている情報も少ないと思いますので、ご参考になれば幸いです。 自己紹介 Product部とService Operation部の2つの部に兼務で所属して、以下のような業務を行なっています。 需給最適化 ユーザーがどこで

はじめに この記事では、AWSの資格であるSAAを取得したもののそこまでAWSを触っていなかったAWS初心者が、業務にそこまで影響がない範囲内でAWSでなんか作ってみようと思い立ち、学習目的半分で試行錯誤した結果触ってみて初めて知った苦労などを記載しています。 AWSを日常的に触っている人にとっては知ってる内容かもしれませんが（もしくは触ったことなくても別に躓かないかもしれない）、AWS初心者でかつ日常的にコードも書かない、データベースの扱いにも全く慣れていない人間としては苦労したポイントがいくつかありま