「データ分析」に関連する技術ブログ
企業やコミュニティが発信する「データ分析」に関連する技術ブログの一覧です。
全683件中 556 - 570件目
【re:Invent2020】Jam参加のススメ。楽しんで学ぼう。
2020/12/03
ブックマーク
re:Inventでは、「新しいサービスが発表されました！」というセッション以外にも、手を動かして学べるJamというコンテンツがあります。 話聞いているだけじゃつまらないですよね？ 今回、 Jamの一つである AWS Security Jam – Presented by Datadog, Splunk, & Trend Micro (Session 1) に参加したので、そのレポートです。 中身を詳しく話すとネタバレになってしまうので、「Jamとは何か？」
Athena(Presto) × Redash で湯婆婆を実装してみる
2020/12/03
ブックマーク
こんにちは！ 今年、dely株式会社に新卒入社した開発本部のGENです。 この記事は「dely #2 Advent Calendar 2020」の3日目の記事です。 「dely #1 Advent Calendar 2020」はこちら↓ 昨日はisidaさんの「Swiftで1+1が何故2になるのか調べてみた」という記事でした。 swiftの加算演算子をアセンブリまで深掘りしている面白い記事です！ https://tech.trilltrill.jp/entry/2020/12/02/105825 今回は今流行りの〇
Swiftで1+1が何故2になるのか調べてみた
2020/12/02
ブックマーク
TRILL開発部の石田です。 この記事は「dely #2 Advent Calendar 2020」2日目の記事です。 dely #1 Advent Calendar 2020 - Adventar dely #2 Advent Calendar 2020 - Adventar 昨日はsacoさんの記事「 ノンデザイナーでも大丈夫！見やすいプレゼン資料をつくる６つの手順 」でした。 デザイナーの視点から、分かりやすいプレゼンの作り方を順序立てて解説しているので是非ご覧ください。 さて、大学生の
Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築
2020/11/27
ブックマーク
こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際におこなった構築方法についていくつか紹介します。 今回の構築の簡
BigQuery Scriptingによって定期バッチをBigQueryだけで完結させる試み
2020/11/19
ブックマーク
スマートキャンプエンジニアの瀧川です。 みなさん、BigQueryは使っているでしょうか？ BigQueryはデータのインポート、加工、エクスポートを便利にする機能が数多くリリースされており、ファンも多いことと思います。 かくいう私もBigQuery大好きマンとして社内で名を馳せていて、最近だと下の記事で笑顔になった1人です。 ユーザーを笑顔に
Splunkのアクセスログ解析でWEARのAPIを201件(約5万行)削除した話
2020/11/02
ブックマーク
こんにちは、WEAR部運用改善チームの佐野です。 私たちのチームでは、WEARの日々の運用業務を安全かつ効率的に行えるよう改善をしています。今回は、年初から行っていた不要APIの削除作業についてご紹介します。 背景 残念なことに長い間WEARでは不要になったAPIが放置されてしまっており、どのAPIが実際に使用されているものなのかが分かりにくい状態になっていまし
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法
2020/10/30
ブックマーク
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Web
10TB超えのBigQuery巨大データを高速にS3に同期する
2020/10/23
ブックマーク
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利
時系列データに異常発見。「時系列異常検知」とは
2020/10/20
ブックマーク
時系列データに異常発見。「時系列異常検知」とは 2020.10.20 株式会社Laboro.AI リード機械学習エンジニア 大場 孝二 概 要 気温や降水量をはじめとする気象データや交通量データなど、時間の変化に沿ってまとめられた情報は、時系列データと呼ばれます。時系列データは、時期や時間ごとの変化を捉えるため主に用いられますが、ビジネスシーンではこうした時系列
MLflowとOptunaを使ってMLOps環境を構築してみた
2020/10/06
ブックマーク
はじめまして。2020年4月からエブリーに新卒で入社した伊藤です。 データエンジニア・データサイエンティストとしてデータ関連部門に所属し、日々データ業務に関わっています。 データ業務の1つである機械学習モデルの開発は、実験環境でモデルの精度を確認した上で本番環境に適用するプロセスを経ます。 今回は機械学習の実装で利用したMLflowとOptunaを組み合わせ
QuickSight から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた
2020/08/31
ブックマーク
クラウドインテグレーション部の宮本です。 今回は Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた の QuickSight 版です。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 データセット、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の推移
ZOZOTOWNを支えるリアルタイムデータ連携基盤
2020/08/27
ブックマーク
こんにちは、SRE部MA基盤チームの谷口（ case-k ）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の
Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた
2020/08/18
ブックマーク
CI 部の宮本です。今回は Snowflake に S3 からデータをロードする でインポートしたデータを使って、Redash 上で新型コロナウイルス感染動向を可視化してみます。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 クエリ、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の
施策の効果測定のためにRedashを導入しました。
2020/08/06
ブックマーク
こんにちは、M&Aクラウドのかずへいです。 弊社では5月頃から、開発の施策立案と効果測定のためにRedashの導入を進めているので、その活用方法を紹介します。 Redash導入前の課題 そもそも、開発チームとして以下のような課題がありました。 開発チームの成果が事業貢献ではなく、リリースした機能の数で評価されがち。 リリースした機能の貢献が分からない。 リリー
ビジネスパーソンが読んでおきたい、AI関連オススメ本７冊
2020/08/05
ブックマーク
ビジネスパーソンが読んでおきたい、AI関連オススメ本７冊 2020.8.4 シニアソリューションデザイナ 寺田 響 概 要 これからAIの導入や開発を検討されるビジネス担当者の中には「まずは最低限の知識を持っておきたい」「AIや機械学習で何ができるのか知りたい」という方も多いのではないでしょうか？今回は、AI開発を始めるにあたって参考になりそうな書籍を、ソリ