「MySQL」に関連する技術ブログ
企業やコミュニティが発信する「MySQL」に関連する技術ブログの一覧です。
全486件中 406 - 420件目
エンジニアインタビュー 第1回 齊藤さん編
2019/06/17
ブックマーク
エニグモ 、 BUYMA の中のひとを知ってもらおうと、エンジニアへのインタビューをしてみました。 第1回は、2011年3月入社の齊藤さんです。 インタビュアー 小澤：2011年4月入社。部長。 伊藤：2018年5月入社。新卒2年目。 エニグモ に入社した理由・動機 伊藤： エニグモ に入社したのはなぜですか？ 齊藤： 自社サービスがいいなと思って会社を探していました。 盛り上が
AWS Glueを使用してMySQL内の全テーブルをparquetに変換する
2019/05/28
ブックマーク
スタメン エンジニアの津田です。スタメンで運営しているサービス、「TUNAG」では、毎日、データベースの"その日の状態"を別々のデータベースとして残していました。こちらの運用を、 AWS のS3、Glue、Athenaを利用して置き換えたのですが、その中で利用した、 MySQL 互換Auroraから、S3上へのデータ抽出用 スクリプト の紹介をいたします。 TL;DR (概要) TUNAGでは、データベー
【ありがとう平成】年代別にIT技術まとめてみた
2019/04/26
ブックマーク
平成も残るところわずかとなりましたね。 ティム・バーナーズ＝リーによって、WWWの原型が生み出されたのが平成元年(1989年)なんですよね。 そんなことをエンジニア達で話していて、せっかくなので 平成に登場した情報技術を時系列にしてまとめる 自由研究をしてみることにしました 。 「自分の生まれ年になにができたのか」 「こんな技術もあったなあ」 など思いを
TalendをDigdagとEmbulkに移行した
2019/03/19
ブックマーク
はじめまして！ ZOZOテクノロジーズ開発部の平田（ @TrsNium ）と申します。 業務ではデータ基盤の開発・運用を行っています。 よろしくお願いいたします。 今回複数のツールが混在していたデータ基盤を「Digdag・Embulk」に統一したので、その取り組みを紹介します。 概要 弊社のデータ基盤は注文情報や顧客情報などをSQL Serverから取得しBigQueryに転送しています。 以前の
モバイルファクトリーのインフラアーキテクチャ
2018/12/22
ブックマーク
この記事は モバイルファクトリー Advent Calendar 2018 の22日目のものです。 このブログではお初にお目にかかります。インフラチームの id:masasuz です。 モバイルファクトリーでは現在AWSと物理データセンターを使用しています。 モバイルファクトリーではもともと物理データセンター使用しており、既存のサービスはその上で構築されております。 数年前からAWSを本格的に
KubeCon+CloudNativeCon参加報告
2018/12/15
ブックマーク
こんにちは。そろそろ生後7か月になる息子が可愛くて仕方がないうっちー（@k4ri474）です。 12/10〜12/13に開催された KubeCon+CloudNativeCon へ参加してきました。 大型カンファレンスらしい演出のKeyNoteやハンズオンセッション、プレゼンテーションなど盛り沢山なイベントでした。 今回、僕はKubernetes運用経験やDockerを用いた設計・開発の経験がほとんどない状態で参加しまし
Apache Airflow で実現するSQL ServerからBigQueryへのデータ同期
2018/12/11
ブックマーク
はじめに この記事は Enigmo Advent Calendar 2018の11日目 です。 Enigmoでは、データウェアハウス（DWH）としてBigQueryを使っていて、サービスの アクセスログ やサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBigQueryへのデータ同期には Apache Airflow を使っていて、今日はその仕組みについて紹介します。 Apache Airflowとは Airflowは、 python
SQLアンチパターンとBtreeインデックスの関連性
2018/12/09
ブックマーク
この記事は、「BASE Advent Calendar 2018」の9日目の記事です。 devblog.thebase.in 前日は id:match_1 でした。こんにちは、10日ほど前に データベース移行についての記事 を書かせていただいた植木です。 今回はインデックスとBtreeのパフォーマンスチューニング系のお話をしたいと思います。 概要 Btreeの構造などを説明している資料は他にもあるし、SQLのアンチパターンもある程度
Rundeck in practice [運用編]
2018/12/09
ブックマーク
この記事は一休.comアドベントカレンダー2018の9日目です。 qiita.com 導入編 に続き、運用編です。 ここ2年間 Rundeckを運用してきて発生したトラブルとその対処について書きます。 ※この記事で言及するRundeckはバージョン2.6.9です。 トラブルはふたつありました。 データベースが高負荷になり動作が不安定になった なぜかジョブが起動しない データベースが高負荷になり
SQLでバスケット分析(信頼度・リフト値算出)を実行
2018/12/03
ブックマーク
はじめに こんにちは。2018年9月入社でデータ分析担当の@Tawasshyです。 この記事は Enigmo Advent Calendar 2018の3日目 です。 弊社ではファッション ECサイト である BUYMA を展開しております。 売り手となるバイヤー(パーソナルショッパー)は世界中に在住しており、多種多様な商品を買い付けして膨大なSKUが存在します。 一方で、買い手側の購買行動も多岐に渡るのも必然となり
BASEのメインDBをAurora(MySQL)に移行しました
2018/11/28
ブックマーク
こんにちは、BASEランニング部で10kmマラソンなどに参加し、3kgほど体重が落ちたSRE Groupに所属しているデータベースエンジニアの植木です。おかげで甘いものが美味しいです。ちなみに次はハーフマラソンに挑戦です！ 今回は会社のブログなどを書いてみます。弊社では、ネットショップ作成サービス「BASE」およびショッピングアプリ「BASE」を運営していますが、11月に
社内ISUCONをオリジナル問題で開催しました
2018/11/13
ブックマーク
はじめまして。コーポレート・コミュニケーション室の id:kfly8 です。 このたび、モバファクの技術ブログをはじめることになりました！日頃の開発で得られた知見など書いていければと思っています。 どうぞよろしくお願いします。 先日、研修の一環で、社内ISUCONを開催しました。ここでは、簡単に様子の紹介と問題を作るにあたって考えたことを述べます。 ソースコ
【RDS Update】最大ストレージサイズが拡張、Multi-AZの停止が可能となりました
2018/11/08
ブックマーク
少しお久しぶりです。PS課佐竹です。 昔、データベースを保守していた経験から、RDSは興味深いサービスの1つです。 ここ最近、興味深いアップデートが3つありましたのでご紹介いたします。 1. Amazon RDS for Oracle、最大 32TiB のデータベースストレージサイズをサポート ストレージサイズ変更時の注意点 2. Amazon RDS for MySQL, MariaDB and PostgreSQL が 最大 32TiB のサイズをサポート
mysqldump と mysqlpump どちらが速くバックアップできるか比較してみた
2018/10/23
ブックマーク
こんにちは。エンジニアの阿久津です。 今回はMySQLの mysqldump と mysqlpump という2つのコマンドでバックアップを実施しどちらが速く処理するのか比較してみましたので、それを記事にしたいと思います。 mysqldumpとは 従来のMySQLデータベースのバックアップ/リストアに用いられるコマンドです。 mysqlpumpとは MySQL5.7から追加された新機能で、 mysqldump の次世代となるコマンド
障害対応への考え方と備え
2018/10/09
ブックマーク
こんにちは。スタメンの 小林 ( @lifework_tech )です。 スタメンの社内勉強会で障害対応について話しましたので、資料を公開させていただきます。 障害対応への考え方と備え どんなに対策を行っていても障害は必ず発生します。 地震 のようにいつ発生するのかはわかりません。でも、予め障害発生を想定して、準備しておくと、影響の低減、復旧までの時間短縮など多く