「MySQL」に関連する技術ブログ
企業やコミュニティが発信する「MySQL」に関連する技術ブログの一覧です。
全375件中 301 - 315件目
Apache Airflow で実現するSQL ServerからBigQueryへのデータ同期
2018/12/11
ブックマーク
はじめに この記事は Enigmo Advent Calendar 2018の11日目 です。 Enigmoでは、データウェアハウス（DWH）としてBigQueryを使っていて、サービスの アクセスログ やサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBigQueryへのデータ同期には Apache Airflow を使っていて、今日はその仕組みについて紹介します。 Apache Airflowとは Airflowは、 python
SQLアンチパターンとBtreeインデックスの関連性
2018/12/09
ブックマーク
この記事は、「BASE Advent Calendar 2018」の9日目の記事です。 devblog.thebase.in 前日は id:match_1 でした。こんにちは、10日ほど前に データベース移行についての記事 を書かせていただいた植木です。 今回はインデックスとBtreeのパフォーマンスチューニング系のお話をしたいと思います。 概要 Btreeの構造などを説明している資料は他にもあるし、SQLのアンチパターンもある程度
Rundeck in practice [運用編]
2018/12/09
ブックマーク
この記事は一休.comアドベントカレンダー2018の9日目です。 qiita.com 導入編 に続き、運用編です。 ここ2年間 Rundeckを運用してきて発生したトラブルとその対処について書きます。 ※この記事で言及するRundeckはバージョン2.6.9です。 トラブルはふたつありました。 データベースが高負荷になり動作が不安定になった なぜかジョブが起動しない データベースが高負荷になり
SQLでバスケット分析(信頼度・リフト値算出)を実行
2018/12/03
ブックマーク
はじめに こんにちは。2018年9月入社でデータ分析担当の@Tawasshyです。 この記事は Enigmo Advent Calendar 2018の3日目 です。 弊社ではファッション ECサイト である BUYMA を展開しております。 売り手となるバイヤー(パーソナルショッパー)は世界中に在住しており、多種多様な商品を買い付けして膨大なSKUが存在します。 一方で、買い手側の購買行動も多岐に渡るのも必然となり
BASEのメインDBをAurora(MySQL)に移行しました
2018/11/28
ブックマーク
こんにちは、BASEランニング部で10kmマラソンなどに参加し、3kgほど体重が落ちたSRE Groupに所属しているデータベースエンジニアの植木です。おかげで甘いものが美味しいです。ちなみに次はハーフマラソンに挑戦です！ 今回は会社のブログなどを書いてみます。弊社では、ネットショップ作成サービス「BASE」およびショッピングアプリ「BASE」を運営していますが、11月に
社内ISUCONをオリジナル問題で開催しました
2018/11/13
ブックマーク
はじめまして。コーポレート・コミュニケーション室の id:kfly8 です。 このたび、モバファクの技術ブログをはじめることになりました！日頃の開発で得られた知見など書いていければと思っています。 どうぞよろしくお願いします。 先日、研修の一環で、社内ISUCONを開催しました。ここでは、簡単に様子の紹介と問題を作るにあたって考えたことを述べます。 ソースコ
【RDS Update】最大ストレージサイズが拡張、Multi-AZの停止が可能となりました
2018/11/08
ブックマーク
少しお久しぶりです。PS課佐竹です。 昔、データベースを保守していた経験から、RDSは興味深いサービスの1つです。 ここ最近、興味深いアップデートが3つありましたのでご紹介いたします。 1. Amazon RDS for Oracle、最大 32TiB のデータベースストレージサイズをサポート ストレージサイズ変更時の注意点 2. Amazon RDS for MySQL, MariaDB and PostgreSQL が 最大 32TiB のサイズをサポート
mysqldump と mysqlpump どちらが速くバックアップできるか比較してみた
2018/10/23
ブックマーク
こんにちは。エンジニアの阿久津です。 今回はMySQLの mysqldump と mysqlpump という2つのコマンドでバックアップを実施しどちらが速く処理するのか比較してみましたので、それを記事にしたいと思います。 mysqldumpとは 従来のMySQLデータベースのバックアップ/リストアに用いられるコマンドです。 mysqlpumpとは MySQL5.7から追加された新機能で、 mysqldump の次世代となるコマンド
障害対応への考え方と備え
2018/10/09
ブックマーク
こんにちは。スタメンの 小林 ( @lifework_tech )です。 スタメンの社内勉強会で障害対応について話しましたので、資料を公開させていただきます。 障害対応への考え方と備え どんなに対策を行っていても障害は必ず発生します。 地震 のようにいつ発生するのかはわかりません。でも、予め障害発生を想定して、準備しておくと、影響の低減、復旧までの時間短縮など多く
【超入門】RDBとNoSQLの違いに着目！NoSQLに求めるものとは？
2018/09/19
ブックマーク
こんにちは、MasaKuです。 ビッグデータ という言葉をよく目にしますが、その背後にある技術についてはあまり理解していませんでした。 そこで、 ビッグデータ を支える技術のひとつであるNoSQLについて興味が生まれたので、今回の記事では、NoSQLについて勉強した結果についてまとめようと思います。 （本記事の執筆には以下の書籍を参考にさせていただきました） NOS
AWS CloudFormationをフル活用してAmazon RDS for MySQLからAmazon Auroraへ移行する
2018/08/10
ブックマーク
こんにちは。新事業創造部インフラチームの内山（@k4ri474）です。 弊社が運営する IQON というサービスでは、長らくMySQLのバージョン5.6.27を利用していました。これは2018年9月にEOLを迎えるため、RDSの方針として強制アップグレードがアナウンスされています。 MySQLを継続する選択肢もありましたが、Auroraの運用知見が溜まっていたということもあり、これをキッカケにMySQ
Google Cloud Next '18 参加レポート
2018/08/09
ブックマーク
こんにちは！ スタートトゥデイテクノロジーズ新事業創造部の塩崎です。 2018年7月24日〜26日にかけてサンフランシスコでGoogle Cloud Next '18が開催されました。 このイベントに新事業創造部の塩崎、今村、そして代表取締役CIOの金山の3名で参加してきました。 この記事では多数あった講演の中で特に印象に残ったものをいくつか紹介いたします。 講演 Building A Petabyte Scale Wa
一休のSQL Server AWS移行事例（後編）
2018/07/26
ブックマーク
一休のSQL Server AWS移行事例（前編） からの続きです。 実施当日 kudoy: 準備段階で色々踏んだので、だいぶリハーサルもしましたし、当日は作業スケジュール組んで、その通りにやった感じです。バッチを事前に流したり… ninjinkun: バッチというのは何ですか？ kudoy 宿泊とかレストランシステムなどで夜間に定時実行されているバッチ処理ですね。 ninjinkun: ああ集計系の。
一休のSQL Server AWS移行事例（前編）
2018/07/26
ブックマーク
一休.comではオンプレミスで動かしていたサーバー群をAWSに移行する作業を2016年末から2年がかりで進めてきました（以下、クラウド移行と呼びます）。2017年7月にまず全サービスのアプリケーションサーバー移行が完了、2018年2月にデータベースであるSQL Serverの移行が終わり、クラウド移行が完了しました。 一休のシステムは予約や決済などのミッションクリティカルな
Oracle Instant ClientでRDSへ接続
2018/07/25
ブックマーク
福岡オフィスの渡辺です。 データベースソフトは数多くありますが、私は今までOracle Databaseを使う経験はありませんでした。 そんな新米Oraclerの私がAmazon RDS for Oracle Database にEC2から接続してみます。 各データベースソフトは、データベースに接続するためのクライアントソフトを用意しています。 MySQLにおけるmysqlコマンド、PostgreSQLにおけるpsqlコマンドといった具合で