「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全885件中 856 - 870件目
本番DBと開発DBが乖離した無法地帯の整備
2017/12/13
ブックマーク
こんにちは。バックエンドエンジニアインターンの田島です。弊社ではIQONの運用を7年間続けています。長年の運用から技術的負債が溜まってきていました。その中の1つに、IQONの本番DBと開発DBの状態が乖離しているという問題があります。この問題をどのように解決したかについて紹介します。 IQONについて IQONはRuby on Railsで運用されており、以下のような環境で動作し
GoとSQL Server
2017/12/07
ブックマーク
この記事は、[一休.comアドベントカレンダー2017]の7日目です。 qiita.com こんにちは、データサイエンス部・大西 id:ohke です。 ユーザの行動収集基盤や、マーケティング施策の実行を支援するシステムの開発・メンテナンスを担当しています。 7日目の本投稿では、GoでSQL Serverを使う方法について、紹介したいと思います。 なぜGoとSQL Serverなのか メジャーじゃない組み合わ
Solr JSON Facetのススメ
2017/12/06
ブックマーク
この記事は 一休.comアドベントカレンダー2017 の6日目です。 一休.comレストラン 検索・集客担当のにがうりです。 一休.com、一休.comレストランともに、検索には主に Solr を利用しています。 (一部、RDBで検索しているところもあります) RDB(SQL)ベースでの検索と比べると色々とメリットがありますが、その中でもファセットナビゲーションに必要な機能が揃っているのは大き
BigQueryによるデータ分析のための前処理Tips
2017/12/05
ブックマーク
こんにちは。 使うSQLが200行を超えるのが当たり前になってきたデータチームの後藤です。 本記事では、VASILYデータチームで利用しているBigQueryによるデータの前処理のTipsを紹介します。 VASILYではサービスのマスタデータやログデータをGoogle BigQueryに集約して分析に活用しています。機械学習やデータ分析のための前処理を行う際、軽量なデータであれば抽出結果をPython
要注意！新人エンジニアが発生させた2大脆弱性
2017/11/24
ブックマーク
はじめに 記事をご覧のみなさん、はじめまして。新卒1年目エンジニアのkasuke18と申します。 ブラウザは圧倒的に Chrome 派です。 今回の記事では私が作ってしまった2大 脆弱性 の XSS と SQLインジェクション について、ソース例を踏まえて原因を追及します。なお、ソースの言語については PHP を利用しています。 この記事が初めてのブログ投稿ですので、「この書き方は
GraphQL運営で考えるべきセキュリティ
2017/11/20
ブックマーク
単一のエンドポイントで、クライアント側で指定することで任意のデータを取得できるGraphQLですが、ビジネスで利用する際に必ず注意しなければならないのがセキュリティでしょう。GraphQLを利用、提供する上での注意点を紹介します。 認証 GraphQLではサーバサイドのデータベースのようにID/パスワードのような仕組みは用意されていません。他のAPIと同様に、認証技術と
開発本部のセキュリティ知識を底上げする、タスクフォースの進め方
2017/10/20
ブックマーク
ジョブメドレーの開発運用を担当している 新居 です。 メドレーでは開発本部のメンバーの技術力底上げや課題解決を目的とした短期プロジェクト（タスクフォースと呼んでいます）を実施しています。この取り組みの一環として、6〜8 月はセキュリティ知識の底上げを目指した「セキュリティタスクフォース」を実施しました。今回は、その取り組み内容を紹介します
kurashiruの検索UX改善プロジェクト
2017/09/12
ブックマーク
こんにちは。 delyでISE(In-house System Engineer)をやっている @_skuwa です。 kurashiru[クラシル]のグロース、プロダクト改善の為の基盤の設計・開発を行っています。 今日はユーザーの検索行動のUXを向上させるために立ち上がった、検索改善プロジェクトについて書こうと思います。 検索機能における、UX上の課題点 検索したものの、レシピ数が少ない 豚肉、パスタなどの曖昧
Embulkを利用したデータ転送基盤の構築
2017/06/30
ブックマーク
こんにちは。バックエンドエンジニアインターンの田島です。 VASILYでは分析にBigQueryを使用しており、MySQLのデータを毎日BigQueryに同期しています。この同期処理を行うシステムは、約2年前にRubyで書かれたもので、プロダクトの成長に伴うデータ量の増加に耐えることができなくなり始めていました。そのため、同期処理を行うシステムを一から作り直しましたので、そ
zipkinのバックエンドをAmazon Elasticsearch Serviceに変更してみた
2017/02/24
ブックマーク
こんにちは、AmazonESでElasticsearch2.3を使っての環境構築が終わった直後にElasticsearch5.1が利用可能になってショックを受けてる技術基盤部の磯野です。 ちょっとだけ時間ができたのでzipkinのバックエンドをAmazon Elasticsearch Serviceに差し替えてみました。 CassandraとElasticsearchどっちにしようかなぁと悩んでいたのですが、zipkinがいつの間にかElasticsearch Serviceに対応していたのでサ
サーバーレスのクエリサービス「Amazon Athena」のチュートリアルでS3上のログを集計してみる
2016/12/13
ブックマーク
こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。（re:Inventの動画はこちら） Amazon Athena とは Amazon Athenaはまとめると、下記のようなサービスです。 Athenaは新しいサーバーレスのクエリサービスで、分散SQLエンジンのためのクラスタ構築・運用が不要Amazon S3に保存された膨大な量のデータを、標準S
AWS re:Invent 2016 新サービスまとめ 1
2016/12/09
ブックマーク
こんにちは、インフラストラクチャー部の沼沢です。 今回は、先日開催された AWS のグローバルカンファレンス「re:Invent」に、弊社山下と山子澤の3人で参加してきましたので、レポートさせていただきます。 2日間の Keynote では、大量のサービスが発表されお腹いっぱいな状況ですので、本稿では1日目の Keynote で発表されたサービスの概要を一挙にご紹介していきたいと
Google BigQueryの新機能 Standard SQLまとめ
2016/11/10
ブックマーク
こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは様々なログデータの分析にBigQueryを使用しています。 インデックスについて何も考えなくても良いのが特に便利です。 さて、そんなBigQueryですが、数か月前にStandard SQLという新しい仕様のSQLがサポートされました。 BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables! VASILYでも徐々にStandard SQLに移行をしてい
ShadowがRuleから取れるようになった！最近実装されたAWS IoTのすごい機能を使ってみる
2016/09/26
ブックマーク
こんにちは! サーバーワークス IoT担当の中村です。 去年のre:InventでAWS IoTが発表されて早くも1年が経とうとしています。みなさん、AWS IoT使っていますか？AWS IoTはRuleを使って色々なAWSサービスと連携できたり、QueryのFunctionを使って動的にペイロードを加工できたりと、とても高機能です。とくに私はAWS IoTのSQL Functionが好きです。さて、今日はAWS IoTのSQL Functionのひとつを
Zipkinを導入してみた（サーバー編）
2016/06/28
ブックマーク
こんにちは。技術基盤部の磯野です。 弊社ではここ数年、HOME'Sのクラウド化やマイクロサービス化を推進しています。 アプリケーションのクラウドサービスへの移行に関してはそろそろ終わりが見えてきているのですが、 マイクロサービスに関してはまだまだ道半ばということもあり、推進していくにあたって、 各サービス間の依存関係やトレース情報を可視化する手