こんにちは、技術１課の多田です。 今日で2月も終わり春も目前に迫ってきているので、お花見が楽しみになってきました。 弊社の目の前の通りにも桜の木があるので、キレイな桜並木になると思います。是非近くにお越しの際はご覧頂ければと思います。 さて、今回は、「Amazon Aurora」(以下、Aurora)について書いていきます。 ご存知の方も多いかと思いますが、AuroraはAWSが作ったデータベースエンジンになります。詳しくはこちらをご覧下さい。 この記事では、Auroraに関する技術や機能についてまとめて

APIを使った開発、運用でよくあるのが突如としてアクセスできなくなるという問題です。今回はその際に関係する技術と解決手段を紹介します。 自社ネットワークの問題 APIは問題がなくとも、自社側のネットワークに問題が発生していることがあります。LANカードの不具合、ネットワーク設定のミス、ルータ/ファイアウォールの不具合、ケーブルの破損などが考えられます。 外部ネットワークの定期的なアクセスチェックはもちろんですが、内部ネットワークについてもきちんと確認するのが良いでしょう。こういった不具合の問題として、不具

こんにちは。 ２回目の登場になります、auスマートパス開発部の松本です。 多様化、複雑化するデータを使ったサービス開発の需要も高まっており、今回は使用感の調査もかねてグラフデータベースを触ってみました。 使用するデータベースは最もポピュラーであろうneo4jです。 書かれている記事も多く、とりあえず触ってみるのにはちょうどいい感じでした。 neo4jにはCypher (サイファー)というめちゃくちゃカッコイイ名前のクエリ言語があり、WEBインターフェースを使ってダイレクトにデータを処理することができます。

明けましておめでとうございます！auスマートパス開発部の新井です。 medibaで提供しているサービスではDynamoDBを利用しているサービスがあります。 Q: Amazon DynamoDB とは何ですか? Amazon DynamoDB は、完全マネージド型の NoSQL データベースサービスであり、高速で予測可能なパフォーマンスとシームレスな拡張性が特長です。 https://aws.amazon.com/jp/dynamodb/faqs/ DynamoDBは、スループット容量を変更することができ

  あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知見をベストプラクティスとして紹介したいと思います。   ログデータのテーブル名に日付を入れる BigQuery でログを保存する場合は、テーブル名の最後に

自社データをAPIとして公開することを考えた際にポイントとなってくるのが、そのAPIによってどんなメリットがあるのかということでしょう。企業としてAPIを公開する以上、単に公開して終わりという訳ではありません。そこには新しい収益源になる可能性があってこそだと思われます。 そこで今回はAPIを使った主な収益化の方法について紹介します。 データの販売 自社の持っているデータが貴重なもの、または特許や資格が絡むといった理由で他の企業との差別化が図れる場合は、そのデータ自体を有料で販売する方法が考えられます。 例

今後、企業間連携においてAPIをベースにするのはごく当たり前になっていきます。その時、提携が決まってからAPIを開発しているのではとても昨今のビジネス環境の変化に追随できないでしょう。 そこで将来を見据えた上で社内データをAPI化する際に注意して欲しいポイントについて挙げていきます。 1. 24時間365日のアクセスを想定する 社内システムは一般的に営業時間中しかアクセスされません。そのため夜中にシステムを停止したり、バックアップなどの高負荷な作業は深夜に行うのが一般的です。しかし社内データを公開するとな

こんにちはVASILYエンジニアの松本です。VASILYではクローラーの仕組みを大幅に見直した際にDynamoDBの導入を行いました。今回はその導入方法とDynamic DynamoDBを用いた運用方法について話したいと思います。   DynamoDBを導入した理由 iQONではクローラーで取得したデータをDynamoDBに保存しています。DynamoDBを導入した理由は以下の通りです。 ・ ECサイトごと、さらには商品ごとにクロールするデータの形式が異なるためスキーマレスである必要があったこと。 ・ D

こんにちは、VASILYエンジニアの塩崎です。 今回はiQONを支えているクローラーの並列処理について紹介したいと思います。 並列処理の効率化をする過程でresqueを見限りsidekiqに移行した理由、移行時に書き換えた部分などについてもお話ししたいと思います。 iQONのクローラーの並列処理の仕組み iQONでは毎日数100万点のアイテムのクローリングを行っています。 一度クローリングしたアイテムも毎日1回再クロールし在庫や値下げをiQON内のDBと同期しているため、大量のアイテムを効率良くクロールす

CTOの山田です。 毎度管理画面に運用向けの集計画面を作るの面倒だなと思って、少し前にre:dashを導入しましたのでご紹介致します。 re:dashとは データベースを可視化するためのpython製オープンソース。データソースはMySQL、PostgreSQLからGoogle BigQuery、Redshiftまで幅広くサポート。githubは こちら Redshiftの パートナー としてオープンソースで唯一(私が見た限りでは)認定されています。 環境構築 AWS上に構築されるのであればAMIが用意さ

1. マルチデバイス、マルチプラットフォーム 今やAPIはWebアプリケーションに限らず、スマートフォンやタブレットアプリ開発においても欠かせぬ存在になっています。そのため元々WebアプリケーションをAPIを使って開発しておくことで後々のスマートフォンアプリへの対応も同じAPIを使って開発ができます。同様にWindows/Mac OSXなどの異なるプラットフォームへの対応も行えます。 もちろんプラットフォームによって対応できる機能の違いはあります。特に認証や課金周りは仕組みが違うことがあります。しかし予め

先週の金曜日まで開催されていたWWDC2015。 ネクストからは2名が参加し、HOME'SのiOSアプリチームから1名、私、成田が参加してきました！ 個人的には2回目ですが、HOME'Sアプリチームからは初の参戦。HOME'SのiOSアプリチームを背負って行って来たのでレポートをお届けします！ 忘れずに前日登録に行こう！ 現地へは日本時間の6月6日の午後の便で出発しました。ロサンゼルス経由の便でサンフランシスコに向かいました。 今年のWWDCは6月8日（月）～6月12日（月）の開催でした。 ただし、前日、

企業・業界情報データベースSPEEDAの開発チームに所属している川口と申します。 この記事では、全社ミーティング「みんなの会」を支えている現在のシステムについて少しご紹介したいと思います。

技術チームインターンの前田です。 アプリケーションを開発していると、データベースと連携する必要が出てくる場合が多いかと思います。 この記事では、JavaプログラムからRDBMSを利用する際に便利なライブラリを紹介します。 このライブラリは、私が取り組んだ業務でも使用したもので、JDBIと呼ばれています。 JDBIとは Javaプログラム↔RDBMS間の連携に便利なSQLライブラリです。 JDBIはJDBCの上に構築されているもので、JDBCのAPIの使い勝手の悪さをカバーしてくれます。 JDBIの便利な点

Zabbixでのデータベース監視と言えば、プリインストールのテンプレートでも監視できるMySQL監視が有名ですね。 【 Zabbix 2.0 】zabbix 2.0による簡単 MySQL 監視 #Zabbix from maoto qryuu どうも著者のくりゅうです。 さて今回はZabbixの解説本でも一部は説明があるもののいまいち使い方がわかりづらいであろう ODBC監視、データベースモニタの使い方について解説書を作りましたのでご紹介します。