こんにちはVASILYエンジニアの松本です。VASILYではクローラーの仕組みを大幅に見直した際にDynamoDBの導入を行いました。今回はその導入方法とDynamic DynamoDBを用いた運用方法について話したいと思います。   DynamoDBを導入した理由 iQONではクローラーで取得したデータをDynamoDBに保存しています。DynamoDBを導入した理由は以下の通りです。 ・ ECサイトごと、さらには商品ごとにクロールするデータの形式が異なるためスキーマレスである必要があったこと。 ・ D

こんにちは、VASILYエンジニアの塩崎です。 今回はiQONを支えているクローラーの並列処理について紹介したいと思います。 並列処理の効率化をする過程でresqueを見限りsidekiqに移行した理由、移行時に書き換えた部分などについてもお話ししたいと思います。 iQONのクローラーの並列処理の仕組み iQONでは毎日数100万点のアイテムのクローリングを行っています。 一度クローリングしたアイテムも毎日1回再クロールし在庫や値下げをiQON内のDBと同期しているため、大量のアイテムを効率良くクロールす

CTOの山田です。 毎度管理画面に運用向けの集計画面を作るの面倒だなと思って、少し前にre:dashを導入しましたのでご紹介致します。 re:dashとは データベースを可視化するためのpython製オープンソース。データソースはMySQL、PostgreSQLからGoogle BigQuery、Redshiftまで幅広くサポート。githubは こちら Redshiftの パートナー としてオープンソースで唯一(私が見た限りでは)認定されています。 環境構築 AWS上に構築されるのであればAMIが用意さ

1. マルチデバイス、マルチプラットフォーム 今やAPIはWebアプリケーションに限らず、スマートフォンやタブレットアプリ開発においても欠かせぬ存在になっています。そのため元々WebアプリケーションをAPIを使って開発しておくことで後々のスマートフォンアプリへの対応も同じAPIを使って開発ができます。同様にWindows/Mac OSXなどの異なるプラットフォームへの対応も行えます。 もちろんプラットフォームによって対応できる機能の違いはあります。特に認証や課金周りは仕組みが違うことがあります。しかし予め

先週の金曜日まで開催されていたWWDC2015。 ネクストからは2名が参加し、HOME'SのiOSアプリチームから1名、私、成田が参加してきました！ 個人的には2回目ですが、HOME'Sアプリチームからは初の参戦。HOME'SのiOSアプリチームを背負って行って来たのでレポートをお届けします！ 忘れずに前日登録に行こう！ 現地へは日本時間の6月6日の午後の便で出発しました。ロサンゼルス経由の便でサンフランシスコに向かいました。 今年のWWDCは6月8日（月）～6月12日（月）の開催でした。 ただし、前日、

企業・業界情報データベースSPEEDAの開発チームに所属している川口と申します。 この記事では、全社ミーティング「みんなの会」を支えている現在のシステムについて少しご紹介したいと思います。

技術チームインターンの前田です。 アプリケーションを開発していると、データベースと連携する必要が出てくる場合が多いかと思います。 この記事では、JavaプログラムからRDBMSを利用する際に便利なライブラリを紹介します。 このライブラリは、私が取り組んだ業務でも使用したもので、JDBIと呼ばれています。 JDBIとは Javaプログラム↔RDBMS間の連携に便利なSQLライブラリです。 JDBIはJDBCの上に構築されているもので、JDBCのAPIの使い勝手の悪さをカバーしてくれます。 JDBIの便利な点

Zabbixでのデータベース監視と言えば、プリインストールのテンプレートでも監視できるMySQL監視が有名ですね。 【 Zabbix 2.0 】zabbix 2.0による簡単 MySQL 監視 #Zabbix from maoto qryuu どうも著者のくりゅうです。 さて今回はZabbixの解説本でも一部は説明があるもののいまいち使い方がわかりづらいであろう ODBC監視、データベースモニタの使い方について解説書を作りましたのでご紹介します。

Zabbixおじさんこと、くりゅうです。 なにやらMySQL互換のすごいRDSが発表されたようですね。 【AWS発表】Amazon Aurora - Amazon RDSに費用対効果の高いMySQL互換のデータベースが登場!! 3つのAZを使い6多重のデータ書き込みストレージはSSDベースInnoDBでMySQL互換ストレージは64TBまで無停止で自動拡張99.99％の可用性1秒単位のポイントインタイムリカバリRDS for MySQLから数クリックでマイグレーション可能 ともはや夢のようなサービスですが

こんにちは、リッテルラボラトリーの清田です。 11月19日(水)、20日(木)の2日間にわたって芝浦工業大学豊洲キャンパスで開催される WebDB Forum 2014 にて、リッテルラボラトリーのプロダクトの展示・発表を行います！ WebDB Forumは、Webおよびデータベースに関する研究発表の場としては国内唯一の査読付き会議で、例年高いレベルの発表が多数行われます。 学生の方は1000円（聴講のみ）で参加できます ので、お近くの方はぜひお越しください。 常設展示ブースおよびポスターレセプションでは

テクノロジーで世界最大級の企業・業界データサービスを開発するチームです。 日本中、世界中のお客様に対して、「今」を超える価値をもつサービスを実現するためのシステム開発をお願いします。 アプリケーション、データベース（DB）、サーバの設計・開発・運営をチームで行います。 個々のプロジェクトごとにオーナーを割り振り、オーナーが開発スケジューリング管理や協力会社との折衝など、チーム協力を仰ぎつつ責任を持って一つのプロジェクトを遂行するスタイルです。 将来のキャリアパスは、志向性によりお客様との折衝やマネジメント

こんにちは。新規事業本部・金融グループの金（成奉）です。 前回（ PHPコンパイルによる高性能のFastCGIウェブサーバー構築とチューニ&#x3

こんにちは、上津原です。今回はCouchbaseネタです。 前回のCouchbase MeetUpに引き続き、今回も弊社ネクストで開催いたしました。 今回は、このブログでも何度か紹介していたモバイル向けのNoSQLデータベース、Couchbase Liteのハンズオンを行いました。 今回は、私が前に立って来ていただいた皆さんにCouchbaseLiteを動かしてCRUDをしてCloudantとSyncするまでをやってもらいました。 その際のスライドとプロジェクトを公開します。 スライド＆プロジェクト Co

こんにちは。開発チームの坂本です。 先日、AWSのデータベースサービスに関するセミナーがありましたのでいってきました。セミナーの内容は、AWSの4つのデータベースサービス（RDS、ElastiCache、DynamoDB、Redshift）のアップデート状況や、活用事例の発表などです。今回はその発表で使われたスライドをまとめさせていただきました。 日時2014年01月17日（水）13:00〜17:30 セミナータイトル「AWSプロダクトシリーズ よくわかるクラウドデータベース」 場所東京都目黒区下目黒1-

こんにちは、上津原です。 2014/2/25 19:00より、NoSQL CouchbaseのMeetUpを、弊社ネクストで開催することになりました！ http://couchbasejpcommunity.doorkeeper.jp/events/8914 アジェンダ Opening: Viber案件の事例紹介！by Eric Gold from Couchbase ( http://www.couchbase.com/presentations/couchbase-tlv-2014-couchbase