「AWS」に関連する技術ブログ(443件)

企業やコミュニティが発信する技術ブログから「AWS」に関連するものを表示しています。

DynamoDBの並列処理によるデータの欠損とProvisioning超過の対策

こんにちは。iQONのバックエンドエンジニアを担当しているjoeと申します。 最近、iQONのお知らせ機能のDBをMySQLからDynamoDBへ移行しました。 移行する際に発生した問題点である並列処理によるデータ欠損とProvisioning超過の対策を書きます。 間違っているところや改善点があればご指摘ください。よろしくお願い致します。 お知らせ機能とは お知らせ機能とは、facebookで言

#MySQL #Redis #AWS 

BASEとPAY.JPを支える日常の技術について 〜 Commerce & Payment - BASE Talk

こんにちは!BASE CTOの藤川 ( id:f-shin )です! 連休直前の4/27にBASE社開催のMeetup「Commerce & Payment - BASE Talk」を開催しました。 いつもは、BASE drinkというプレゼン資料なしのカジュアルトークイベントをやっているのですが、今回はLT形式で当社のエンジニアと外部参加の方にプレゼンしていただきました。 今回は、その内容であるBASEとPAY.JPのプレゼンの紹介をいたします。

#AWS Lambda #AWS #ライトニングトーク #Fintech #キャリア #データ分析 #セキュリティ #設計 

AWS CodeDeployのデプロイ結果をSlackに流す

こんにちは、メディアシステム開発部の竹谷です。 私のチームではAWS CodeDeployを使っているのですが、デプロイ結果をSlackに流せないかなと思って調べてみました。 CodeDeployは、デプロイのステータスをAWS SNSに流すことができるので、CodeDeploy→SNS→Lambda→Slackといった流れで実現してみました。 SNSの設定 まずは、CodeDeployのステータスを流すSNS topicを新規作成します。 CodeD

#AWS Lambda #Python #AWS 

JAWS DAYS 2016

こんにちは、CTOをしている山田です。 JAWS DAYS2016参加してきました。何と参加者が1100名以上だったようで、すごい盛り上がりでした。 改めてコミュニティの凄さとそれを惹きつけるAWSの魅力を実感しております。また、隅々まで気配りが行き届いた本当に素晴らしいイベントでした。 運営者の皆様お疲れ様でした。 私はユーザートラックの「 ユーザの本音、AWS入れてど

#AWS #AWS Lambda #インフラ #フロントエンド #オンプレミス 

AWS の DNS フェイルオーバーで、サーバレス&高可用性 Sorry ページを構築する

こんにちは、インフラストラクチャー部の沼沢です。 AWS の DNS フェイルオーバーの設定についての記事はたくさん出回っていますが、今回は Sorry ページに特化した設定をご紹介します。 以前、社内で AWS 上にシステム構築していた際に、例えば「急激なアクセス増で AutoScaling が間に合わないなどでユーザのリクエストに対して正常に応答できない状態に陥ってしまった

#AWS #DNS #HTML #Apache #インフラ 

ディープラーニングを活用したマイクロサービスを構築し、画像から商品カテゴリの分類をしてみる

こんにちは、VASILYのバックエンドエンジニアの塩崎です。 iQONの中ではクローラーと検索サーバーを担当しています。 iQONのクローラーには提携ECサイトさんからクロールした商品を商品カテゴリー(Tシャツ、ワンピース、etc.)に自動的に分類する機能があり、商品タイトルや商品説明文などのテキスト情報を元に分類を行っています。 しかし、一部のカテゴリー(セーター

#Python #Capistrano #AWS #Nginx #Flask #Ruby #Deep Learning #ネットワーク #Microservices #形態素解析 

AWS IoTとArduinoでセンシングしてみた

こんにちは、メディアシステム開発部の山浦です。 年が明けたばかりだし、なにか新しいことを始めたいと思いまして、β版から正式版になったAWS IoTを取り上げてみることにしました。 AWS IoTとは 昨年10月のre:Inventで発表され、同年12月に正式リリースされたAWSサービスの1つです。 IoTに特化しており、デバイス同士の接続やAWS SNS、DynamoDBなどと連携することができます

#AWS Lambda #AWS #Arduino #IoT #SQL #MQTT #Ruby #初心者 #セキュリティ 

DynamoDB Streams と lambda と SQS を連携させた際にストリームデータを効率よく処理させるために着目したこと

明けましておめでとうございます!auスマートパス開発部の新井です。 medibaで提供しているサービスではDynamoDBを利用しているサービスがあります。 Q: Amazon DynamoDB とは何ですか? Amazon DynamoDB は、完全マネージド型の NoSQL データベースサービスであり、高速で予測可能なパフォーマンスとシームレスな拡張性が特長です。 https://aws.amazon.com/jp/dynamodb/faqs/ DynamoDBは、スループ

#AWS Lambda #AWS #フロントエンド #データベース #セキュリティ 

データ分析基盤としての BigQuery 運用のベストプラクティス

  あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知

#Google BigQuery #SQL #Nginx #Tableau #AWS #Fluentd #データベース #データ分析 #設計 #管理ツール 

Elasticsearch AWS上でのClusterの設定

こんにちは!メディアシステム開発部の杉本です。 今回は、11月末にトライアルリリースをしたauスマートパスアプリ向け検索連動広告で利用しているElasticsearchのCluster機能の設定について紹介をさせてもらいます。 Cluster機能を利用することで、可用性の確保、レイテンシの低減が期待できます。 Elasticsearchでは標準でmulticastの設定となっており、Cluster機能を使うのはさ

#Elasticsearch #Android #Kibana #Linux #AWS #Vim #セキュリティ 

アドサーバーをElasticBeanstalk with Dockerに移行した話

こんにちは、神崎です。今年の6月頃にアドサーバーのアプリケーションサーバ群をAWS ElasticBeanstalk w/ Dockerに置き換えをおこないました。 これにより、アプリケーションレイヤーのauto-scaling環境の構築、deployのフローの自動化、rubyなどのMiddlewareの入れ替えが比較的容易にできる環境になりました。 既存の環境は、以前ブログで紹介したとおり、EC2上にruby2.0でunicorn+sinatra

#GitHub #AWS #Ruby #CircleCI #Docker #Sinatra #Git #Mackerel #Nginx 

TerraformとAtlasとGitHubを使ってインフラを構築、自動化してみた話

みなさんこんにちは、今村( @kyuns )です。今回は弊社の新規サービス開発にて、Hashicorp製品を中心にインフラ周りを整えたお話をしていきたいと思います。今回はTerraformとAtlasの話が中心になります。 今回実現したこと TerraformでAWS上のリソースをコードで管理 GithubでPullRequestを作ってインフラに対する変更をコードベースでレビュー Github上でPullRequestに対して変更がテスト

#Terraform #GitHub #AWS #Vagrant #インフラ #テスト 

DynamoDBの導入とDynamic DynamoDBを用いたプロビジョニング量自動調整

こんにちはVASILYエンジニアの松本です。VASILYではクローラーの仕組みを大幅に見直した際にDynamoDBの導入を行いました。今回はその導入方法とDynamic DynamoDBを用いた運用方法について話したいと思います。   DynamoDBを導入した理由 iQONではクローラーで取得したデータをDynamoDBに保存しています。DynamoDBを導入した理由は以下の通りです。 ・ ECサイトごと、さらには商品ごと

#Ubuntu #CircleCI #AWS #MongoDB #データベース #テスト 

話題のクラウドセキュリティサービス AWS WAFを触ってみた。

はじめに mediba インフラストラクチャー部の杉山です。 AWS WAFについて軽く触れてみたので簡単なレビューを行いたいと思います。さらに攻撃や防御の手法なども踏まえ、WAFが生まれた背景についても触れてみます。 攻撃手法 便利なインターネットですが残念ながらこの界隈には悪意ある人がたくさんいて、 黎明期より彼らから身を守る技術が培われてきました。まずは

#AWS #SQL #Windows #Linux #オンプレミス #インフラ #OSS #セキュリティ 

Cordova + vue.js + AWS SDKでS3バケットの内容を一覧してみた

まえがき mediba メディアシステム開発部 ポイント開発Gの佐藤禎章と申します。スマートフォン向けのネイティブアプリを構築/運用しています。 今回のエントリでは Apache Cordova の上で Vue.js を利用して Amazon AWS の機能を呼び出してみます。 利用するプロダクトの紹介 Apache Cordova http://cordova.apache.org/ もともと Adobe のプロダクトで、 PhoneGap と言われていました。 Apache に寄

#iOS #Android #Firefox OS #Vue.js #AWS #PhoneGap #Apache Cordova #CSS #JavaScript #Apache