「Python」に関連する技術ブログ
企業やコミュニティが発信する「Python」に関連する技術ブログの一覧です。
全914件中 781 - 795件目
Cloud DLPをGolangで叩いて見せられないデータを抽出し秘匿化してみる
2019/06/06
ブックマーク
今週末から北海道オフィスに出張でワクワクしている瀧川です。 私はデータ分析基盤の構築をする機会がよくあり、FluentdやEmbulk、Digdag、BigQueryを好んで使っています。 構築する際に気をつけることというと、冪等性やログ欠損(リカバリ)などいろいろあるかと思いますが、その中でも重要になるのが 個人情報などの見せられないデータ(機密情報) の扱いかな思っています
AWS Lambda でのタイムゾーン変換
2019/06/03
ブックマーク
はじめに こんにちは、技術一課の山中です。 Python のタイムゾーンについて、学んだことを忘れないようにブログにまとめました。 Python の組み込みモジュールである datetime を利用して現在時刻を取得する場合、通常以下のように記載すると思います。 def lambda_handler(event=None, context=None): now = datetime.now() print(now) if __name__ == '__main__': lambda_handler() これを私のローカル PC で実
Serverless Framework で Lambda Layers のバージョンを指定せずにデプロイする方法
2019/06/03
ブックマーク
はじめに こんにちは、技術一課の山中です。 Lambda Layers を AWS Lambda で利用する場合に、デプロイ時の最新の Layer を常に利用したいことがあったので、どのようにすればよいのか考えたことを以下に記します。 Lambda Layers のデプロイ 現在、Lambda Layers にデプロイするディレクトリの構成は以下の通りです。 . ├── package-lock.json ├── package.json ├── sample │ └── pytho
Pipfile で管理しているライブラリの依存関係をレイヤーに含めて Lambda Layers にデプロイする
2019/06/03
ブックマーク
はじめに こんにちは、技術一課の山中です。 最近になって、 pipenv を使って開発をし始めたのですが、 Pipfile で管理しているライブラリレイヤーに含めてデプロイするにはどのようにすればよいでしょうか。 Lambda Layers のデプロイに必要な構成 Lambda Layers では、 こちら のブログにあるように以下の構成で、メインの Python コードとライブラリの依存関係をレイヤーに含め
【Backlog】課題のステータスを更新するスクリプト（Python）【API】
2019/05/27
ブックマーク
こんにちは。技術二課の伊藤Kです。 サーバーワークスでは、プロジェクト管理ツールとして「Backlog」を使っています。 タスク管理、ファイル共有もできるプロジェクト管理ツールBacklog 今回はこのBacklogの「課題」のステータスを、複数課題一挙に更新できるよう、ステータスを更新するスクリプトを作成します。 背景 Backlogではプロジェクトの課題管理機能として「課
Ansible Playbookでユーザ管理（登録・削除）をまるっとやる
2019/05/10
ブックマーク
エンジニアの今川( @ug23_ )です。 本番環境サーバのユーザ管理、みなさんはどうしていますか？ みんなで同じユーザ・同じ鍵を使う 入社・退職時にはインフラ担当者がユーザ追加・削除する という感じのレガシーなやり方をしてしまいがちですよね。 全員で同じユーザを使う運用は入社時はとってもラクですが、 退職者がでた時、漏洩したかもしれない時 、鍵を変えて
【ありがとう平成】年代別にIT技術まとめてみた
2019/04/26
ブックマーク
平成も残るところわずかとなりましたね。 ティム・バーナーズ＝リーによって、WWWの原型が生み出されたのが平成元年(1989年)なんですよね。 そんなことをエンジニア達で話していて、せっかくなので 平成に登場した情報技術を時系列にしてまとめる 自由研究をしてみることにしました 。 「自分の生まれ年になにができたのか」 「こんな技術もあったなあ」 など思いを
RubyKaigi 2019参加レポート〜sonots登壇セッション & エンジニア8名による厳選セッション
2019/04/26
ブックマーク
こんにちは！ 2019/4/18 - 20に福岡国際会議場で開催されたRubyKaigi 2019にZOZOテクノロジーズもRubyスポンサーとして協賛しました。 弊社からも8名のエンジニア（ @takanamito , @rllllho , @katsuyan121 , @TrsNium , @AmatsukiKu , @takeWakaMaru666 , Takehiro Shiozaki , @sh_ngsw ）が参加し、SREスペシャリストである瀬尾（ @sonots ）が登壇しました！ 今年のRubyKaigiは、60を超える講演があり、参加者も1000名を
カスタムランタイムを使ってLambdaでAWSCLIを動かす
2019/04/25
ブックマーク
こんにちは、技術一課の加藤です。 先々週ごろにLambda上でAWSCLIを動かしてS3 Syncする – サーバーワークスエンジニアブログというブログを書きました。 この記事ではAWS CLIをローカルインストールしてPythonのコード上から呼び出すという実装をしています ですがそもそもAWS CLIはCLIコマンドで呼び出すもの。Pythonからサブプロセスを切ってコマンドを叩くのはやや冗長な気
Google Cloud Next '19で発表された新機能を紹介します！ (Cloud Run, BigQuery Storage API, Cloud Data Fusion)
2019/04/12
ブックマーク
こんにちは！ App EngineのスタンダードランタイムにRubyが追加されて喜んでいるバックエンドエンジニアの りほやん（高木） と、オレンジ色のチンアナゴは実は ニシキアナゴ という別種だったことに驚きを禁じ得ない塩ちゃん（塩崎）です。 4/9, 10, 11の期間で開催された Google Cloud Next '19 にZOZOテクノロジーズから高木と塩崎が参加しました! GCPの新しい機能や活用につい
CircleCIとecspressoによるECSへのデプロイメントパイプライン
2019/04/10
ブックマーク
こんにちは。SREチームの山根（ @fumikony ）です。 このブログでも東口（ @hgsgtk ）が何度か紹介している即時資金調達できる金融サービス「 YELL BANK(エールバンク) 」のインフラまわりに関わっています。 今回は、YELL BANKのデプロイメントパイプラインを構築したときの工夫などを紹介します。 インフラ構成 インフラ構成図 まず大まかなインフラ構成について説明します。
ネットワークサービス部 初開発合宿開催！！
2019/04/03
ブックマーク
ネットワークサービス部 初開発合宿開催！！ こんにちは。ネットワークサービス部テクノロジー部門の嶋です。そろそろ暖かくなってきた先月、2月25～2月27日にかけて、ネットワークサービス部テクノロジー部門のエンジニアが集まって、伊東温泉（静岡県）で開発合宿を行いました。今回はその様子をお伝えします。 開発合宿を行ったきっかけ 先日、ComCTFが開催され
OpenAPI3を使ってみよう！Go言語でクライアントとスタブの自動生成まで！
2019/03/27
ブックマーク
はじめに こんにちは！ 2019年2月にZOZOテクノロジーズへサーバーサイドエンジニアとして入社した籏野（ @gold_kou ）と申します。 Qiita でも少し記事書いてます。 いきなりですが、皆さんはAPI仕様書をどのように管理されていらっしゃいますか？ Confluence、Wiki、Markdown、Spreadsheet、Excelなど色々手段やツールはあると思います。私が担当しているプロジェクトではOpenAPIを導入
データ基盤を支えるSQL Serverのデータ転送を安定化させた話
2019/03/22
ブックマーク
こんにちは！ ZOZOテクノロジーズ開発部の中坊（ e_tyubo ）です。 私の所属しているマーケティングオートメーション（MA）チームでは、ZOZOTOWNやWEAR等の各サービスで蓄積されたデータを集約したデータ基盤の運用を行なっております。我々MAチームはこの集約されたデータを用いて顧客分析を行いマーケティングに活用しています。 今回はその運用の中で生じた問題とその
SPAをSimpleHTTPServerでテストしたい！
2019/02/15
ブックマーク
BigQuery大好き瀧川です！ 最近弊社ではVue.jsを使ってSPA(SinglePageApplication)！という構成がよく使われています。 普段の開発だとwebpack-dev-serverを利用していて、手軽だしホットリロードもサポートされているし特に不自由なく運用できています。 でも、例えばWebpackでのproductionビルドをテストしたい、生成された静的ページにアクセスしたいということがちょこちょこあるん