こんにちは。X（クロス） イノベーション 本部 ソフトウェアデザインセンター セキュリティグループの耿です。 クラウド インフラをIaC化すると、静的セキュリティスキャンができるようになります。インフラをデプロイする前にセキュリティ上の問題や、ベストプ ラク ティスに沿っていない構成を知ることができるため、ぜひスキャンしておきたいところです。 今までのスキャンツールとしては、以下のようなものがありました。 tfsec OSS Terraformに対応 cfn_nag OSS CloudFormationテンプレートに対応 terrascan OSS Terraform、CloudFormationテンプレート、Azure Resource Managerなどに対応 Snyk IaC 有償（無償プランあり） Terraform、CloudFormationテンプレート、Azure Resource Managerなどに対応 最近、 AWS CDKで使いやすい、 AWS 開発の OSS ツール cdk-nag の存在を知り、非常にテンションが上がっているためブログを書いております！ 前半では従来のツールでCDKコードをスキャンするときの問題点とcdk-nagの導入方法、後半では実用する時に欠かせない、cdk-nagエラーのサプレス方法を書いていきます。 TL;DR CDKのセキュリティスキャンはcdk-nagが使いやすい 意味のあるCIにするためには正しいサプレスが重要。細かい粒度でサプレスするべき appliesTo でリソースレベルよりもさらに細かい粒度でサプレスできる CDKが勝手に作成するリソースについては、 applyToChildren を true にするか、 addResourceSuppressionsByPath でサプレスできる サプレスはCDKコードの最後にまとめて書くのが良さそう 既存のCDKに導入する時、 コメントアウト して少しずつ対応すると良い TL;DR cfn_nagでCDKをスキャンするときの問題点 問題点1：CDKコードとの関連が分かりにくい 問題点2：サプレスがイケてない cdk-nagセットアップ スキャンしてみる cdk-nagのサプレス方法 なぜサプレスが重要なのか 基本的なサプレス スタック全体で特定のルールをサプレス より細かい粒度のサプレス CDKが作成するリソースのサプレス interfaceEndpoints作成時のWarningのサプレス サプレスはどこに書くべきか まとめ cfn_nagでCDKをスキャンするときの問題点 cdk-nagの存在を知る前までは、cfn_nagとterrascanを GitHub Actionsのワークフローに組み込んで使っていました。どちらのツールも直接CDKをサポートしていませんが、 cdk synth で生成されるCloudFormationテンプレートに対してスキャンをかけることができます。 例として、cfn_nagのスキャン結果は次のようになります（一部抜粋、編集済） ------------------------------------------------------------ cdk.out/MyStack.template.json ------------------------------------------------------------ | WARN W89 | | Resource: ["AWS679f53fac002430cb0da5b7982bd22872D164C4C", "SomeTrivialFunction4CC789DF"] | Line Numbers: [647, 2395] | | Lambda functions should be deployed inside a VPC これには次のような問題があることがわかりました。 問題点1：CDKコードとの関連が分かりにくい スキャン結果では行番号を出力してくれていますが、CloudFormationテンプレート内の行番号なので、CDKで探す際の参考にはなりません。 またリソースの論理IDも出力されますが、こちらもCloudFormationテンプレートに変換した後のIDなので、CDKで記述したIDとは少し異なります。明示的にCDKで定義したリソースならば、IDの先頭の文字列を見ればどのリソースかなんとなく分かりますが、CDKが自動で作成するリソースについてはIDが勝手に割り振られるため、何によって作成されたリソースかは判断つきません。 問題点2：サプレスがイケてない こちらが一番重要です。cfn_nagでは特定のリソースに対して特定のルールをサプレスしたい場合、CloudFromationテンプレートのMetadataに記載することになります。 CDKからMetadataを追加する場合、一度 CloudFormationリソースとして取得する 必要があり、コードが煩雑になります。（CDKが自動で作成するリソースのルールをサプレスする方法は、まだ試していませんがさらに大変そうです） const cfnFunction = someTrivialFunction.node.defaultChild as lambda.CfnFunction ; cfnFunction.cfnOptions.metadata = { cfn_nag: { rules_to_suppress: [{ id: "W89" , reason: "No need to deploy this function inside VPC" }] } , } ; cdk-nagセットアップ ここからはcdk-nagを使っていきます。 AWSのブログ や cdk-nagのREADME に従ってセットアップします。 cdk-nagパッケージをインストールします。 npm install -D cdk-nag v2.15.32時点でルールパックは5種類ありますが、今回は AWS Solutions を利用します。またエラー詳細を出力するように verbose: true を指定します。 import * as cdk from "aws-cdk-lib" ; import { AwsSolutionsChecks } from "cdk-nag" ; import { ExampleStack } from "../lib/example-stack" ; const app = new cdk.App (); new ExampleStack ( app , "ExampleStack" , {} ); cdk.Aspects. of( app ) .add (new AwsSolutionsChecks ( { verbose: true } )); cfn_nagと異なり、cdk-nagはCDKと直接統合されており、CDKの Aspects を利用し、Synthesize前のPrepareの段階でコードを実行する仕組みです。サプレスされていないルール違反がある場合はフローの途中でエラーが返るため、 cdk deploy を実行しても後続のデプロイ処理がされません。CI/CDに組み込みやすいです。 スキャンしてみる まずは簡単なS3 バケット を作って、 cdk synth を実行します。 import { Stack , StackProps } from "aws-cdk-lib" ; import * as s3 from "aws-cdk-lib/aws-s3" ; import { Construct } from "constructs" ; export class ExampleStack extends Stack { constructor( scope: Construct , id: string , props?: StackProps ) { super( scope , id , props ); const myBucket = new s3.Bucket ( this , "MyBucket" , {} ); } } するとエラーが4つ出ました。 [Error at /ExampleStack/MyBucket/Resource] AwsSolutions-S1: The S3 Bucket has server access logs disabled. The bucket should have server access logging enabled to provide detailed records for the requests that are made to the bucket. [Error at /ExampleStack/MyBucket/Resource] AwsSolutions-S2: The S3 Bucket does not have public access restricted and blocked. The bucket should have public access restricted and blocked to prevent unauthorized access. [Error at /ExampleStack/MyBucket/Resource] AwsSolutions-S3: The S3 Bucket does not default encryption enabled. The bucket should minimally have SSE enabled to help protect data-at-rest. [Error at /ExampleStack/MyBucket/Resource] AwsSolutions-S10: The S3 Bucket or bucket policy does not require requests to use SSL. You can use HTTPS (TLS) to help prevent potential attackers from eavesdropping on or manipulating network traffic using person-in-the-middle or similar attacks. You should allow only encrypted connections over HTTPS (TLS) using the aws:SecureTransport condition on Amazon S3 bucket policies. 内容は以下のとおりです AwsSolutions-S1：サーバー アクセスログ が有効でない AwsSolutions-S2：ブロックパブリックアクセスが有効でない AwsSolutions-S3：デフォルト暗号化が有効でない AwsSolutions-S10： TLS 通信の強制が有効でない 同時に cdk.out/AwsSolutions-ExampleStack-NagReport.csv にも結果レポートが出力されます。違反のあったルールだけではなく、クリアしたルールとサプレスしたルールについても出力されています。 サーバー アクセスログ 以外の3つのエラーに対応してみます。 const myBucket = new s3.Bucket ( this , "MyBucket" , { blockPublicAccess: s3.BlockPublicAccess.BLOCK_ALL , encryption: s3.BucketEncryption.S3_MANAGED , enforceSSL: true , } ); 再び cdk synth を実行すると、エラーが1つだけになりました。 [Error at /ExampleStack/MyBucket/Resource] AwsSolutions-S1: The S3 Bucket has server access logs disabled. The bucket should have server access logging enabled to provide detailed records for the requests that are made to the bucket. 今回、この バケット ではサーバー アクセスログ を取得しないものとして、このルールをサプレスしようと思います。 cdk-nagのサプレス方法 なぜサプレスが重要なのか スキャン結果を必要に応じて簡単にサプレスできることは、意味のあるCIをするために非常に重要です。 スキャンルールはあくまでもベストプ ラク ティス集であり、その全てをクリアできないケース（あるいはする必要がないケース）が多いでしょう。不要なルールがサプレスされずに結果に残り続けると、確認する際のノイズになり、差分も分かりにくくなります。CIに組み込んでいる場合、ノイズが多いとそのうち結果を確認しなくなります。 また、なるべく細かい粒度（リソースレベルかそれ以下）でサプレスすることも重要です。プロジェクト全体で絶対に対応しない方針としたものであれば良いのですが、不用意にグローバルでルールをサプレスしてしまうと、リソースを追加した際に気にかけておくべきベストプ ラク ティスを見逃すことになります。 基本的なサプレス サプレスは id にルールIDを渡し、次のように行います。 import { NagSuppressions } from "cdk-nag" ; ... NagSuppressions.addResourceSuppressions ( myBucket , [ { id: "AwsSolutions-S1" , reason: "Bucket storing logs. No need to export logs itself" } , ] ); cdk synth を実行するとエラーがなくなり、CloudFormationテンプレートが出力されました。 cdk-nagでは reason の記載が必須であり、さらには文字数が10文字未満だと次のようなエラーになります。将来読んでも理由がよくわかるように正確に書きましょう。 Error: MyBucket: Error(s) detected in suppression with 'id' AwsSolutions-S1. The suppression must have a 'reason' of 10 characters or more. サプレスのために記載した reason は、出力したCloudFormationテンプレートの Metadata に書き込まれます。 CloudFormationテンプレートに入力されたマルチバイト文字は文字化けしてしまい、 cdk diff として間違って検出されてしまうため、今のところ reason 欄は英語で記載するのが良さそうです。 （2022/9/2追記）cdk-nagに送った PR がマージされ、v2.18.0からは reason に日本語を記載しても問題にならなくなりました！ スタック全体で特定のルールをサプレス 特定のルールをスタック全体でサプレスしたい場合は、次のように書けますが、あまり濫用しない方が良いでしょう。 NagSuppressions.addStackSuppressions ( this , [ { id: "AwsSolutions-S1" , reason: "Enabling server access logs is not requiered" } , ] ); より細かい粒度のサプレス S3 バケット へのアクセスを許可するIAMポリシーを作ってみます。 import * as iam from "aws-cdk-lib/aws-iam" ; ... const myIamPolicy = new iam.ManagedPolicy ( this , "MyIAMPolicy" , { statements: [ new iam.PolicyStatement ( { resources: [ myBucket.bucketArn , ` ${ myBucket.bucketArn } /*` ] , actions: [ "s3:Get*" , "s3:ListBucket" ] , effect: iam.Effect.ALLOW , } ), ] , } ); エラーが2つ出ました。 [Error at /ExampleStack/MyIAMPolicy/Resource] AwsSolutions-IAM5[Action::s3:Get*]: The IAM entity contains wildcard permissions and does not have a cdk-nag rule suppression with evidence for those permission. Metadata explaining the evidence (e.g. via supporting links) for wildcard permissions allows for transparency to operators. This is a granular rule that returns individual findings that can be suppressed with 'appliesTo'. The findings are in the format 'Action::<action>' for policy actions and 'Resource::<resource>' for resources. Example: appliesTo: ['Action::s3:*']. [Error at /ExampleStack/MyIAMPolicy/Resource] AwsSolutions-IAM5[Resource::<MyBucketF68F3FF0.Arn>/*]: The IAM entity contains wildcard permissions and does not have a cdk-nag rule suppression with evidence for those permission. Metadata explaining the evidence (e.g. via supporting links) for wildcard permissions allows for transparency to operators. This is a granular rule that returns individual findings that can be suppressed with 'appliesTo'. The findings are in the format 'Action::<action>' for policy actions and 'Resource::<resource>' for resources. Example: appliesTo: ['Action::s3:*']. IAMポリシーに ワイルドカード ( * )が使われており、広いアクセス権限を付与していることに対するエラーです。ActionとResourceの両方で ワイルドカード を使っているため、両方について指摘されています。今回は問題ないこととしてサプレスするとします。 このIAMポリシー全体に対してルール AwsSolutions-IAM5 をサプレスすることも可能ですが、そうすると将来的に追加するあらゆる ワイルドカード も許可してしまいます。そうではなく、特定のActionやResourceに対してのみ ワイルドカード を許可する方が良いでしょう。 エラーをよく見ると、今回はルールIDの後に括弧がついており（ [Action::s3:Get*] [Resource::<MyBucketF68F3FF0.Arn>/*] ）、問題となった具体的なActionやResourceがわかるようになっています。 appliesTo を使うことで、特定の記述のみをサプレスできます。 NagSuppressions.addResourceSuppressions ( myIamPolicy , [ { id: "AwsSolutions-IAM5" , reason: "Necessary to grant Get access to all objects in the bucket" , appliesTo: [ "Action::s3:Get*" , "Resource::<MyBucketF68F3FF0.Arn>/*" ] , } , ] ); Resourceは前に作成したS3 バケット への参照となっていますが、ルールIDの後の括弧にある Resource::<MyBucketF68F3FF0.Arn>/* をそのまま appliesTo に追加して構いません。これでサプレスされました。 ちなみに、 appliesTo の中に 正規表現 を書くこともできます。 NagSuppressions.addResourceSuppressions ( myIamPolicy , [ { id: "AwsSolutions-IAM5" , reason: "Necessary to grant Get access to all objects in the bucket" , appliesTo: [ "Action::s3:Get*" , { regex: "/^Resource::<MyBucketF68F3FF0.Arn>(.*)$/g" , } , ] , } , ] ); CDKが作成するリソースのサプレス 今度はLambda関数を作ります。 import { Runtime } from "aws-cdk-lib/aws-lambda" ; import * as lambdaNodejs from "aws-cdk-lib/aws-lambda-nodejs" ; import * as logs from "aws-cdk-lib/aws-logs" ; ... const myTrivialFunction = new lambdaNodejs.NodejsFunction ( this , "MyTrivialFunction" , { entry: "aws-cdk/functions/my-trivial-function.ts" , runtime: Runtime.NODEJS_16_X , logRetention: logs.RetentionDays.SIX_MONTHS , bundling: { forceDockerBundling: false } , } ); 3つのエラーが出ました。まずは1つ目です。 [Error at /ExampleStack/MyTrivialFunction/ServiceRole/Resource] AwsSolutions-IAM4[Policy::arn:<AWS::Partition>:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole]: The IAM user, role, or group uses AWS managed policies. An AWS managed policy is a standalone policy that is created and administered by AWS. Currently, many AWS managed policies do not restrict resource scope. Replace AWS managed policies with system specific (customer) managed policies.This is a granular rule that returns individual findings that can be suppressed with 'appliesTo'. The findings are in the format 'Policy::<policy>' for AWS managed policies. Example: appliesTo: ['Policy::arn:<AWS::Partition>:iam::aws:policy/foo']. このLambda関数が明示的に実行ロールを指定していないため、実行ロールが自動で作成されており、 AWSLambdaBasicExecutionRole ポリシーが付与されています。 AWS マネージドポリシーはリソースレベルで権限を絞っていないため、独自のポリシーを使うべきという指摘です。今回は問題ないとし、サプレスします。 しかし今までに述べた方法ではうまくいきません。エラーになっているリソースは関数そのものではなく、関数が使用しているロールだからです。この場合、 addResourceSuppressions の3つ目の引数の applyToChildren に true を渡すことでサプレスできます。（合わせ技で appliesTo には具体的なポリシーを指定しています） NagSuppressions.addResourceSuppressions ( myTrivialFunction , [ { id: "AwsSolutions-IAM4" , reason: "OK to use AWS managed AWSLambdaBasicExecutionRole" , appliesTo: [ "Policy::arn:<AWS::Partition>:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole" ] , } , ] , true ); 2つ目、3つ目のエラーは次の通りです。 [Error at /ExampleStack/LogRetentionaae0aa3c5b4d4f87b02d85b201efdd8a/ServiceRole/Resource] AwsSolutions-IAM4[Policy::arn:<AWS::Partition>:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole]: The IAM user, role, or group uses AWS managed policies. An AWS managed policy is a standalone policy that is created and administered by AWS. Currently, many AWS managed policies do not restrict resource scope. Replace AWS managed policies with system specific (customer) managed policies.This is a granular rule that returns individual findings that can be suppressed with 'appliesTo'. The findings are in the format 'Policy::<policy>' for AWS managed policies. Example: appliesTo: ['Policy::arn:<AWS::Partition>:iam::aws:policy/foo']. [Error at /ExampleStack/LogRetentionaae0aa3c5b4d4f87b02d85b201efdd8a/ServiceRole/DefaultPolicy/Resource] AwsSolutions-IAM5[Resource::*]: The IAM entity contains wildcard permissions and does not have a cdk-nag rule suppression with evidence for those permission. Metadata explaining the evidence (e.g. via supporting links) for wildcard permissions allows for transparency to operators. This is a granular rule that returns individual findings that can be suppressed with 'appliesTo'. The findings are in the format 'Action::<action>' for policy actions and 'Resource::<resource>' for resources. Example: appliesTo: ['Action::s3:*']. リソースパスが長くランダム風の文字列になっており、CDKが自動で作成したリソースであることがわかります。Lambda関数を作る時に logRetention を指定した場合、ログリテンションポリシーを設定するためのLambda関数が1つ作られ、その実行ロールに対する指摘です。 明示的にCDKに記述したLambda関 数の子 リソースではないため、 applyToChildren を true にしてもサプレスできません。エラーメッセージに出力されているリソースパスを使い、 addResourceSuppressionsByPath でスタックからこのリソースを見つけてもらいます。 NagSuppressions.addResourceSuppressionsByPath ( this , "/ExampleStack/LogRetentionaae0aa3c5b4d4f87b02d85b201efdd8a/ServiceRole/Resource" , [ { id: "AwsSolutions-IAM4" , reason: "CDK managed resource" , appliesTo: [ "Policy::arn:<AWS::Partition>:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole" ] , } , ] ); NagSuppressions.addResourceSuppressionsByPath ( this , "/ExampleStack/LogRetentionaae0aa3c5b4d4f87b02d85b201efdd8a/ServiceRole/DefaultPolicy/Resource" , [ { id: "AwsSolutions-IAM5" , reason: "CDK managed resource" , appliesTo: [ "Resource::*" ] , } , ] ); ちなみにCDKでカスタムリソースを作成する場合もLambda関数が作られますが、そのサプレスにもこの方法を利用できます。 interfaceEndpoints作成時のWarningのサプレス VPC とセキュリティグループ、 VPC エンドポイントを作ります。 import * as ec2 from "aws-cdk-lib/aws-ec2" ; ... const vpc = new ec2.Vpc ( this , "VPC" , { flowLogs: { s3: { destination: ec2.FlowLogDestination.toS3 ( myBucket , "vpc" ), trafficType: ec2.FlowLogTrafficType.ALL , } , } , } ); const appSecurityGroup = new ec2.SecurityGroup ( this , "appSecurityGroup" , { vpc: vpc , allowAllOutbound: true , } ); const httpsSecurityGroup = new ec2.SecurityGroup ( this , "httpsSecurityGroup" , { vpc: vpc , allowAllOutbound: true , } ); httpsSecurityGroup.addIngressRule ( appSecurityGroup , ec2.Port.tcp ( 443 )); vpc.addInterfaceEndpoint ( "SSMEndpoint" , { service: ec2.InterfaceVpcEndpointAwsService.SSM , subnets: { subnets: vpc.publicSubnets } , securityGroups: [ httpsSecurityGroup ] , privateDnsEnabled: true , } ); Cloudformationテンプレートは問題なく生成されますが、実はチェック失敗のWarningが出力されています。 [Warning at /ExampleStack/httpsSecurityGroup/Resource] CdkNagValidationFailure: 'AwsSolutions-EC23' threw an error during validation. This is generally caused by a parameter referencing an intrinsic function. For more details enable verbose logging.' The parameter resolved to to a non-primitive value "{"Fn::GetAtt":["VPCB9E5F0B4","CidrBlock"]}", therefore the rule could not be validated. こちらのIssue に記載がある通り、想定通りの挙動でサプレスして良いとのことなので、次のように id に CdkNagValidationFailure を渡すことでサプレスできます。 NagSuppressions.addResourceSuppressions ( httpsSecurityGroup , [ { id: "CdkNagValidationFailure" , reason: "https://github.com/cdklabs/cdk-nag/issues/817" } , ] ); サプレスはどこに書くべきか プロジェクトの対応方針によっては大量にサプレスが発生する場合があります。cdk-nagはCDKコード内にサプレスを記載するため、どこに書くべきかについて考えてみます。2つのパターンが考えられます。 エラーが発生したリソース付近に書く サプレスのみをまとめて書く 「1. エラーが発生したリソース付近に書く」場合、どのリソースに対するサプレスかがわかりやすい一方で、インフラを定義するコードとセキュリティスキャンのサ プレスコ ードが入り混じるため、見通しの悪いコードになってしまう印象があります。IaCコードを読む時は、サプレス済みのセキュリティスキャンルールは意識の外に置きたいです。 そこで個人的には「2. サプレスのみをまとめて書く」のが良いのではないかと思います。スタックの最後にサプレスをまとめて記述すれば、コードを読む際の邪魔にはなりません。それでもリソースの数が増えるとどこで何をサプレスしているのか探しにくくなるので、CDKを書く際には1つのスタックにリソースを詰め込みすぎず、適度な長さに分割するのが良いでしょう。 まとめ さまざまなケースを取り上げてサプレスする方法を説明しました。ハードルは下がったと思うので、ぜひcdk-nagを導入してセキュリティチェックをしていきましょう。 既存のCDKコードにcdk-nagを入れる場合、たくさんのエラーが出る可能性があります。まずはコードを全て コメントアウト した上で少しずつコメントを外し、 cdk synth でエラーをステップ・バイ・ステップで対応していくのが良いと思います。 今回は AWS Solutionsルールパックのみでしたが、そのうち他のルールパックについても試してみたいと思います。ここまで読んでいただきありがとうございました。 私たちは同じチームで働いてくれる仲間を大募集しています！たくさんのご応募をお待ちしています。 - セキュリティエンジニア(セキュリティ設計) 執筆： @kou.kinyo2 、レビュー： @kou.kinyo2 （ Shodo で執筆されました ）

こんにちは、X（クロス） イノベーション 本部 ソフトウェアデザインセンター・セキュリティグループの大西です。現在、DockerとTypeScriptを使ってシステムを開発中です。DockerのDistrolessイメージの中で、ORMの Prisma を使おうとするとエラーが出てハマってしまったので、エラー解消の方法についてお話ししたいと思います。 まずは少し、Distrolessイメージと Prisma について説明します。 Distrolessイメージとは Google が公開している Distrolessイメージ とは、アプリケーションの実行に必要な最小限のファイルのみが入っている超軽量なDockerイメージです。それゆえ、普通のOSに入っているようなパッケージマネージャーやシェルなどは入っていません。最も小さいサイズのもので gcr.io/distroless/static-debian11 はたったの2MiBほどしかなく、 alpine (5Mib)の約半分、 debian (124MiB)の2%のサイズしかありません。メリットとしては、不要なファイルを含まないことで攻撃対象領域(Attack Surface )を最小限に抑えており、不要なバグや 脆弱性 を埋め込みにくいという点が挙げられます。また、イメージが軽いことで リポジトリ の容量を抑えられ、起動時の読み込みが軽いのでスケーリングにかかる時間が減るという利点もあります。 Prisma とは Prisma とは、Node.jsとTypeScriptの環境下で動く オープンソース のORMです。 MySQL 、 PostgreSQL 、 SQLite 、 SQL Server などに対応しており、NextJS、NestJS、GraphQLなど多くの フレームワーク にも対応しています。新しいリリースは約2週間に一度行われ、先日 v4.0.0 がリリースされました。 Prisma でよく使われる機能は以下の2つです。 - Prisma Client : 型安全なデータベー スクライア ントでアプリに合わせたタイプの Prisma スキーマ から自動生成される - Prisma Migrate : カスタマイズ可能な SQL データベース マイグレーション を自動的に生成し、移行ファイルを生成せずにデータベースに変更を加えることができる Prisma とTypeORMの比較 今回、開発を進める中で Prisma とTypeORMどちらも使用してみましたが、 Prisma の方が直感的にDBを操作できるなと感じました。書くコードの量もTypeORMよりも少なくてすみ、使いやすい印象です。個人的に便利だと思ったのは、 スキーマ の自動生成機能です。 npx prisma db pull コマンドを実行するだけで、すでにあるDBから スキーマ を読み出し Prisma 用の スキーマ (schema. prisma )を自動で作成してくれます。最初はTypeORMでモデルを実装していたので、TypeORMから出力されるデータベースの スキーマ がすでに存在していました。そのため、 Prisma が スキーマ を自動生成する機能によってTypeORMから Prisma に変更するときも割と簡単に移行できました。既存のプロジェクトに Prisma を導入するときの手順は こちら にあります。また、 Prisma とTypeORMの比較は こちら です。今回は使用していませんが、TypeORMからの マイグレーション の方法も こちら で紹介されています。 今回ハマったところ まず背景として、DockerのDistrolessイメージを使いたいという開発者の気持ちがありました。その理由は、やはりセキュアなイメージだからです。それゆえ、Alpineイメージで Prisma は動くけれど、頑張ってDistrolessで動かしたいという思いがありました。今回ハマったところは、Distroless上で Prisma を使ってDB操作を実施しようとするとき、 PrismaClientInitializationError: Unable to load Node-API Library from /usr/app/node_modules/.prisma/client/libquery_engine-debian-openssl-1.1.x.so.node, Library may be corrupt というエラーが出て Prisma を使えなくなったところです。ライブラリが壊れているかもしれない、と言われても・・・。このエラーメッセージで検索しても解決策は見つからず、どこに原因要素があるのか調べるためいろいろ試したところ、alpineイメージでは Prisma が動くことが分かりました。 解決策 alpineイメージで動くことは分かったものの、alpineイメージにはあり、Distrolessイメージにはない何かを見つけることができません。そんなとき、同じ部の先輩が、Distrolessコンテナの中に入るためシェルのある distroless-debug イメージに変えることを思いつきました。そして、もう一度 GitHub の Prisma の コード をよく見ると、 Library may be corrupt のエラーメッセージが出ている箇所のエラーがサプレスされていることに気づきました。 この e を見れば何かわかるかもしれないということで、 next start された後のシェルに入ってトランスパイルされたJSを直接書き換えてみましたが、 e の内容は表示されません。つまり、 next start する前に ソースコード を書き換えないといけないので、コンテナを作る時に書き換えるためDockerfile上で sed することを思いつきます。 RUN sed -i -e '41147i console.log(e);' node_modules/@prisma/client/runtime/index.js すると Error: libz.so.1: cannot open shared object file: No such file or directory というエラーが出ていることが分かりました！libzをDistrolessイメージに入れるため、マルチステージングビルドを使うことにしました。以下のように、libzの入っているalpineイメージからDistrolessイメージにlibzをコピーしてみるとエラーが変わり、 Error: libc.musl-x86_64.so.1: cannot open shared object file: No such file or directory となったのでzlibと同様にlibc.musl- x86 _64.so.1というCのライブラリもコピーしました。最終的なDockerfileは以下のようになりました。 # libzの入ったalpineイメージを作成 FROM alpine as lib # 上記のalpineイメージからdistrolessにzlibとmusl clibを提供する FROM gcr.io/distroless/nodejs:16 COPY --from=lib /lib/libz.so.1 /lib/libz.so.1 COPY --from=lib /lib/libc.musl-x86_64.so.1 /lib/libc.musl-x86_64.so.1 まとめ セキュアで軽量なイメージだからこそ、必要なものは自分で入れていかないといけないDistrolessイメージ。その必要なものがなかなか分からず、今回は時間がかかってしまいました。エラーに遭遇したとき、とりあえずそのエラーを検索することはしますが、それでも方法が見つからないこともあります。そんな時はソースが公開されていればソースを眺めて、ここにはどんな値が入っているのだろう、ここはどんなエラー文が出ているのだろうと、自分でソースを開拓していくことも技の一つだと知りました。先輩に感謝です！ 私たちは同じチームで働いてくれる仲間を大募集しています！たくさんのご応募をお待ちしています。 - セキュリティエンジニア(セキュリティ設計) 執筆： @onishi.mayu 、レビュー： @handa.kenta （ Shodo で執筆されました ）

こんにちは、X（クロス） イノベーション 本部 ソフトウェアデザインセンター・セキュリティグループの大西です。現在、DockerとTypeScriptを使ってシステムを開発中です。DockerのDistrolessイメージの中で、ORMの Prisma を使おうとするとエラーが出てハマってしまったので、エラー解消の方法についてお話ししたいと思います。 まずは少し、Distrolessイメージと Prisma について説明します。 Distrolessイメージとは Google が公開している Distrolessイメージ とは、アプリケーションの実行に必要な最小限のファイルのみが入っている超軽量なDockerイメージです。それゆえ、普通のOSに入っているようなパッケージマネージャーやシェルなどは入っていません。最も小さいサイズのもので gcr.io/distroless/static-debian11 はたったの2MiBほどしかなく、 alpine (5Mib)の約半分、 debian (124MiB)の2%のサイズしかありません。メリットとしては、不要なファイルを含まないことで攻撃対象領域(Attack Surface )を最小限に抑えており、不要なバグや 脆弱性 を埋め込みにくいという点が挙げられます。また、イメージが軽いことで リポジトリ の容量を抑えられ、起動時の読み込みが軽いのでスケーリングにかかる時間が減るという利点もあります。 Prisma とは Prisma とは、Node.jsとTypeScriptの環境下で動く オープンソース のORMです。 MySQL 、 PostgreSQL 、 SQLite 、 SQL Server などに対応しており、NextJS、NestJS、GraphQLなど多くの フレームワーク にも対応しています。新しいリリースは約2週間に一度行われ、先日 v4.0.0 がリリースされました。 Prisma でよく使われる機能は以下の2つです。 - Prisma Client : 型安全なデータベー スクライア ントでアプリに合わせたタイプの Prisma スキーマ から自動生成される - Prisma Migrate : カスタマイズ可能な SQL データベース マイグレーション を自動的に生成し、移行ファイルを生成せずにデータベースに変更を加えることができる Prisma とTypeORMの比較 今回、開発を進める中で Prisma とTypeORMどちらも使用してみましたが、 Prisma の方が直感的にDBを操作できるなと感じました。書くコードの量もTypeORMよりも少なくてすみ、使いやすい印象です。個人的に便利だと思ったのは、 スキーマ の自動生成機能です。 npx prisma db pull コマンドを実行するだけで、すでにあるDBから スキーマ を読み出し Prisma 用の スキーマ (schema. prisma )を自動で作成してくれます。最初はTypeORMでモデルを実装していたので、TypeORMから出力されるデータベースの スキーマ がすでに存在していました。そのため、 Prisma が スキーマ を自動生成する機能によってTypeORMから Prisma に変更するときも割と簡単に移行できました。既存のプロジェクトに Prisma を導入するときの手順は こちら にあります。また、 Prisma とTypeORMの比較は こちら です。今回は使用していませんが、TypeORMからの マイグレーション の方法も こちら で紹介されています。 今回ハマったところ まず背景として、DockerのDistrolessイメージを使いたいという開発者の気持ちがありました。その理由は、やはりセキュアなイメージだからです。それゆえ、Alpineイメージで Prisma は動くけれど、頑張ってDistrolessで動かしたいという思いがありました。今回ハマったところは、Distroless上で Prisma を使ってDB操作を実施しようとするとき、 PrismaClientInitializationError: Unable to load Node-API Library from /usr/app/node_modules/.prisma/client/libquery_engine-debian-openssl-1.1.x.so.node, Library may be corrupt というエラーが出て Prisma を使えなくなったところです。ライブラリが壊れているかもしれない、と言われても・・・。このエラーメッセージで検索しても解決策は見つからず、どこに原因要素があるのか調べるためいろいろ試したところ、alpineイメージでは Prisma が動くことが分かりました。 解決策 alpineイメージで動くことは分かったものの、alpineイメージにはあり、Distrolessイメージにはない何かを見つけることができません。そんなとき、同じ部の先輩が、Distrolessコンテナの中に入るためシェルのある distroless-debug イメージに変えることを思いつきました。そして、もう一度 GitHub の Prisma の コード をよく見ると、 Library may be corrupt のエラーメッセージが出ている箇所のエラーがサプレスされていることに気づきました。 この e を見れば何かわかるかもしれないということで、 next start された後のシェルに入ってトランスパイルされたJSを直接書き換えてみましたが、 e の内容は表示されません。つまり、 next start する前に ソースコード を書き換えないといけないので、コンテナを作る時に書き換えるためDockerfile上で sed することを思いつきます。 RUN sed -i -e '41147i console.log(e);' node_modules/@prisma/client/runtime/index.js すると Error: libz.so.1: cannot open shared object file: No such file or directory というエラーが出ていることが分かりました！libzをDistrolessイメージに入れるため、マルチステージングビルドを使うことにしました。以下のように、libzの入っているalpineイメージからDistrolessイメージにlibzをコピーしてみるとエラーが変わり、 Error: libc.musl-x86_64.so.1: cannot open shared object file: No such file or directory となったのでzlibと同様にlibc.musl- x86 _64.so.1というCのライブラリもコピーしました。最終的なDockerfileは以下のようになりました。 # libzの入ったalpineイメージを作成 FROM alpine as lib # 上記のalpineイメージからdistrolessにzlibとmusl clibを提供する FROM gcr.io/distroless/nodejs:16 COPY --from=lib /lib/libz.so.1 /lib/libz.so.1 COPY --from=lib /lib/libc.musl-x86_64.so.1 /lib/libc.musl-x86_64.so.1 まとめ セキュアで軽量なイメージだからこそ、必要なものは自分で入れていかないといけないDistrolessイメージ。その必要なものがなかなか分からず、今回は時間がかかってしまいました。エラーに遭遇したとき、とりあえずそのエラーを検索することはしますが、それでも方法が見つからないこともあります。そんな時はソースが公開されていればソースを眺めて、ここにはどんな値が入っているのだろう、ここはどんなエラー文が出ているのだろうと、自分でソースを開拓していくことも技の一つだと知りました。先輩に感謝です！ 私たちは同じチームで働いてくれる仲間を大募集しています！たくさんのご応募をお待ちしています。 - セキュリティエンジニア(セキュリティ設計) 執筆： @onishi.mayu 、レビュー： @handa.kenta （ Shodo で執筆されました ）

X（クロス） イノベーション 本部 クラウド イノベーション センターの田村です。 普段の業務では、 Microsoft Azure のアップデートや新サービスの調査検証をしており、その一環として Azure Managed Grafana の調査を実施しました。 本記事では、Azure Managed Grafana の概要と機能について、調査結果を絡めてご紹介します。 Azure Managed Grafana とは 可視化機能の検証 Azure Managed Grafana のリソース作成 データソースの登録 ダッシュボードの作成 サポートしているデータソース 他の Grafana サービスとの違い Power BI との違い まとめ Azure Managed Grafana とは Azure Managed Grafana は、 Microsoft と Grafana Lab 社が開発したフルマネージドの可視化サービスです。 Grafana は Grafana Lab 社が提供するサービスでしたが、このたび Microsoft とパートナーシップを結び、Azure のマネージドサービスとして公開されました。 もともと Grafana は オープンソース の可視化サービスとして知られており、Kibana や Metabase といったサービスとよく比較されている印象があります。 Azure Managed Grafana の特徴としては、下記の 4 点が紹介されています。 Azure に最適化 Azure Monitor や Azure Data Explorer などの Azure サービスの可視化を行うために最適化 ダッシュ ボード共有 複数人で Grafana ダッシュ ボードを共有する際に、管理者/編集者/閲覧者ロールの設定が可能 ユーザーロールとロール管理は後述する Azure AD と統合されている ID 管理 Azure AD（ Active Directory ）による ID 管理とユーザーロール管理の統合 マネージド ID による Azure サービスへのアクセス 簡単な操作 Azure Portal 上からワンクリックで Grafana ダッシュ ボードへ移動 グラフのテンプレート等を活用することで直感的な ダッシュ ボード作成が可能 詳細は下記のリンクをご参照ください。 https://azure.microsoft.com/ja-jp/services/managed-grafana/ 可視化機能の検証 実際に Azure Managed Grafana で ダッシュ ボードを作成し、可視化機能を検証してみました。 今回は可視化対象のデータソースとして、Azure の監視サービスである Azure Monitor を採用しました。 作業の流れは大まかに下記の通りとなります。 Azure Managed Grafana のリソース作成 データソースの登録 ダッシュ ボードの作成 Azure Managed Grafana のリソース作成 Azure Portal と Azure CLI から作成できますが、今回は GUI の Azure Portal から作成しました。 作成時に設定を変更しない限り、デフォルトで管理者ロールの割り当てやマネージド ID の作成が実行されるので、権限周りの設定も簡単です。 クイック スタート: Azure portal を使用して Azure Managed Grafana プレビュー インスタンスを作成する 作成が完了すると、リソース概要のエンドポイント項目に Grafana へのリンク先が表示されます。 こちらの URL を選択することで Grafana へアクセスでき、 ダッシュ ボード作成が可能になります。 データソースの登録 今回可視化する Azure Monitor を登録します。 Grafana にアクセスし、左側のメニューから Configuration > Data sources と選択すると、データソースの設定画面に遷移します。 Azure Monitor がデフォルトで表示されているので選択します。 他のデータソースは Add data source から追加できます。 Authentication にて、認証方式と サブスクリプション を設定します。 認証方式はマネージド ID（Maneged Identity）またはサービス プリンシパル （App Registration）を選択できますが、今回はマネージド ID による認証を設定しました。 Save & test を実行し、成功すればデータソースの登録は完了です。 ダッシュ ボードの作成 データソースの登録が完了したので、Azure Monitor で監視しているデータを可視化する ダッシュ ボードを作成します。 作成方法は大きく 2 種類あり、1 から自分で作成するパターンと、テンプレートを利用するパターンがあります。 まずは 1 から作成してみます。 左側のメニューから Create > Dashboard > Add panel と選択すると、 ダッシュ ボードの編集画面に遷移します。 デフォルトで表示されているグラフに意味はありません。 データソースに先ほど登録した Azure Monitor を設定し、グラフを作成してみます。 今回は 仮想マシン の CPU 使用率を可視化してみました。 作業は単純で、 サブスクリプション > リソースグループ > リソース > 可視化するメトリクス（Percentage CPU）の順に選択するだけです。 今回は CPU 使用率を例にしましたが、Azure Monitor をデータソースにすると、各リソースのさまざまなメトリクスを可視化できます。 仮想マシン だけでも、メモリの 稼働率 やディスクの使用率、インバウンド/アウトバウンドフローなどに対応しています。 Azure Monitor によって監視される内容 このようにしてどんどん ダッシュ ボードを作りこんでいくのですが、慣れない人ではどうしても手間がかかります。 そこで、用意されているテンプレートによる ダッシュ ボード作成も試してみました。 左側のメニューから Dashboard > Browse > Azure Monitor と選択すると、 ダッシュ ボードのテンプレートが一覧で表示されます。 下記の 9 種類がありますが、今回はストレージアカウントの可視化テンプレートを選択しました。 Azure Monitor アラート アプリケーションに関する インサイト Azure Cosmos DB Azure Data Explorer クラスタ Azure Key Vault ストレージアカウント （今回選択） リソースグループ内の 仮想マシン Log Analytics ワークスペース に紐づいた 仮想マシン 各リソース数 ストレージアカウントのテンプレートを選択すると、構成済みの ダッシュ ボードが表示されます。 上記画像では表示しきれていませんが、ストレージアカウントのテンプレートは 20 以上のパネル（グラフやカード）で構成されています。 これにより、リソースに関するほぼすべてのメトリクスを 1 枚の ダッシュ ボードで確認できます。 ここから編集を加えたり、新たなテンプレートを追加することも可能なので、ユーザーにとって非常に便利な機能です。 サポートしているデータソース Azure Managed Grafana では、Grafana Enterprise でサポートされているサービスをデータソースとして設定できます。 デフォルトで使用可能なデータソースは 17 種類あり、 クラウド サービスや各種 DB サービスに対応しています。 Alertmanager AWS CloudWatch Azure Monitor Elasticsearch Google Cloud Monitoring Graphite InfluxDB Loki Microsoft SQL Server ( MSSQL ) MySQL OpenTSDB PostgreSQL Prometheus Jaeger Zipkin Tempo Testdata 上記以外にも、 プラグイン を設定することでさまざまなデータソースの可視化が可能です。 プラグイン も含めると、サポートされているデータソースは 132 種類になります。 https://grafana.com/docs/grafana/latest/datasources/ https://grafana.com/grafana/plugins/?type=datasource&utm_source=grafana_add_ds 他の Grafana サービスとの違い 今回調査した Azure Managed Grafana の他に、Grafana には OSS /Grafana Cloud *1 /Grafana Enterprise といった提供形態があります。 料金やサポートといった点の差異を調査し、下記の表にまとめました。[^4] Azure Managed Grafana Grafana（ OSS ） Grafana Cloud Grafana Enterprise データソース 132 132 132 132 料金 従量課金 *2 無料 従量課金 *3 要問い合わせ セキュリティ Azure による保護 なし 専用ツール内包 専用ツール内包 サポート Azure サポート なし チケット制 24 時間 365 日 Power BI との違い Microsoft の代表的な可視化サービスとして Power BI が挙げられます。 Azure における可視化という点で比較すると、Azure Managed Grafana と Power BI の最大の違いは、サポートしている Azure サービスの種類です。 Azure Managed Grafana で可視化できる Azure サービスは、 プラグイン 設定込みでも 3 つ（Azure Monitor/Azure Data Explorer /Azure DevOps）のみです。 Azure Monitor など、Azure Managed Grafana がサポートしているデータソースで取得できるデータは、ログやメトリクスといった監視情報が多くを占めています。 Grafana ダッシュ ボード上ではアラートの設定が可能なため、Azure PaaS を可視化のデータソースとした場合は取得した監視情報の可視化に特化している印象です。 一方で、Power BI は Azure SQL Database や Azure Synapse Analytics をはじめ、Azure のデータサービスをほぼ網羅しています。 そのため、Azure 上に構築したデータウェアハウスやデータマートに蓄積したデータを可視化したい、というシナリオには Power BI の方が適しているといえます。 Power BI データ ソース まとめ 本記事では、Azure Managed Grafana の概要と機能について、筆者の調査結果をもとにご紹介しました。 Azure Managed Grafana は 4 月にパブリックプレビューが開始されたばかりのサービスのため、今後もアップデートに注目したいと思います。 X（クロス） イノベーション 本部 クラウド イノベーション センターでは、共に働いてくれる仲間を探しています。 本記事でご紹介したような調査検証をはじめ、 クラウド アーキテクトとしての業務に興味がある方のご応募お待ちしております。 https://groupcareers.isid.co.jp/pgisid/u/job.phtml?job_code=243&company_code=1 執筆： @tamura.kohei 、レビュー： @sato.taichi （ Shodo で執筆されました ） *1 : Grafana Lab 社が独自の クラウド リソースとして提供しているサービス *2 : 米国東部リージョンでの見積もり：リソース 1 つにつき $0.069/時間に加え、ユーザー 1人あたり $6/月（ただし 3 人まで無料） *3 : 使用したデータ量による従量課金に加え、ユーザー 1人あたり $8/月（ただし 3 人まで無料）

X（クロス） イノベーション 本部 クラウド イノベーション センターの田村です。 普段の業務では、 Microsoft Azure のアップデートや新サービスの調査検証をしており、その一環として Azure Managed Grafana の調査を実施しました。 本記事では、Azure Managed Grafana の概要と機能について、調査結果を絡めてご紹介します。 Azure Managed Grafana とは 可視化機能の検証 Azure Managed Grafana のリソース作成 データソースの登録 ダッシュボードの作成 サポートしているデータソース 他の Grafana サービスとの違い Power BI との違い まとめ Azure Managed Grafana とは Azure Managed Grafana は、 Microsoft と Grafana Lab 社が開発したフルマネージドの可視化サービスです。 Grafana は Grafana Lab 社が提供するサービスでしたが、このたび Microsoft とパートナーシップを結び、Azure のマネージドサービスとして公開されました。 もともと Grafana は オープンソース の可視化サービスとして知られており、Kibana や Metabase といったサービスとよく比較されている印象があります。 Azure Managed Grafana の特徴としては、下記の 4 点が紹介されています。 Azure に最適化 Azure Monitor や Azure Data Explorer などの Azure サービスの可視化を行うために最適化 ダッシュ ボード共有 複数人で Grafana ダッシュ ボードを共有する際に、管理者/編集者/閲覧者ロールの設定が可能 ユーザーロールとロール管理は後述する Azure AD と統合されている ID 管理 Azure AD（ Active Directory ）による ID 管理とユーザーロール管理の統合 マネージド ID による Azure サービスへのアクセス 簡単な操作 Azure Portal 上からワンクリックで Grafana ダッシュ ボードへ移動 グラフのテンプレート等を活用することで直感的な ダッシュ ボード作成が可能 詳細は下記のリンクをご参照ください。 https://azure.microsoft.com/ja-jp/services/managed-grafana/ 可視化機能の検証 実際に Azure Managed Grafana で ダッシュ ボードを作成し、可視化機能を検証してみました。 今回は可視化対象のデータソースとして、Azure の監視サービスである Azure Monitor を採用しました。 作業の流れは大まかに下記の通りとなります。 Azure Managed Grafana のリソース作成 データソースの登録 ダッシュ ボードの作成 Azure Managed Grafana のリソース作成 Azure Portal と Azure CLI から作成できますが、今回は GUI の Azure Portal から作成しました。 作成時に設定を変更しない限り、デフォルトで管理者ロールの割り当てやマネージド ID の作成が実行されるので、権限周りの設定も簡単です。 クイック スタート: Azure portal を使用して Azure Managed Grafana プレビュー インスタンスを作成する 作成が完了すると、リソース概要のエンドポイント項目に Grafana へのリンク先が表示されます。 こちらの URL を選択することで Grafana へアクセスでき、 ダッシュ ボード作成が可能になります。 データソースの登録 今回可視化する Azure Monitor を登録します。 Grafana にアクセスし、左側のメニューから Configuration > Data sources と選択すると、データソースの設定画面に遷移します。 Azure Monitor がデフォルトで表示されているので選択します。 他のデータソースは Add data source から追加できます。 Authentication にて、認証方式と サブスクリプション を設定します。 認証方式はマネージド ID（Maneged Identity）またはサービス プリンシパル （App Registration）を選択できますが、今回はマネージド ID による認証を設定しました。 Save & test を実行し、成功すればデータソースの登録は完了です。 ダッシュ ボードの作成 データソースの登録が完了したので、Azure Monitor で監視しているデータを可視化する ダッシュ ボードを作成します。 作成方法は大きく 2 種類あり、1 から自分で作成するパターンと、テンプレートを利用するパターンがあります。 まずは 1 から作成してみます。 左側のメニューから Create > Dashboard > Add panel と選択すると、 ダッシュ ボードの編集画面に遷移します。 デフォルトで表示されているグラフに意味はありません。 データソースに先ほど登録した Azure Monitor を設定し、グラフを作成してみます。 今回は 仮想マシン の CPU 使用率を可視化してみました。 作業は単純で、 サブスクリプション > リソースグループ > リソース > 可視化するメトリクス（Percentage CPU）の順に選択するだけです。 今回は CPU 使用率を例にしましたが、Azure Monitor をデータソースにすると、各リソースのさまざまなメトリクスを可視化できます。 仮想マシン だけでも、メモリの 稼働率 やディスクの使用率、インバウンド/アウトバウンドフローなどに対応しています。 Azure Monitor によって監視される内容 このようにしてどんどん ダッシュ ボードを作りこんでいくのですが、慣れない人ではどうしても手間がかかります。 そこで、用意されているテンプレートによる ダッシュ ボード作成も試してみました。 左側のメニューから Dashboard > Browse > Azure Monitor と選択すると、 ダッシュ ボードのテンプレートが一覧で表示されます。 下記の 9 種類がありますが、今回はストレージアカウントの可視化テンプレートを選択しました。 Azure Monitor アラート アプリケーションに関する インサイト Azure Cosmos DB Azure Data Explorer クラスタ Azure Key Vault ストレージアカウント （今回選択） リソースグループ内の 仮想マシン Log Analytics ワークスペース に紐づいた 仮想マシン 各リソース数 ストレージアカウントのテンプレートを選択すると、構成済みの ダッシュ ボードが表示されます。 上記画像では表示しきれていませんが、ストレージアカウントのテンプレートは 20 以上のパネル（グラフやカード）で構成されています。 これにより、リソースに関するほぼすべてのメトリクスを 1 枚の ダッシュ ボードで確認できます。 ここから編集を加えたり、新たなテンプレートを追加することも可能なので、ユーザーにとって非常に便利な機能です。 サポートしているデータソース Azure Managed Grafana では、Grafana Enterprise でサポートされているサービスをデータソースとして設定できます。 デフォルトで使用可能なデータソースは 17 種類あり、 クラウド サービスや各種 DB サービスに対応しています。 Alertmanager AWS CloudWatch Azure Monitor Elasticsearch Google Cloud Monitoring Graphite InfluxDB Loki Microsoft SQL Server ( MSSQL ) MySQL OpenTSDB PostgreSQL Prometheus Jaeger Zipkin Tempo Testdata 上記以外にも、 プラグイン を設定することでさまざまなデータソースの可視化が可能です。 プラグイン も含めると、サポートされているデータソースは 132 種類になります。 https://grafana.com/docs/grafana/latest/datasources/ https://grafana.com/grafana/plugins/?type=datasource&utm_source=grafana_add_ds 他の Grafana サービスとの違い 今回調査した Azure Managed Grafana の他に、Grafana には OSS /Grafana Cloud *1 /Grafana Enterprise といった提供形態があります。 料金やサポートといった点の差異を調査し、下記の表にまとめました。[^4] Azure Managed Grafana Grafana（ OSS ） Grafana Cloud Grafana Enterprise データソース 132 132 132 132 料金 従量課金 *2 無料 従量課金 *3 要問い合わせ セキュリティ Azure による保護 なし 専用ツール内包 専用ツール内包 サポート Azure サポート なし チケット制 24 時間 365 日 Power BI との違い Microsoft の代表的な可視化サービスとして Power BI が挙げられます。 Azure における可視化という点で比較すると、Azure Managed Grafana と Power BI の最大の違いは、サポートしている Azure サービスの種類です。 Azure Managed Grafana で可視化できる Azure サービスは、 プラグイン 設定込みでも 3 つ（Azure Monitor/Azure Data Explorer /Azure DevOps）のみです。 Azure Monitor など、Azure Managed Grafana がサポートしているデータソースで取得できるデータは、ログやメトリクスといった監視情報が多くを占めています。 Grafana ダッシュ ボード上ではアラートの設定が可能なため、Azure PaaS を可視化のデータソースとした場合は取得した監視情報の可視化に特化している印象です。 一方で、Power BI は Azure SQL Database や Azure Synapse Analytics をはじめ、Azure のデータサービスをほぼ網羅しています。 そのため、Azure 上に構築したデータウェアハウスやデータマートに蓄積したデータを可視化したい、というシナリオには Power BI の方が適しているといえます。 Power BI データ ソース まとめ 本記事では、Azure Managed Grafana の概要と機能について、筆者の調査結果をもとにご紹介しました。 Azure Managed Grafana は 4 月にパブリックプレビューが開始されたばかりのサービスのため、今後もアップデートに注目したいと思います。 X（クロス） イノベーション 本部 クラウド イノベーション センターでは、共に働いてくれる仲間を探しています。 本記事でご紹介したような調査検証をはじめ、 クラウド アーキテクトとしての業務に興味がある方のご応募お待ちしております。 https://groupcareers.isid.co.jp/pgisid/u/job.phtml?job_code=243&company_code=1 執筆： @tamura.kohei 、レビュー： @sato.taichi （ Shodo で執筆されました ） *1 : Grafana Lab 社が独自の クラウド リソースとして提供しているサービス *2 : 米国東部リージョンでの見積もり：リソース 1 つにつき $0.069/時間に加え、ユーザー 1人あたり $6/月（ただし 3 人まで無料） *3 : 使用したデータ量による従量課金に加え、ユーザー 1人あたり $8/月（ただし 3 人まで無料）

こんにちは。X イノベーション 本部 クラウド イノベーション センターの柴田です。 本記事では Renovate を使った Kubernetes エコシステムの自動バージョンアップを紹介します。 なお本記事の内容は Kubernetes Meetup Tokyo #48 で紹介された 個人運用k8sクラスタの構成要素の技術選定 - でこてっくろぐ ねお にインスパイアされています。 背景 Renovateとは Platform Manager Datasource Versioning RenovateでKubernetesエコシステムを自動更新する 更新対象のKubernetesクラスタ Renovateを実行する Renovateの設定 実行結果 おわりに 背景 Kubernetes では、 Kubernetes と連携して動作する様々な OSS やサービスを活用することで、アプリケーションの開発・運用に関する生産性向上や効率化を図ることができます。 本記事ではそれらを Kubernetes エコシステムと呼びます。 多くの Kubernetes エコシステムは開発元が提供しているコンテナイメージや マニフェスト ファイルを自分たちの Kubernetes クラスタ へデプロイして利用します。 開発が盛んな Kubernetes エコシステムでは、頻繁に新機能やセキュリティ改善が実装され、新しいバージョンとしてリリースされます。 Kubernetes エコシステムの恩恵を最大限に享受するにはなるべく新しいバージョンを使用することが望ましいです。 また Kubernetes では、 マニフェスト ファイルを GitOps と呼ばれる手法で管理・デプロイすることが多いです。 GitOpsはWeaveworks社が提唱した継続的デプロイの方法であり、以下の特徴があります。 システム全体が宣言的に記述されていること。 マニフェスト がgitで管理され、それが信頼できる唯一の情報源（Single Source of Truth）であること。 承認された マニフェスト の変更が自動的にデプロイされること。またその際 Kubernetes クラスタ への認証情報を外部（例えばCIサーバなど）に持たせる必要がないこと。 マニフェスト と Kubernetes クラスタ の間に差分がある場合、それを検知したり、自動的に修正したりできること。 GitOpsを実現するツールには例えば Argo CD 、 Flux 、 PipeCD があります。 以上から、 Kubernetes エコシステムの新しいバージョンがリリースされる度に、git リポジトリ で管理されたそれらの マニフェスト を最新の内容に更新できることが望ましいです。 また、運用負荷がかからないよう、 マニフェスト の更新はなるべく自動的に行えることが望ましいです。 Renovateとは Renovate はプロジェクトの依存関係の更新を自動化するツールです。 似たようなツールに Dependabot などがあります。 Renovateはアプリケーションのライブラリの自動バージョンアップに使われることが多いですが、アプリケーション開発以外の用途でも利用できます。 ここからはRenovateで何ができるかを簡単に説明します。 なお本記事では Renovate v32.97.0 を前提とします。 Platform Renovateは以下に格納された依存関係ファイルを更新できます。 Azure DevOps Azure DevOps Server Bitbucket Cloud Bitbucket Server Gitea GitHub GitHub Enterprise Server GitLab Manager Renovateは以下の依存関係を更新できます。 docker : ansible , docker-compose , dockerfile , droneci , gitlabci , kubernetes dotnet : cake , nuget elixir : mix golang : gomod java : gradle , maven js : meteor , npm node : nodenv , nvm , travis php : composer python : pip-compile , pip_requirements , pip_setup , pipenv , poetry , pyenv , setup-cfg ruby : bundler , ruby-version rust : cargo other : ansible-galaxy , argocd , azure-pipelines , batect , batect-wrapper , bazel , bitbucket-pipelines , buildkite , cdnurl , circleci , cloudbuild , cocoapods , conan , deps-edn , flux , fvm , git-submodules , github-actions , gitlabci-include , gradle-wrapper , helm-requirements , helm-values , helmfile , helmsman , helmv3 , homebrew , html , jenkins , jsonnet-bundler , kustomize , leiningen , pre-commit , pub , regex , sbt , swift , terraform , terraform-version , terragrunt , terragrunt-version , velaci Datasource Renovateは以下の依存先の更新を検知できます。 adoptium-java , artifactory , aws-machine-image , bitbucket-tags , cdnjs , clojure , conan , conda , crate , dart , docker , flutter-version , galaxy , galaxy-collection , git-refs , git-tags , github-releases , github-tags , gitlab-packages , gitlab-releases , gitlab-tags , go , golang-version , gradle-version , helm , hex , jenkins-plugins , maven , node , npm , nuget , orb , packagist , pod , pypi , repology , ruby-version , rubygems , sbt-package , sbt-plugin , terraform-module , terraform-provider Versioning 依存関係を更新するためにはバージョン表記を比較できる必要があります。 Renovateでは以下のフォーマットのバージョン表記を扱えます。 aws-machine-image , cargo , composer , conan , debian , docker , git , gradle , hashicorp , helm , hex , ivy , loose , maven , node , npm , nuget , pep440 , poetry , regex , rez , ruby , semver , semver-coerced , swift , ubuntu Renovateで Kubernetes エコシステムを自動更新する では実際にRenovateを使って Kubernetes エコシステムの更新作業を自動化したいと思います。 更新対象の Kubernetes クラスタ 今回は私が検証用途で使用している Kubernetes クラスタ を対象にします。 この Kubernetes クラスタ には以下の特徴があります。 すべての マニフェスト は GitHub リポジトリ で管理しています。 マニフェスト を Kubernetes クラスタ へデプロイするために Argo CD と Flux を使用しています。 通常は片方だけで十分ですが、検証用途の環境のため両方とも動かしています。 Kubernetes エコシステムの マニフェスト は、以下のいずれかの方法で管理しています。 Helm : 公式や3rd partyが提供するHelm Chartを利用します。 具体的にはArgo CDの Application リソースやFluxの HelmRelease リソースとして Kubernetes クラスタ へデプロイします。 またローカル環境で マニフェスト を生成できるよう helmfile も使用しています。 Kustomize : kustomize を使って公式が提供する マニフェスト を https 経由で参照します。 イメージタグを書き換えることもあります。 以下は amazon-vpc-cni-k8s の マニフェスト を生成する kustomization.yaml の例です。 apiVersion : kustomize.config.k8s.io/v1beta1 kind : Kustomization resources : - https://raw.githubusercontent.com/aws/amazon-vpc-cni-k8s/v1.10.3/config/master/aws-k8s-cni.yaml images : - name : 602401143452.dkr.ecr.us-west-2.amazonaws.com/amazon-k8s-cni newName : 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni newTag : v1.10.3 - name : 602401143452.dkr.ecr.us-west-2.amazonaws.com/amazon-k8s-cni-init newName : 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni-init newTag : v1.10.3 Renovateを実行する Renovateには大まかに2種類の実行方法があります。 GitHub App を使用する 自分たちでRenovateを実行する（Self-Hosting） 今回は GitHub Actions renovatebot/github-action を使用して自分たちでRenovateを実行します。 その他のSelf-Hostingの実行方法は Self-Hosting Renovate を参照してください。 以下は GitHub Actionsのワークフローです。 # .github/workflows/renovate.yaml name : Renovate on : schedule : - cron : '0 0 * * *' # Run workflow at 09:00 AM JST every day jobs : renovate : name : Renovate runs-on : ubuntu-latest steps : - uses : actions/checkout@v3 - name : Run renovate uses : renovatebot/github-action@v32.97.0 with : token : ${{ secrets.GH_TOKEN }} configurationFile : renovate.json GH_TOKEN は https://github.com/renovatebot/github-action#token に従って作成した GitHub のPersonal Access Tokenです。 GitHub Actionsでは GITHUB_TOKEN が利用できますが、 https://github.com/renovatebot/github-action#token に Note that the GITHUB_TOKEN secret can't be used for authenticating Renovate. とあるためこのようにしています。 Renovateの設定 次にRenovateの設定ファイル renovate.json を作成します。 今回使用した設定は以下のとおりです。 { " repositories ": [ " ISID/renovate-sample " ] , " extends ": [ " config:base ", " :prHourlyLimitNone ", " :prConcurrentLimitNone " ] , " enabledManagers ": [ " argocd ", " flux ", " helmfile ", " kustomize ", " regex " ] , " labels ": [ " renovate " ] , " assignees ": [ " @ShibataTakao " ] , " argocd ": { " fileMatch ": [ " ^manifests/argo-cd-apps/.* \\ .ya?ml$ " ] } , " flux ": { " fileMatch ": [ " ^manifests/flux/.* \\ .ya?ml$ ", " ^manifests/flux-ks/.* \\ .ya?ml$ " ] } , " regexManagers ": [ { " fileMatch ": [ " (^|/)kustomization \\ .ya?ml$ " ] , " matchStrings ": [ " https://raw \\ .githubusercontent \\ .com/(?<depName>[^/]+/[^/]+)/(?<currentValue>[^/]+)/.* ", " https://github \\ .com/(?<depName>[^/]+/[^/]+)/releases/download/(?<currentValue>[^/]+)/.* " ] , " datasourceTemplate ": " github-releases ", " versioningTemplate ": " semver " } ] , " packageRules ": [ { " matchPackageNames ": [ " kubernetes/autoscaler " ] , " matchDatasources ": [ " github-tags ", " github-releases " ] , " versioning ": " regex:^cluster-autoscaler-(?<major> \\ d+) \\ .(?<minor> \\ d+) \\ .(?<patch> \\ d+)?$ ", " allowedVersions ": " < 1.23.0 " } , { " matchPackageNames ": [ " k8s.gcr.io/autoscaling/cluster-autoscaler " ] , " matchDatasources ": [ " docker " ] , " allowedVersions ": " < 1.23.0 " } ] } 各設定を順に見ていきましょう。 " repositories ": [ " ISID/renovate-sample " ] repositories にはRenovateの対象とする リポジトリ を指定します。 リポジトリ 名を直接指定するかわりに autodiscover と autodiscoverFilter を設定してRenovateの対象とする リポジトリ を自動的に検出することもできます。 " extends ": [ " config:base ", " :prHourlyLimitNone ", " :prConcurrentLimitNone " ] extends には Preset を指定します。 Presetは定義済みの設定の集合です。 デフォルトで定義されたPresetを使うだけでなく、独自のPresetを定義することもできます。 今回は以下のPresetを使用します。 config:base :prHourlyLimitNone :prConcurrentLimitNone " enabledManagers ": [ " argocd ", " flux ", " helmfile ", " kustomize ", " regex " ] enabledManagers を設定して明示的に指定したManagerのみを有効化します。 多くのManagerはデフォルトで有効になっています。 各Managerの有効/無効は <manager>.enabled の値を true または false に設定することで変更できます。 または enabledManagers に有効にするManagerを明示的に指定することで、指定したManagerのみを有効にできます。 詳細は Enabling and disabling managers を参照してください。 今回は以下のManagerのみを有効化します。 argocd flux helmfile kustomize regex 今回の更新対象のうち Helm : 公式や3rd partyが提供するHelm Chartを利用します。 具体的にはArgo CDの Application リソースやFluxの HelmRelease リソースとして Kubernetes クラスタ へデプロイします。 またローカル環境で マニフェスト を生成できるよう helmfile も使用しています。 は argocd と flux と helmfile を使ってHelm ChartをバージョンアップするためのPRを自動成します。 また Kustomize : kustomize を使って公式が提供する マニフェスト を https 経由で参照します。 イメージタグを書き換えることもあります。 は kustomize と regex を使って参照先の マニフェスト のURLやイメージタグをバージョンアップするためのPRを自動作成します。 regex については後ほどもう少し詳しく説明します。 " labels ": [ " renovate " ] , " assignees ": [ " @ShibataTakao " ] labels と assignees にはRenovateが依存関係を更新するために作成するPRのLabelsとAssigneesを設定します。 " argocd ": { " fileMatch ": [ " ^manifests/argo-cd-apps/.* \\ .ya?ml$ " ] } , " flux ": { " fileMatch ": [ " ^manifests/flux/.* \\ .ya?ml$ ", " ^manifests/flux-ks/.* \\ .ya?ml$ " ] } fileMatch には各Managerの依存関係ファイルの追加パスを 正規表現 で記述します。 多くのManagerにはデフォルトの fileMatch が設定されていますが、デフォルトの fileMatch が設定されていない場合や独自のファイルパスを追加で設定したい場合には、 fileMatch にそれらを追加設定できます。 " regexManagers ": [ { " fileMatch ": [ " (^|/)kustomization \\ .ya?ml$ " ] , " matchStrings ": [ " https://raw \\ .githubusercontent \\ .com/(?<depName>[^/]+/[^/]+)/(?<currentValue>[^/]+)/.* ", " https://github \\ .com/(?<depName>[^/]+/[^/]+)/releases/download/(?<currentValue>[^/]+)/.* " ] , " datasourceTemplate ": " github-releases ", " versioningTemplate ": " semver " } ] regexManagers には regex Managerの設定を記述します。 regex を用いることで 正規表現 を使用して依存関係を検出・自動更新するユーザー独自の仕組みを構築できます。 今回は Kustomize : kustomize を使って公式が提供する マニフェスト を https 経由で参照します。 イメージタグを書き換えることもあります。 以下は amazon-vpc-cni-k8s の マニフェスト を生成する kustomization.yaml の例です。 yaml apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization resources: - https://raw.githubusercontent.com/aws/amazon-vpc-cni-k8s/v1.10.3/config/master/aws-k8s-cni.yaml images: - name: 602401143452.dkr.ecr.us-west-2.amazonaws.com/amazon-k8s-cni newName: 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni newTag: v1.10.3 - name: 602401143452.dkr.ecr.us-west-2.amazonaws.com/amazon-k8s-cni-init newName: 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni-init newTag: v1.10.3 で述べた参照先の マニフェスト のURLを自動更新するためにこの仕組みを利用します。 fileMatch には更新対象のファイル kustomization.yaml のファイルパスを 正規表現 で設定します。 matchStrings には kustomization.yaml 内の更新対象の文字列を設定します。 今回は https://raw.githubusercontent.com/<user>/<repo>/<tag>/<filepath> （ GitHub リポジトリ のコンテンツ） https://github.com/<user>/<repo>/releases/download/<release>/<filepath> （ GitHub リポジトリ のリリースのアセット） が更新対象です。 regex では更新対象の依存関係に関する以下の設定をする必要があります。 これらは、該当する設定項目に値を設定するか、 matchStrings の 正規表現 に名前付きキャプチャグループを用いることで設定できます。 Capture Group Config Field 必須 説明 currentValue なし 必須 現在のバージョン。Renovateによって更新される。 depName depNameTemplate 必須 依存関係の名前。 packageName packageNameTemplate オプション パッケージ名。省略した場合 depName と同じになる。 datasource datasourceTemplate 必須 依存関係の参照先（ Datasource ）。 depType depTypeTemplate オプション 依存関係の種類。 versioning versioningTemplate オプション 依存関係のバージョン表記（ Versioning ）。デフォルトは semver 。 extractVersion extractVersionTemplate オプション キャプチャしたバージョンと Datasource のバージョンの表記が異なる場合に使用する。詳細は extractVersion を参照。 currentDigest なし オプション 現在のDigest。Renovateによって更新される。 registryUrl registryUrlTemplate オプション 依存関係の参照先のURL。詳細は registryUrls を参照。 " packageRules ": [ { " matchPackageNames ": [ " kubernetes/autoscaler " ] , " matchDatasources ": [ " github-tags ", " github-releases " ] , " versioning ": " regex:^cluster-autoscaler-(?<major> \\ d+) \\ .(?<minor> \\ d+) \\ .(?<patch> \\ d+)?$ ", " allowedVersions ": " < 1.23.0 " } , { " matchPackageNames ": [ " k8s.gcr.io/autoscaling/cluster-autoscaler " ] , " matchDatasources ": [ " docker " ] , " allowedVersions ": " < 1.23.0 " } ] packageRules には特定の依存関係の更新における追加ルールを設定します。 今回は Cluster Autoscaler に関する以下の追加ルールを設定します。 Cluster AutoscalerのGiHub リポジトリ におけるタグやリリースの 命名規則 は cluster-autoscaler-<major>.<minor>.<patch> です（例： cluster-autoscaler-1.22.3 ）。それを解釈できるよう versioning に regex の 正規表現 を指定します。 Cluster Autoscalerは対象の Kubernetes クラスタ に対応したバージョンを動かす必要があります。 今回の対象である Kubernetes クラスタ は現時点でv1.22です。 よってCluster Autoscalerのバージョンもv1.22.Xである必要があります。 RenovateがCluster Autoscalerをv1.23.X以降に更新しないよう allowedVersions を指定します。 実行結果 設定に従い GitHub Actionsが毎朝9時にRenovateを実行します。 Helm Chartに更新がある場合は以下のようなPRが自動的に作成されます。 Kustomizeが参照する マニフェスト のURLやイメージタグに更新がある場合は以下のようなPRが自動的に作成されます。 PRの説明文には公式 GitHub リポジトリ のReleaseからRelease Notesが転記されており、具体的な変更内容を知ることができます。 また Dependency Dashboard を有効にしておくと、Renovateが作成したPRを一覧して管理できるIssueが作成されます。 Dependency Dashboard を有効化する設定はPreset config:base に含まれています。 あとはこれらのPRをマージし、Argo CDやFluxを使って Kubernetes クラスタ へデプロイするだけで、 Kubernetes エコシステムの更新は完了です。 なお今回は全てのPRの承認・マージを手動で行う形にしましたが、特定の更新のみ承認・マージを必要にしてそれ以外はPRを自動的にマージするよう設定することも可能です。 特定の更新として、例えば特定のパッケージやメジャーバージョンの更新などが設定できます。 おわりに 本記事ではRenovateを使った Kubernetes エコシステムの自動バージョンアップを紹介しました。 開発が盛んな Kubernetes エコシステムでは、頻繁に新機能やセキュリティ改善が実装され、新しいバージョンとしてリリースされます。 Renovateを活用し、 Kubernetes エコシステムを頻繁かつ自動的にバージョンアップすることで、それらの恩恵を最大限に享受できます。 本記事が少しでも Kubernetes クラスタ を運用している方のお役に立てば幸いです。 私たちは同じチームで働いてくれる仲間を探しています。 クラウド アーキテクトの業務に興味がある方のご応募をお待ちしています。 クラウドアーキテクト 執筆： @shibata.takao 、レビュー： @yamashita.tsuyoshi （ Shodo で執筆されました ）

こんにちは。X イノベーション 本部 クラウド イノベーション センターの柴田です。 本記事では Renovate を使った Kubernetes エコシステムの自動バージョンアップを紹介します。 なお本記事の内容は Kubernetes Meetup Tokyo #48 で紹介された 個人運用k8sクラスタの構成要素の技術選定 - でこてっくろぐ ねお にインスパイアされています。 背景 Renovateとは Platform Manager Datasource Versioning RenovateでKubernetesエコシステムを自動更新する 更新対象のKubernetesクラスタ Renovateを実行する Renovateの設定 実行結果 おわりに 背景 Kubernetes では、 Kubernetes と連携して動作する様々な OSS やサービスを活用することで、アプリケーションの開発・運用に関する生産性向上や効率化を図ることができます。 本記事ではそれらを Kubernetes エコシステムと呼びます。 多くの Kubernetes エコシステムは開発元が提供しているコンテナイメージや マニフェスト ファイルを自分たちの Kubernetes クラスタ へデプロイして利用します。 開発が盛んな Kubernetes エコシステムでは、頻繁に新機能やセキュリティ改善が実装され、新しいバージョンとしてリリースされます。 Kubernetes エコシステムの恩恵を最大限に享受するにはなるべく新しいバージョンを使用することが望ましいです。 また Kubernetes では、 マニフェスト ファイルを GitOps と呼ばれる手法で管理・デプロイすることが多いです。 GitOpsはWeaveworks社が提唱した継続的デプロイの方法であり、以下の特徴があります。 システム全体が宣言的に記述されていること。 マニフェスト がgitで管理され、それが信頼できる唯一の情報源（Single Source of Truth）であること。 承認された マニフェスト の変更が自動的にデプロイされること。またその際 Kubernetes クラスタ への認証情報を外部（例えばCIサーバなど）に持たせる必要がないこと。 マニフェスト と Kubernetes クラスタ の間に差分がある場合、それを検知したり、自動的に修正したりできること。 GitOpsを実現するツールには例えば Argo CD 、 Flux 、 PipeCD があります。 以上から、 Kubernetes エコシステムの新しいバージョンがリリースされる度に、git リポジトリ で管理されたそれらの マニフェスト を最新の内容に更新できることが望ましいです。 また、運用負荷がかからないよう、 マニフェスト の更新はなるべく自動的に行えることが望ましいです。 Renovateとは Renovate はプロジェクトの依存関係の更新を自動化するツールです。 似たようなツールに Dependabot などがあります。 Renovateはアプリケーションのライブラリの自動バージョンアップに使われることが多いですが、アプリケーション開発以外の用途でも利用できます。 ここからはRenovateで何ができるかを簡単に説明します。 なお本記事では Renovate v32.97.0 を前提とします。 Platform Renovateは以下に格納された依存関係ファイルを更新できます。 Azure DevOps Azure DevOps Server Bitbucket Cloud Bitbucket Server Gitea GitHub GitHub Enterprise Server GitLab Manager Renovateは以下の依存関係を更新できます。 docker : ansible , docker-compose , dockerfile , droneci , gitlabci , kubernetes dotnet : cake , nuget elixir : mix golang : gomod java : gradle , maven js : meteor , npm node : nodenv , nvm , travis php : composer python : pip-compile , pip_requirements , pip_setup , pipenv , poetry , pyenv , setup-cfg ruby : bundler , ruby-version rust : cargo other : ansible-galaxy , argocd , azure-pipelines , batect , batect-wrapper , bazel , bitbucket-pipelines , buildkite , cdnurl , circleci , cloudbuild , cocoapods , conan , deps-edn , flux , fvm , git-submodules , github-actions , gitlabci-include , gradle-wrapper , helm-requirements , helm-values , helmfile , helmsman , helmv3 , homebrew , html , jenkins , jsonnet-bundler , kustomize , leiningen , pre-commit , pub , regex , sbt , swift , terraform , terraform-version , terragrunt , terragrunt-version , velaci Datasource Renovateは以下の依存先の更新を検知できます。 adoptium-java , artifactory , aws-machine-image , bitbucket-tags , cdnjs , clojure , conan , conda , crate , dart , docker , flutter-version , galaxy , galaxy-collection , git-refs , git-tags , github-releases , github-tags , gitlab-packages , gitlab-releases , gitlab-tags , go , golang-version , gradle-version , helm , hex , jenkins-plugins , maven , node , npm , nuget , orb , packagist , pod , pypi , repology , ruby-version , rubygems , sbt-package , sbt-plugin , terraform-module , terraform-provider Versioning 依存関係を更新するためにはバージョン表記を比較できる必要があります。 Renovateでは以下のフォーマットのバージョン表記を扱えます。 aws-machine-image , cargo , composer , conan , debian , docker , git , gradle , hashicorp , helm , hex , ivy , loose , maven , node , npm , nuget , pep440 , poetry , regex , rez , ruby , semver , semver-coerced , swift , ubuntu Renovateで Kubernetes エコシステムを自動更新する では実際にRenovateを使って Kubernetes エコシステムの更新作業を自動化したいと思います。 更新対象の Kubernetes クラスタ 今回は私が検証用途で使用している Kubernetes クラスタ を対象にします。 この Kubernetes クラスタ には以下の特徴があります。 すべての マニフェスト は GitHub リポジトリ で管理しています。 マニフェスト を Kubernetes クラスタ へデプロイするために Argo CD と Flux を使用しています。 通常は片方だけで十分ですが、検証用途の環境のため両方とも動かしています。 Kubernetes エコシステムの マニフェスト は、以下のいずれかの方法で管理しています。 Helm : 公式や3rd partyが提供するHelm Chartを利用します。 具体的にはArgo CDの Application リソースやFluxの HelmRelease リソースとして Kubernetes クラスタ へデプロイします。 またローカル環境で マニフェスト を生成できるよう helmfile も使用しています。 Kustomize : kustomize を使って公式が提供する マニフェスト を https 経由で参照します。 イメージタグを書き換えることもあります。 以下は amazon-vpc-cni-k8s の マニフェスト を生成する kustomization.yaml の例です。 apiVersion : kustomize.config.k8s.io/v1beta1 kind : Kustomization resources : - https://raw.githubusercontent.com/aws/amazon-vpc-cni-k8s/v1.10.3/config/master/aws-k8s-cni.yaml images : - name : 602401143452.dkr.ecr.us-west-2.amazonaws.com/amazon-k8s-cni newName : 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni newTag : v1.10.3 - name : 602401143452.dkr.ecr.us-west-2.amazonaws.com/amazon-k8s-cni-init newName : 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni-init newTag : v1.10.3 Renovateを実行する Renovateには大まかに2種類の実行方法があります。 GitHub App を使用する 自分たちでRenovateを実行する（Self-Hosting） 今回は GitHub Actions renovatebot/github-action を使用して自分たちでRenovateを実行します。 その他のSelf-Hostingの実行方法は Self-Hosting Renovate を参照してください。 以下は GitHub Actionsのワークフローです。 # .github/workflows/renovate.yaml name : Renovate on : schedule : - cron : '0 0 * * *' # Run workflow at 09:00 AM JST every day jobs : renovate : name : Renovate runs-on : ubuntu-latest steps : - uses : actions/checkout@v3 - name : Run renovate uses : renovatebot/github-action@v32.97.0 with : token : ${{ secrets.GH_TOKEN }} configurationFile : renovate.json GH_TOKEN は https://github.com/renovatebot/github-action#token に従って作成した GitHub のPersonal Access Tokenです。 GitHub Actionsでは GITHUB_TOKEN が利用できますが、 https://github.com/renovatebot/github-action#token に Note that the GITHUB_TOKEN secret can't be used for authenticating Renovate. とあるためこのようにしています。 Renovateの設定 次にRenovateの設定ファイル renovate.json を作成します。 今回使用した設定は以下のとおりです。 { " repositories ": [ " ISID/renovate-sample " ] , " extends ": [ " config:base ", " :prHourlyLimitNone ", " :prConcurrentLimitNone " ] , " enabledManagers ": [ " argocd ", " flux ", " helmfile ", " kustomize ", " regex " ] , " labels ": [ " renovate " ] , " assignees ": [ " @ShibataTakao " ] , " argocd ": { " fileMatch ": [ " ^manifests/argo-cd-apps/.* \\ .ya?ml$ " ] } , " flux ": { " fileMatch ": [ " ^manifests/flux/.* \\ .ya?ml$ ", " ^manifests/flux-ks/.* \\ .ya?ml$ " ] } , " regexManagers ": [ { " fileMatch ": [ " (^|/)kustomization \\ .ya?ml$ " ] , " matchStrings ": [ " https://raw \\ .githubusercontent \\ .com/(?<depName>[^/]+/[^/]+)/(?<currentValue>[^/]+)/.* ", " https://github \\ .com/(?<depName>[^/]+/[^/]+)/releases/download/(?<currentValue>[^/]+)/.* " ] , " datasourceTemplate ": " github-releases ", " versioningTemplate ": " semver " } ] , " packageRules ": [ { " matchPackageNames ": [ " kubernetes/autoscaler " ] , " matchDatasources ": [ " github-tags ", " github-releases " ] , " versioning ": " regex:^cluster-autoscaler-(?<major> \\ d+) \\ .(?<minor> \\ d+) \\ .(?<patch> \\ d+)?$ ", " allowedVersions ": " < 1.23.0 " } , { " matchPackageNames ": [ " k8s.gcr.io/autoscaling/cluster-autoscaler " ] , " matchDatasources ": [ " docker " ] , " allowedVersions ": " < 1.23.0 " } ] } 各設定を順に見ていきましょう。 " repositories ": [ " ISID/renovate-sample " ] repositories にはRenovateの対象とする リポジトリ を指定します。 リポジトリ 名を直接指定するかわりに autodiscover と autodiscoverFilter を設定してRenovateの対象とする リポジトリ を自動的に検出することもできます。 " extends ": [ " config:base ", " :prHourlyLimitNone ", " :prConcurrentLimitNone " ] extends には Preset を指定します。 Presetは定義済みの設定の集合です。 デフォルトで定義されたPresetを使うだけでなく、独自のPresetを定義することもできます。 今回は以下のPresetを使用します。 config:base :prHourlyLimitNone :prConcurrentLimitNone " enabledManagers ": [ " argocd ", " flux ", " helmfile ", " kustomize ", " regex " ] enabledManagers を設定して明示的に指定したManagerのみを有効化します。 多くのManagerはデフォルトで有効になっています。 各Managerの有効/無効は <manager>.enabled の値を true または false に設定することで変更できます。 または enabledManagers に有効にするManagerを明示的に指定することで、指定したManagerのみを有効にできます。 詳細は Enabling and disabling managers を参照してください。 今回は以下のManagerのみを有効化します。 argocd flux helmfile kustomize regex 今回の更新対象のうち Helm : 公式や3rd partyが提供するHelm Chartを利用します。 具体的にはArgo CDの Application リソースやFluxの HelmRelease リソースとして Kubernetes クラスタ へデプロイします。 またローカル環境で マニフェスト を生成できるよう helmfile も使用しています。 は argocd と flux と helmfile を使ってHelm ChartをバージョンアップするためのPRを自動成します。 また Kustomize : kustomize を使って公式が提供する マニフェスト を https 経由で参照します。 イメージタグを書き換えることもあります。 は kustomize と regex を使って参照先の マニフェスト のURLやイメージタグをバージョンアップするためのPRを自動作成します。 regex については後ほどもう少し詳しく説明します。 " labels ": [ " renovate " ] , " assignees ": [ " @ShibataTakao " ] labels と assignees にはRenovateが依存関係を更新するために作成するPRのLabelsとAssigneesを設定します。 " argocd ": { " fileMatch ": [ " ^manifests/argo-cd-apps/.* \\ .ya?ml$ " ] } , " flux ": { " fileMatch ": [ " ^manifests/flux/.* \\ .ya?ml$ ", " ^manifests/flux-ks/.* \\ .ya?ml$ " ] } fileMatch には各Managerの依存関係ファイルの追加パスを 正規表現 で記述します。 多くのManagerにはデフォルトの fileMatch が設定されていますが、デフォルトの fileMatch が設定されていない場合や独自のファイルパスを追加で設定したい場合には、 fileMatch にそれらを追加設定できます。 " regexManagers ": [ { " fileMatch ": [ " (^|/)kustomization \\ .ya?ml$ " ] , " matchStrings ": [ " https://raw \\ .githubusercontent \\ .com/(?<depName>[^/]+/[^/]+)/(?<currentValue>[^/]+)/.* ", " https://github \\ .com/(?<depName>[^/]+/[^/]+)/releases/download/(?<currentValue>[^/]+)/.* " ] , " datasourceTemplate ": " github-releases ", " versioningTemplate ": " semver " } ] regexManagers には regex Managerの設定を記述します。 regex を用いることで 正規表現 を使用して依存関係を検出・自動更新するユーザー独自の仕組みを構築できます。 今回は Kustomize : kustomize を使って公式が提供する マニフェスト を https 経由で参照します。 イメージタグを書き換えることもあります。 以下は amazon-vpc-cni-k8s の マニフェスト を生成する kustomization.yaml の例です。 yaml apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization resources: - https://raw.githubusercontent.com/aws/amazon-vpc-cni-k8s/v1.10.3/config/master/aws-k8s-cni.yaml images: - name: 602401143452.dkr.ecr.us-west-2.amazonaws.com/amazon-k8s-cni newName: 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni newTag: v1.10.3 - name: 602401143452.dkr.ecr.us-west-2.amazonaws.com/amazon-k8s-cni-init newName: 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni-init newTag: v1.10.3 で述べた参照先の マニフェスト のURLを自動更新するためにこの仕組みを利用します。 fileMatch には更新対象のファイル kustomization.yaml のファイルパスを 正規表現 で設定します。 matchStrings には kustomization.yaml 内の更新対象の文字列を設定します。 今回は https://raw.githubusercontent.com/<user>/<repo>/<tag>/<filepath> （ GitHub リポジトリ のコンテンツ） https://github.com/<user>/<repo>/releases/download/<release>/<filepath> （ GitHub リポジトリ のリリースのアセット） が更新対象です。 regex では更新対象の依存関係に関する以下の設定をする必要があります。 これらは、該当する設定項目に値を設定するか、 matchStrings の 正規表現 に名前付きキャプチャグループを用いることで設定できます。 Capture Group Config Field 必須 説明 currentValue なし 必須 現在のバージョン。Renovateによって更新される。 depName depNameTemplate 必須 依存関係の名前。 packageName packageNameTemplate オプション パッケージ名。省略した場合 depName と同じになる。 datasource datasourceTemplate 必須 依存関係の参照先（ Datasource ）。 depType depTypeTemplate オプション 依存関係の種類。 versioning versioningTemplate オプション 依存関係のバージョン表記（ Versioning ）。デフォルトは semver 。 extractVersion extractVersionTemplate オプション キャプチャしたバージョンと Datasource のバージョンの表記が異なる場合に使用する。詳細は extractVersion を参照。 currentDigest なし オプション 現在のDigest。Renovateによって更新される。 registryUrl registryUrlTemplate オプション 依存関係の参照先のURL。詳細は registryUrls を参照。 " packageRules ": [ { " matchPackageNames ": [ " kubernetes/autoscaler " ] , " matchDatasources ": [ " github-tags ", " github-releases " ] , " versioning ": " regex:^cluster-autoscaler-(?<major> \\ d+) \\ .(?<minor> \\ d+) \\ .(?<patch> \\ d+)?$ ", " allowedVersions ": " < 1.23.0 " } , { " matchPackageNames ": [ " k8s.gcr.io/autoscaling/cluster-autoscaler " ] , " matchDatasources ": [ " docker " ] , " allowedVersions ": " < 1.23.0 " } ] packageRules には特定の依存関係の更新における追加ルールを設定します。 今回は Cluster Autoscaler に関する以下の追加ルールを設定します。 Cluster AutoscalerのGiHub リポジトリ におけるタグやリリースの 命名規則 は cluster-autoscaler-<major>.<minor>.<patch> です（例： cluster-autoscaler-1.22.3 ）。それを解釈できるよう versioning に regex の 正規表現 を指定します。 Cluster Autoscalerは対象の Kubernetes クラスタ に対応したバージョンを動かす必要があります。 今回の対象である Kubernetes クラスタ は現時点でv1.22です。 よってCluster Autoscalerのバージョンもv1.22.Xである必要があります。 RenovateがCluster Autoscalerをv1.23.X以降に更新しないよう allowedVersions を指定します。 実行結果 設定に従い GitHub Actionsが毎朝9時にRenovateを実行します。 Helm Chartに更新がある場合は以下のようなPRが自動的に作成されます。 Kustomizeが参照する マニフェスト のURLやイメージタグに更新がある場合は以下のようなPRが自動的に作成されます。 PRの説明文には公式 GitHub リポジトリ のReleaseからRelease Notesが転記されており、具体的な変更内容を知ることができます。 また Dependency Dashboard を有効にしておくと、Renovateが作成したPRを一覧して管理できるIssueが作成されます。 Dependency Dashboard を有効化する設定はPreset config:base に含まれています。 あとはこれらのPRをマージし、Argo CDやFluxを使って Kubernetes クラスタ へデプロイするだけで、 Kubernetes エコシステムの更新は完了です。 なお今回は全てのPRの承認・マージを手動で行う形にしましたが、特定の更新のみ承認・マージを必要にしてそれ以外はPRを自動的にマージするよう設定することも可能です。 特定の更新として、例えば特定のパッケージやメジャーバージョンの更新などが設定できます。 おわりに 本記事ではRenovateを使った Kubernetes エコシステムの自動バージョンアップを紹介しました。 開発が盛んな Kubernetes エコシステムでは、頻繁に新機能やセキュリティ改善が実装され、新しいバージョンとしてリリースされます。 Renovateを活用し、 Kubernetes エコシステムを頻繁かつ自動的にバージョンアップすることで、それらの恩恵を最大限に享受できます。 本記事が少しでも Kubernetes クラスタ を運用している方のお役に立てば幸いです。 私たちは同じチームで働いてくれる仲間を探しています。 クラウド アーキテクトの業務に興味がある方のご応募をお待ちしています。 クラウドアーキテクト 執筆： @shibata.takao 、レビュー： @yamashita.tsuyoshi （ Shodo で執筆されました ）

こんにちは。ISID コミュニケーションIT事業部 瀧川亮弘（あきひろ）です。 プロジェクトにて Storybook を利用しています。 Storybook の概要と基本的な実装方法をお伝えできればと思います。 Storybookとは？ 一言でいうとUIのカタログです。また、それを作成するためのライブラリです。 Storybook を利用することで、 GUI 上でUI コンポーネント のデザインや振る舞いを簡単に確認できます。 百聞は一見にしかずということで、普段大変お世話になっている VSCode の Storybook のリンクを貼っておきます。良かったら触ってみてください！ Microsoft VSCode Webview UI Toolkit Storybookの実装 UI コンポーネント を Storybook 上で表示するために .stories.js という拡張子のファイルを作成する必要があります。 本章では、こちらのファイルの基本的な実装について記載します。 尚、いくつか存在する記法のうち、 CSF(Component Story Format) という記法を採用します。以前まで主流だった、 storiesOf 関数や add 関数を利用する storiesOf API は現在非推奨となっています。 余談ですが、筆者は storiesOf API で記載された数十のファイルを CSF に書き換える作業をしたことがあります。個々の作業は簡単でしたが、数が数だけにとても苦労した懐かしい思い出があります。 対象の コンポーネント 対象とする コンポーネント として、簡単なボタンを用意しました。 愛着が湧くように自身の名前をつけて AkiButton と名付けました。 Vue3 の script setup 構文を利用しています。 <template> <button class="button" :class="[getColor]" @click="handleClick"> <slot /> </button> </template> <script setup lang="ts"> import { computed } from "vue"; interface Props { /** * 色 */ color?: "basic" | "primary" | "error"; } const props = withDefaults(defineProps<Props>(), { color: "basic", }); interface Emits { /** * クリックイベント */ (e: "click"): void; } const emit = defineEmits<Emits>(); const handleClick = () => { emit("click"); }; const getColor = computed<string>(() => `button__color--${props.color}`); </script> <style lang="scss" scoped> .button { height: 30px; padding: 0 16px; cursor: pointer; &__color { &--basic { background-color: $color__primary-light; border-color: $color__primary-light; color: $color__primary; } &--primary { background-color: $color__primary; border-color: $color__primary; color: $color__white; } &--error { background-color: $color__error; border-color: $color__error; color: $color__white; } } } </style> 実装 完成形 まずは完成形をお見せします。 次章から順を追って実装を確認します。 import AkiButton from "./AkiButton.vue"; export default { title: "Atoms/AkiButton", component: AkiButton, argTypes: { color: { control: { type: "select", options: ["basic", "primary", "error"], }, }, click: { action: "click", }, }, }; const Template = (args, { argTypes }) => ({ components: { AkiButton }, setup() { return { ...args, }; }, template: ` <AkiButton :color="color" @click="click">あきボタン</AkiButton> `, }); export const Basic = Template.bind({}); Basic.args = { color: "basic", }; export const Primary = Template.bind({}); Primary.args = { color: "primary", }; export const Error = Template.bind({}); Error.args = { color: "error", }; メタデータ の定義 メタデータ を定義します。 title には、メニューに表示される名前を定義します。 /(スラッシュ) で階層を切ると、 GUI 上ツリー表示されます。ちなみに、現在のプロジェクトでは Atomic Design に基づいて階層を切っています。 component には、 対象のコンポーネント で用意した コンポーネント を指定しています。 これらを指定したオブジェクトをデフォルトエクスポートすることで メタデータ として認識してくれます。 import AkiButton from "./AkiButton.vue"; export default { title: "Atoms/AkiButton", component: AkiButton, }; テンプレートの定義 テンプレートを定義します。 次章でいくつかのストーリーを定義しますが、それらのストーリーが共通して利用するテンプレートとなります。各ストーリーで利用する関数なので、テンプレート自体の export は必要ありません。 テンプレートの関数は、引数として各ストーリーごとに定義されたプロパティを受け取ります。ここでは args という名前で受け取ったプロパティを対象 コンポーネント に渡しています。 const Template = (args, { argTypes }) => ({ components: { AkiButton }, setup() { return { ...args, }; }, template: ` <AkiButton :color="color" @click="click">あきボタン</AkiButton> `, }); ストーリーの定義 Storybook のメインであるストーリーを定義します。 コンポーネント を表示するパターン、テストするパターンなどを考慮してストーリーを表現します。ここでは、 color プロパティの値ごとに、ストーリーを作成しています。 テンプレートの定義 で用意したテンプレートの関数をもとにいくつかのストーリーを作成するのが便利です。 ストーリーは関数で表現し、名前付きエクスポートします。 ここでつけた名前がデフォルトではストーリー名となります。 export const Basic = Template.bind({}); Basic.args = { color: "basic", }; export const Primary = Template.bind({}); Primary.args = { color: "primary", }; export const Error = Template.bind({}); Error.args = { color: "error", }; アドオンを利用する アドオンとはStorybookの拡張モジュールのことです。 今回はStorybookが公式でサポートしている3つのアドオンを利用してみます。 Controlsアドオン Controls アドオンにより、 コンポーネント に対するプロパティを GUI 上で動的に切り替えることができます。 argTypes: { color: { control: { type: "select", options: ["basic", "primary", "error"], }, }, }, Actionsアドオン Actions アドオンにより、発火されたイベントをロギングします。 各イベントが発火するタイミングやイベントの内容を確認できます。 argTypes: { click: { action: "click", }, }, Docsアドオン Docs アドオンは、 ソースコード を解析しドキュメントを自動生成してくれます。 Vueファイルに記載したコメントがドキュメントに反映されていることがわかります。 /** * 色 */ color?: "basic" | "primary" | "error"; storybook 実装方法は以上です。 必要に応じて、アドオンを追加するとよいでしょう。 SDD(Storybook Driven Development)のすゝめ Storybookとは？ では Storybook をUIカタログとご紹介しましたが、 Storybook をUIの開発環境と捉えることもできます。 UI コンポーネント をアプリケーションから切り離された環境（ Storybook 上）で開発することには以下のようなメリットがあると思います。 UI コンポーネント の粒度や責務を適切に保つことができる Storybook 上で開発することで、個々の コンポーネント を独立して開発することになります。親 コンポーネント との依存関係を断ち切ることで、対象の コンポーネント の責務を明確にできます。 開発者が並行して作業を進めやすい 大きな粒度の コンポーネント から着手し、徐々に小さな粒度の コンポーネント を実装するといった トップダウン のアプローチではなく、 ボトムアップ で開発を進めることができます。親 コンポーネント の完成を待たず、子 コンポーネント の実装に着手できるため、分担して作業を進めることができます。 皆さんもよければ、 Storybook 上で開発してみてください。 最後に いかがでしたか？ Storybook って面白いなと思っていただけたら嬉しいです！ では、よい Storybook 生活を！ 執筆： @takigawa.akihiro 、レビュー： @shibata.takao （ Shodo で執筆されました ）

こんにちは。ISID コミュニケーションIT事業部 瀧川亮弘（あきひろ）です。 プロジェクトにて Storybook を利用しています。 Storybook の概要と基本的な実装方法をお伝えできればと思います。 Storybookとは？ 一言でいうとUIのカタログです。また、それを作成するためのライブラリです。 Storybook を利用することで、 GUI 上でUI コンポーネント のデザインや振る舞いを簡単に確認できます。 百聞は一見にしかずということで、普段大変お世話になっている VSCode の Storybook のリンクを貼っておきます。良かったら触ってみてください！ Microsoft VSCode Webview UI Toolkit Storybookの実装 UI コンポーネント を Storybook 上で表示するために .stories.js という拡張子のファイルを作成する必要があります。 本章では、こちらのファイルの基本的な実装について記載します。 尚、いくつか存在する記法のうち、 CSF(Component Story Format) という記法を採用します。以前まで主流だった、 storiesOf 関数や add 関数を利用する storiesOf API は現在非推奨となっています。 余談ですが、筆者は storiesOf API で記載された数十のファイルを CSF に書き換える作業をしたことがあります。個々の作業は簡単でしたが、数が数だけにとても苦労した懐かしい思い出があります。 対象の コンポーネント 対象とする コンポーネント として、簡単なボタンを用意しました。 愛着が湧くように自身の名前をつけて AkiButton と名付けました。 Vue3 の script setup 構文を利用しています。 <template> <button class="button" :class="[getColor]" @click="handleClick"> <slot /> </button> </template> <script setup lang="ts"> import { computed } from "vue"; interface Props { /** * 色 */ color?: "basic" | "primary" | "error"; } const props = withDefaults(defineProps<Props>(), { color: "basic", }); interface Emits { /** * クリックイベント */ (e: "click"): void; } const emit = defineEmits<Emits>(); const handleClick = () => { emit("click"); }; const getColor = computed<string>(() => `button__color--${props.color}`); </script> <style lang="scss" scoped> .button { height: 30px; padding: 0 16px; cursor: pointer; &__color { &--basic { background-color: $color__primary-light; border-color: $color__primary-light; color: $color__primary; } &--primary { background-color: $color__primary; border-color: $color__primary; color: $color__white; } &--error { background-color: $color__error; border-color: $color__error; color: $color__white; } } } </style> 実装 完成形 まずは完成形をお見せします。 次章から順を追って実装を確認します。 import AkiButton from "./AkiButton.vue"; export default { title: "Atoms/AkiButton", component: AkiButton, argTypes: { color: { control: { type: "select", options: ["basic", "primary", "error"], }, }, click: { action: "click", }, }, }; const Template = (args, { argTypes }) => ({ components: { AkiButton }, setup() { return { ...args, }; }, template: ` <AkiButton :color="color" @click="click">あきボタン</AkiButton> `, }); export const Basic = Template.bind({}); Basic.args = { color: "basic", }; export const Primary = Template.bind({}); Primary.args = { color: "primary", }; export const Error = Template.bind({}); Error.args = { color: "error", }; メタデータ の定義 メタデータ を定義します。 title には、メニューに表示される名前を定義します。 /(スラッシュ) で階層を切ると、 GUI 上ツリー表示されます。ちなみに、現在のプロジェクトでは Atomic Design に基づいて階層を切っています。 component には、 対象のコンポーネント で用意した コンポーネント を指定しています。 これらを指定したオブジェクトをデフォルトエクスポートすることで メタデータ として認識してくれます。 import AkiButton from "./AkiButton.vue"; export default { title: "Atoms/AkiButton", component: AkiButton, }; テンプレートの定義 テンプレートを定義します。 次章でいくつかのストーリーを定義しますが、それらのストーリーが共通して利用するテンプレートとなります。各ストーリーで利用する関数なので、テンプレート自体の export は必要ありません。 テンプレートの関数は、引数として各ストーリーごとに定義されたプロパティを受け取ります。ここでは args という名前で受け取ったプロパティを対象 コンポーネント に渡しています。 const Template = (args, { argTypes }) => ({ components: { AkiButton }, setup() { return { ...args, }; }, template: ` <AkiButton :color="color" @click="click">あきボタン</AkiButton> `, }); ストーリーの定義 Storybook のメインであるストーリーを定義します。 コンポーネント を表示するパターン、テストするパターンなどを考慮してストーリーを表現します。ここでは、 color プロパティの値ごとに、ストーリーを作成しています。 テンプレートの定義 で用意したテンプレートの関数をもとにいくつかのストーリーを作成するのが便利です。 ストーリーは関数で表現し、名前付きエクスポートします。 ここでつけた名前がデフォルトではストーリー名となります。 export const Basic = Template.bind({}); Basic.args = { color: "basic", }; export const Primary = Template.bind({}); Primary.args = { color: "primary", }; export const Error = Template.bind({}); Error.args = { color: "error", }; アドオンを利用する アドオンとはStorybookの拡張モジュールのことです。 今回はStorybookが公式でサポートしている3つのアドオンを利用してみます。 Controlsアドオン Controls アドオンにより、 コンポーネント に対するプロパティを GUI 上で動的に切り替えることができます。 argTypes: { color: { control: { type: "select", options: ["basic", "primary", "error"], }, }, }, Actionsアドオン Actions アドオンにより、発火されたイベントをロギングします。 各イベントが発火するタイミングやイベントの内容を確認できます。 argTypes: { click: { action: "click", }, }, Docsアドオン Docs アドオンは、 ソースコード を解析しドキュメントを自動生成してくれます。 Vueファイルに記載したコメントがドキュメントに反映されていることがわかります。 /** * 色 */ color?: "basic" | "primary" | "error"; storybook 実装方法は以上です。 必要に応じて、アドオンを追加するとよいでしょう。 SDD(Storybook Driven Development)のすゝめ Storybookとは？ では Storybook をUIカタログとご紹介しましたが、 Storybook をUIの開発環境と捉えることもできます。 UI コンポーネント をアプリケーションから切り離された環境（ Storybook 上）で開発することには以下のようなメリットがあると思います。 UI コンポーネント の粒度や責務を適切に保つことができる Storybook 上で開発することで、個々の コンポーネント を独立して開発することになります。親 コンポーネント との依存関係を断ち切ることで、対象の コンポーネント の責務を明確にできます。 開発者が並行して作業を進めやすい 大きな粒度の コンポーネント から着手し、徐々に小さな粒度の コンポーネント を実装するといった トップダウン のアプローチではなく、 ボトムアップ で開発を進めることができます。親 コンポーネント の完成を待たず、子 コンポーネント の実装に着手できるため、分担して作業を進めることができます。 皆さんもよければ、 Storybook 上で開発してみてください。 最後に いかがでしたか？ Storybook って面白いなと思っていただけたら嬉しいです！ では、よい Storybook 生活を！ 執筆： @takigawa.akihiro 、レビュー： @shibata.takao （ Shodo で執筆されました ）

X イノベーション 本部 ソフトウェアデザインセンター セキュリティグループの福山です。 AWS セキュリティの認定資格である「 AWS Certified Security - Specialty（SCS-C01）」を受験し、合格しました。 この資格を取得することで、 AWS クラウド におけるデータやワークロードのセキュリティ確保に関する 専門知識を 保有 することが認定されます。 今後受験する方のお役に立てればと思い、取り組んだことを共有します。 受験するきっかけ 私は2022年3月にISIDに入社しました。全社横断的にセキュリティを推進していくチームで、 クラウド 環境のSOC、IRという役割をいただいています。 まずは当資格を取得することで、 AWS のセキュリティを網羅的に理解することを目標としました。 前提知識 前職はインフラエンジニアで、 AWS のインフラ構築・保守の経験が2～3年 AWS SAAは取得済み（1回目は不合格、2回目は732点で何とか合格） 現在は業務で Security Hub、GuardDuty等のセキュリティ系サービスを頻繁に触っている 勉強方法 勉強期間は2ヶ月程度を要しました。以下に勉強の流れを記載します。 ➀試験内容を把握する 試験ガイドに目を通す 　試験範囲は170分、合格ラインは750点となっています。 　⇒ 試験ガイド AWS 公式ト レーニン グを試す 　こちら無償です（要ログイン）。各章と最後に練習問題があり、試験難易度もざっくり把握できるのでおすすめです。 　⇒ Exam Readiness: AWS Certified Security - Specialty (Japanese) 日本語実写版 AWS 公式のサンプル問題を解く 　⇒ AWS 認定セキュリティ — 専門知識 AWS Certified Security – Specialty (SCS-C01) 認定試験の質問例 ②各 AWS サービスとベストプ ラク ティスを理解する 参考書を購入する 　⇒ 要点整理から攻略する『AWS認定 セキュリティ-専門知識』 　タイトルの通り、要点が整理されて、非常にわかりやすい内容になっております。 IAMとKMSのBlackbeltを閲覧する 　上記2サービスは頻出するとの情報が散見されるため、BlackBeltを閲覧しました。 　⇒ BlackBelt 主なサービスをおさえる 　各サービスの概要、他サービスとの関連性、ベストプ ラク ティスをおさえます。 ■分野1：インシデントへの対応 ・Security Hub、Config ・GuardDuty、Detective ・ Amazon Macie ■分野2：ログ記録とモニタリング ・CloudWatch Events、 SNS ・S3、CloudTrail ・ Kinesis 、 OpenSearch Service ■分野3：インフラスト ラク チャのセキュリティ ・SG、NACL ・ AWS WAF、Shield、CloudFront ・ AWS Artifact ■分野4： アイデンティティ 管理とアクセス管理 ・IAM（頻出） ・Organizations ■分野5：データ保護 ・KMS（頻出） ・ AWS Config ・Secrets Manager、Parameter Store 　また、以下ドキュメントには、 AWS の定めるSecurity Hubのセキュリティ基準が記載されており参考になります。 　 ⇒ AWS Foundational Security Best Practices ③試験を申し込む 以下サイトからログインの上、試験を申し込む 　試験の1ヶ月前に申し込みました。 　なお、ISIDの社内制度で、受験料は補償されました。 　⇒ 試験のスケジュールを立てる ④問題を解く Udemyを受講する 　以下のコースを受講しました。ISIDには、Udemy Businessを利用できる社内サービスがあるため、 　無償で受講することができました。 　なお、こちらのコースはボリュームが多いため、まずは各章の練習問題を実施し、 　間違えた箇所は本編を視聴して消化するスタイルで進めました。 　⇒ AWS Certified Security – Specialty SCS-C01 AWS 公式の模擬試験を受ける 　こちら無償になっています（要ログイン）。 　⇒ AWS Certified Security - Specialty Official Practice Question Set (SCS-C01 - Japanese) 時間の許す限り、①②③（ AWS 公式ト レーニン グ、サンプル問題、参考書、Udemy、模擬試験）の練習問題を繰り返す 試験を終えて 結果は767点と合格ラインギリギリでした。。 点数を落とした要因は、IAMポリシーやKMSキーポリシーの記述方法を問われる問題が頻出し、 自信を持って解けなかったことが大きかったと思われます。 また、クロスアカウントやサービスへのアクセスに必要な記述内容なども理解しておくと良いと思いました。 次回更新時は上記を重点的に学習したいと思います。 最後に、参考書やブログで散見される、IAMユーザーにMFAを強制するIAMポリシーの記述方法を紹介して、 締めとさせていただきます。 それでは、行ってらっしゃい！！ { 　　　"Sid": "DenyAllExceptListedIfNoMFA", 　　　"Effect": "Deny", 　　　"NotAction": [ 　　　　　　"iam:CreateVirtualMFADevice", 　　　　　　"iam:DeleteVirtualMFADevice", 　　　　　　"iam:EnableMFADevice", 　　　　　　"iam:GetUser", 　　　　　　"iam:ListMFADevices", 　　　　　　"iam:ListVirtualMFADevices", 　　　　　　"iam:ResyncMFADevice", 　　　　　　" sts :GetSessionToken" 　　　], 　　　"Resource": "*", 　　　"Condition": { 　　　　　　"BoolIfExists": { 　　　　　　　　　" aws :MultiFactorAuthPresent": "false" 　　　　　　} 　　　} } 参考： MFAで認証されたIAM ユーザーが「My Security Credentials」ページで自分の MFA デバイスを管理できるようにする 　　　 IAMユーザにMFA設定を強制するにあたりiam:ListUsersが必須では無くなった話 私たちは同じチームで働いてくれる仲間を大募集しています！たくさんのご応募お待ちしています。 - セキュリティエンジニア(セキュリティ設計) 執筆： @fuku.dancho 、レビュー： @sato.taichi （ Shodo で執筆されました ）

X イノベーション 本部 ソフトウェアデザインセンター セキュリティグループの福山です。 AWS セキュリティの認定資格である「 AWS Certified Security - Specialty（SCS-C01）」を受験し、合格しました。 この資格を取得することで、 AWS クラウド におけるデータやワークロードのセキュリティ確保に関する 専門知識を 保有 することが認定されます。 今後受験する方のお役に立てればと思い、取り組んだことを共有します。 受験するきっかけ 私は2022年3月にISIDに入社しました。全社横断的にセキュリティを推進していくチームで、 クラウド 環境のSOC、IRという役割をいただいています。 まずは当資格を取得することで、 AWS のセキュリティを網羅的に理解することを目標としました。 前提知識 前職はインフラエンジニアで、 AWS のインフラ構築・保守の経験が2～3年 AWS SAAは取得済み（1回目は不合格、2回目は732点で何とか合格） 現在は業務で Security Hub、GuardDuty等のセキュリティ系サービスを頻繁に触っている 勉強方法 勉強期間は2ヶ月程度を要しました。以下に勉強の流れを記載します。 ➀試験内容を把握する 試験ガイドに目を通す 　試験範囲は170分、合格ラインは750点となっています。 　⇒ 試験ガイド AWS 公式ト レーニン グを試す 　こちら無償です（要ログイン）。各章と最後に練習問題があり、試験難易度もざっくり把握できるのでおすすめです。 　⇒ Exam Readiness: AWS Certified Security - Specialty (Japanese) 日本語実写版 AWS 公式のサンプル問題を解く 　⇒ AWS 認定セキュリティ — 専門知識 AWS Certified Security – Specialty (SCS-C01) 認定試験の質問例 ②各 AWS サービスとベストプ ラク ティスを理解する 参考書を購入する 　⇒ 要点整理から攻略する『AWS認定 セキュリティ-専門知識』 　タイトルの通り、要点が整理されて、非常にわかりやすい内容になっております。 IAMとKMSのBlackbeltを閲覧する 　上記2サービスは頻出するとの情報が散見されるため、BlackBeltを閲覧しました。 　⇒ BlackBelt 主なサービスをおさえる 　各サービスの概要、他サービスとの関連性、ベストプ ラク ティスをおさえます。 ■分野1：インシデントへの対応 ・Security Hub、Config ・GuardDuty、Detective ・ Amazon Macie ■分野2：ログ記録とモニタリング ・CloudWatch Events、 SNS ・S3、CloudTrail ・ Kinesis 、 OpenSearch Service ■分野3：インフラスト ラク チャのセキュリティ ・SG、NACL ・ AWS WAF、Shield、CloudFront ・ AWS Artifact ■分野4： アイデンティティ 管理とアクセス管理 ・IAM（頻出） ・Organizations ■分野5：データ保護 ・KMS（頻出） ・ AWS Config ・Secrets Manager、Parameter Store 　また、以下ドキュメントには、 AWS の定めるSecurity Hubのセキュリティ基準が記載されており参考になります。 　 ⇒ AWS Foundational Security Best Practices ③試験を申し込む 以下サイトからログインの上、試験を申し込む 　試験の1ヶ月前に申し込みました。 　なお、ISIDの社内制度で、受験料は補償されました。 　⇒ 試験のスケジュールを立てる ④問題を解く Udemyを受講する 　以下のコースを受講しました。ISIDには、Udemy Businessを利用できる社内サービスがあるため、 　無償で受講することができました。 　なお、こちらのコースはボリュームが多いため、まずは各章の練習問題を実施し、 　間違えた箇所は本編を視聴して消化するスタイルで進めました。 　⇒ AWS Certified Security – Specialty SCS-C01 AWS 公式の模擬試験を受ける 　こちら無償になっています（要ログイン）。 　⇒ AWS Certified Security - Specialty Official Practice Question Set (SCS-C01 - Japanese) 時間の許す限り、①②③（ AWS 公式ト レーニン グ、サンプル問題、参考書、Udemy、模擬試験）の練習問題を繰り返す 試験を終えて 結果は767点と合格ラインギリギリでした。。 点数を落とした要因は、IAMポリシーやKMSキーポリシーの記述方法を問われる問題が頻出し、 自信を持って解けなかったことが大きかったと思われます。 また、クロスアカウントやサービスへのアクセスに必要な記述内容なども理解しておくと良いと思いました。 次回更新時は上記を重点的に学習したいと思います。 最後に、参考書やブログで散見される、IAMユーザーにMFAを強制するIAMポリシーの記述方法を紹介して、 締めとさせていただきます。 それでは、行ってらっしゃい！！ { 　　　"Sid": "DenyAllExceptListedIfNoMFA", 　　　"Effect": "Deny", 　　　"NotAction": [ 　　　　　　"iam:CreateVirtualMFADevice", 　　　　　　"iam:DeleteVirtualMFADevice", 　　　　　　"iam:EnableMFADevice", 　　　　　　"iam:GetUser", 　　　　　　"iam:ListMFADevices", 　　　　　　"iam:ListVirtualMFADevices", 　　　　　　"iam:ResyncMFADevice", 　　　　　　" sts :GetSessionToken" 　　　], 　　　"Resource": "*", 　　　"Condition": { 　　　　　　"BoolIfExists": { 　　　　　　　　　" aws :MultiFactorAuthPresent": "false" 　　　　　　} 　　　} } 参考： MFAで認証されたIAM ユーザーが「My Security Credentials」ページで自分の MFA デバイスを管理できるようにする 　　　 IAMユーザにMFA設定を強制するにあたりiam:ListUsersが必須では無くなった話 私たちは同じチームで働いてくれる仲間を大募集しています！たくさんのご応募お待ちしています。 - セキュリティエンジニア(セキュリティ設計) 執筆： @fuku.dancho 、レビュー： @sato.taichi （ Shodo で執筆されました ）

こんにちは。ISID CIT事業部の熊倉です。 昨年7月、 Google が提供しているBIツール「Looker」でExtension Frameworkという新しい機能が追加されました。 今回の記事ではExtension Frameworkの開発方法について検証する目的で作成したアプリケーションについて紹介していきます。 本記事がExtension Frameworkの開発イメージやメリットについての理解の手助けになれば幸いです。 1. Lookerとは？ 2. Extension Frameworkとは？ 2.1 Extension Frameworkの利用例 3. Extension Frameworkの開発方法 3.1 開発に必要なスキル 3.2 ライブラリ/ツール 4. アプリケーションを作成してみた 4.1 想定したユースケース 4.1.1 LINEWORKSについての紹介 4.1.2 スキーマ 4.2 アーキテクチャ 4.3 作成したアプリケーションの紹介 4.3.1 CRM顧客情報を参照 4.3.2 LINEWORKS顧客情報とCRM顧客情報を連携 4.2 実際に作成してみての所感 5. まとめ 1. Lookerとは？ 「Looker」は Google Cloudが提供しているBIサービスです。 Lookerは純粋な分析機能の他に 様々なデータ活用の基となるデータプラットフォームとして利用できる機能 が多く提供されており、他のBIサービスにはない特徴があります。 具体的には、 豊富な API GUI で操作できること（もしくはそれ以上のこと）が API から実行可能 外部アプリケーションに分析機能を埋め込める「組み込み分析」機能の提供 Lookerの ダッシュ ボードや分析画面を外部アプリケーションに組み込むことができます Looker Action 分析して得た結果や条件に応じて、Action Hubと呼ばれるサーバを経由して外部サービスにデータを連携できます。 連携できる外部サービス（TwilioやSlack等々）は数十種類公開されております。 Teamsのアクションについては自分が作成した経緯があったりします :) 等々の機能が提供されています。 　 　 データベースと接続したLookerを通して、分析（Modern BI & Analytics）、既存の分析との融合（Integrated Insight）、データを起点としたワークフローの実行（Data-driven Workflows）、データアプリケーションの作成（Custom Application）を実現できます。 （引用： Advanced Data Analytics Platform ） 2. Extension Frameworkとは？ Extension Frameworkとは 2021年7月22日に発表された Looker上で JavaScript のアプリケーションを ホスティング できる機能です。 前述しているように、Lookerは以前より外部連携機能（ API 連携、組込み機能）が充実していました。 しかし、アプリケーションを開発する際には（当然ですが）インフラの用意やネットワークの設定が必要で、開発者は機能開発以外に環境構築を行うハードルがありました。 Looker環境上でアプリケーションが実行できるExtension Frameworkの登場で、そのようなインフラの構築をLookerが担保してくれるようになり、開発者がより機能の開発に集中できるようになりました。 （引用： 拡張フレームワークを使用して Looker での構築を簡単にする ） Extension Frameworkでは以下のようなことが可能になっております。 外部 API へのリク エス ト（情報の取得/更新） データベースにないデータの取得、表示 Lookerの分析機能の埋め込み サードパーティ のライブラリを利用 標準で表現できない描写（ ガントチャート 、ツリー表示） 　 また、Looker上で ホスティング されることによる利点も享受でき、 ホスティング したアプリケーションは Lookerのデフォルトの認証機能（ LDAP や SAML 、OIDCなど）を利用したアプリケーションの認証 Lookerの権限管理機能を利用したアプリケーションの利用制御 といったことが利用可能です。 2.1 Extension Frameworkの利用例 Extension Frameworkを利用する事で、Lookerの分析で得た知見を次のアクションにつなげることができたり、通常の ダッシュ ボードでは表現が難しかったリッチなビジュアライズの提供ができます。 BIによる分析結果を利用したデータの更新 Extension Frameworkから外部の API を叩く事で、BIによる分析結果を次のアクションにつなげることが可能です Lookerに統合されたデータベースのマスタを管理 することも可能に アプリケーション例）予実管理アプリケーション 予算マスタをExtension Frameworkで管理。Looker上で分析から管理まで業務を完結できる。 リッチなビジュアライズの提供 Lookerがデフォルトで表現できない描写（ ガントチャート やツリー表示等）も JavaScript のライブラリをExtension Frameworkにインポートすることで描写が可能です 例えば特定の ユースケース に絞った ダッシュ ボードを作成したり、フィルター機能をマスクし分析をシンプルかつ簡単に分析するようなアプリケーションが作成可能です アプリケーション例）顧客シングルビュー Extension Frameworkから外部 API を叩くことで既存のアプリケーションから情報を取得し、 マッシュアップ 的にLookerの分析内容と既存アプリケーションを統合した顧客シングルビューを構築 また、Action連携などLookerの外部連携機能も組み合わせることでCDP（カスタマー・データ・プラットフォーム）として利用可能 3. Extension Frameworkの開発方法 この章では具体的にExtension Frameworkを利用した開発を行う際にどのようなスキルが必要になるのか、また、 Google から提供されているライブラリ/ツールについて紹介をします。 3.1 開発に必要なスキル Extension Frameworkは JavaScript （or TypeScript）を使用し開発します。 また、アプリケーション構築に必要な SDK も提供されております。純粋な JavaScript のライブラリとして提供されている他に、それらをReactから利用できる形でラップした SDK も提供されています。 開発スキルのパターンをまとめると、 JavaScript + raw JavaScript SDK TypeScript + raw JavaScript SDK JavaScript + React SDK TypeScript + React SDK から選択することとなります。 JavaScript / TypeScriptの選択は好き嫌いがあると思いますので自由に選択していただいて良いかと思います。 Reactを利用するかどうかについてはLookerからReact用のUI コンポーネント が提供されていたり、参照できるサンプルの数に差があったりするため Reactの利用をお勧めします 。 （と言ってもスキルセットの問題もあると思うので、最終的には自由に選択して問題ないです） 3.2 ライブラリ/ツール Extension Frameworkを利用したアプリケーションを開発するために、公式から以下のようなライブラリ/モジュールが用意されています。 Looker Extension SDK Extension FrameworkからLooker環境内部へアクセスするインターフェースとして SDK が提供されています。 SDK を通してLooker public API にアクセスし、 API 経由でLooker環境内部とやり取りをします。 Reactに最適化されたライブラリ も提供されています。 Looker components Reactで動作するUI コンポーネント ライブラリです この後に紹介する作成したアプリケーションでは、こちらの コンポーネント は使用せずに MUI を利用しました。 Embed SDK Extension Frameworkを利用して構築したアプリケーション内でLookerのLookや Explorer 、 Dashboard を表示するためにはEmbeded SDK 経由で描写を行います。 また、Extension Framework自体もEmbeded SDK を利用することで外部のWebサイトから参照することが可能とのことです（やってみたい） create-looker-extension utility よくある対話形式で環境構築してくれる便利ツールです。 コンソールから yarn create looker-extension または（ npx create-looker-extension ）で利用可能です。 Looker extension framework examples Google が用意してくれているサンプル集です。Extension Frameworkについて参照できる情報が少ないため、実際に開発してく際はサンプルを参照し、開発していくことになると思います。 本記事では具体的な開発方法について詳細を記述しませんが、より詳しく知りたい方は以下のブログの内容等が参考になるかと思います。 Extension Frameworkを利用してPDTの依存関係を表示させる 4. アプリケーションを作成してみた 開発方法について検証する目的で実際にExtension Frameworkを利用したアプリケーションを開発してみました。 4.1 想定した ユースケース アプリケーションを作成する際の題材としてLINEとつながる唯一のビジネスチャットツール『LINE WORKS』を今回は採用し、 LINE WORKSの顧客情報と CRM の顧客情報を連携できる アプリケーションをExtension Frameworkで作成しました。 アプリケーションの紹介の前にまず題材として取り上げたLINE WORKSについて紹介をします。 4.1.1 LINEWORKSについての紹介 ビジネスチャットツール「LINE WORKS」はLINEユーザとコミュニケーションできる「LINE連携機能」が提供されており、 特に小売業で顧客のLINEとのやり取りで「LINE連携機能」が活用されています。 https://line.worksmobile.com/jp/solutions/retail/ 利用することで スタッフや営業(LINE WORKSユーザ) と お客さん(LINEユーザ) との間で交わされた トーク 内容や顧客の情報を管理できます。 ただし、LINE WORKSの顧客情報は独立して管理されている為、もし既存の CRM の顧客情報と一元的に管理したいとなった場合、ユーザがある程度情報を確認しながら実際に紐づけ操作を行う必要があります。 今回は CRM で管理している顧客情報とLINE WORKS上で管理されている顧客情報を参照し、それらの紐づけを管理できるアプリケーションを開発しました。 4.1.2 スキーマ DBの スキーマ として以下のような構造を想定しました。 user LINEWORKSのユーザ(上記のスタッフや営業) LINE WORKSの API から取得できる情報を基にカラムを定義 https://developers.worksmobile.com/jp/reference/user-list?lang=ja lw_contact LINEWORKSの顧客情報 LINE WORKSの API から取得できる情報を基にカラムを定義 https://developers.worksmobile.com/jp/reference/contact-list?lang=ja talk LINEWORKS上で交わされたコミュニケーション内容 LINE WORKSの API から取得できる情報を基にカラムを定義 https://developers.worksmobile.com/jp/reference/audit-log-download?lang=ja contact CRM で管理している顧客情報 カラムについては特定のサービスを意識せず想定で用意しました。 lw_contact_link contact と lw_contact を紐付けるレコードが格納 実際に紐付けを管理しているのは lw_contact_link テーブルです。 アプリケーションについて 「 CRM の顧客情報とLINE WORKSの顧客情報を連携する」 アプリケーションと紹介しましたが、言い換えれば 「 contact 、 lw_contact の内容を参照し、 lw_contact_link のレコードを更新できる」 アプリケーションを今回作成したことになります。 4.2 アーキテクチャ アプリケーション全体の アーキテクチャ を紹介します。 今回のアプリケーションではLookerに接続するDWHとしてBigQueryを選択しました。 まず、LookerとBigQueryを接続し、あらかじめLook（テーブル / ビジュアライゼーションをレポートとして保存したもの）を作成しています。 そのLookをExtension Frameworkの SDK 経由で取得し、アプリケーションに表示するという構成を取っております。 （図の「テーブル取得」→「Lookの取得」→「LINEWORKSと CRM の顧客情報を参照」の部分） 更新する際は、Extension Framework（ JavaScript ）側でBigQueryにて実行したいクエリを作成し、Lookerと既に接続しているコネクションを利用し、テーブルにUpdateをかけています。 今回のアプリケーションでは直接BigQueryに対してUpdateするクエリを実施するのではなく、Lookerを経由してデータの更新を行っています。 Extension Frameworkでは外部に対して API を叩くこともできますので、例えばBigQueryのクライアントライブラリをExtension Framework側でインポートし直接BigQueryに対して API を叩くといった設計も可能です。 今回はデータの保存場所としてBigQuery ストレージのみを使用していますが、例えばデータ取り込み元としてGCSを利用している想定をし、GCSに対してデータの更新を行うといった設計ももちろん可能です。 4.3 作成したアプリケーションの紹介 アプリケーションは以下の操作フローを想定し、作成を行いました。 CRM 顧客の一覧が表示される 一覧から1人を選択する CRM 顧客詳細画面が表示される CRM 顧客詳細画面から『LINEWORKSユーザ紐付け』ボタンをクリック。紐付けモーダルが表示される。 LINEWORKSユーザの一覧が表示される LINEWORKSユーザを1名選択し、 CRM 顧客と連携（または連携解除）をする 以下、アプリケーションの機能についてアニメーションを使用しながら紹介します。 4.3.1 CRM 顧客情報を参照 （動画では、上記フローの1,2,3まで実施しています） 左のサイドメニューから「Contact」を選択する事で顧客の一覧が表示され、その中で一名を選択するとその詳細画面に遷移します。 一覧で表示している情報や詳細画面の「Profile Information」で表示している情報は全てあらかじめ作成したLookから情報を取得しているため、「一覧に表示させるカラムを変更したい」「順番を変更したい」という場合は元のLookを編集する事で変更可能です。 4.3.2 LINEWORKS顧客情報と CRM 顧客情報を連携 （動画では上記フローの4,5,6まで実施しています） 顧客情報詳細のヘッダーにある『LINEWORKSユーザ紐付け』ボタンを押下する事で、モーダルが表示されます。 モーダルではLINE WORKSの顧客情報一覧が確認でき、行右側の「連携」（または連携解除）ボタンを押す事で「参照していた CRM の顧客情報」と「LINEWORKSの顧客情報」が連携されます。 アプリケーションの機能紹介は以上になります。 4.2 実際に作成してみての所感 開発ではTypeScript + Reactを利用しました。 開発した所感として通常のReact開発と同じ感覚で開発できると感じました。 フレームワーク 特有の記述方法も多少はありますが基本的に自由に開発できるかと思います。 React Routerによるルーティングも可能ですし、（今回の開発では使用していませんが）Reduxによる状態管理も可能です。 開発に必要なスキルセットとして JavaScript / TypeScript / Reactの知識の他に、Looker API の知識が必要となりますが、 API を実際の環境のリソースに対して GUI から叩くことができるアプリケーション『 API Exploer 』が公式で用意されていたりするのでLookerの仕様に明るくない方でも十分開発ができるのではないかと思います。 5. まとめ 以上のように、Extension Frameworkを利用することでLookerの集計/分析機能を利用したアプリケーションをインフラ構築といった作業を経ずに簡単に素早く実装できます。 今回紹介したアプリケーションのように、ある意味汎用的に作られているパッケージ製品では実現が難しかった特別な要件 / 業種/ 職種に最適化されたアプリケーションを構築できます。 Extension Frameworkの登場で「データの集計/分析（ビジュアライズ）」から「意思決定」といった データドリブンなプロセス を Looker環境上で完結 して提供できるようになりました。 「データドリブンを実現したいが、具体的な方法がわからない」といった場合にLookerとExtension Frameworkは1つの回答になるのではないかと思います。 最後までお読みいただきありがとうございました。 執筆： @kumakura.koki.isid 、レビュー： @sato.taichi （ Shodo で執筆されました ）

こんにちは。ISID CIT事業部の熊倉です。 昨年7月、 Google が提供しているBIツール「Looker」でExtension Frameworkという新しい機能が追加されました。 今回の記事ではExtension Frameworkの開発方法について検証する目的で作成したアプリケーションについて紹介していきます。 本記事がExtension Frameworkの開発イメージやメリットについての理解の手助けになれば幸いです。 1. Lookerとは？ 2. Extension Frameworkとは？ 2.1 Extension Frameworkの利用例 3. Extension Frameworkの開発方法 3.1 開発に必要なスキル 3.2 ライブラリ/ツール 4. アプリケーションを作成してみた 4.1 想定したユースケース 4.1.1 LINEWORKSについての紹介 4.1.2 スキーマ 4.2 アーキテクチャ 4.3 作成したアプリケーションの紹介 4.3.1 CRM顧客情報を参照 4.3.2 LINEWORKS顧客情報とCRM顧客情報を連携 4.2 実際に作成してみての所感 5. まとめ 1. Lookerとは？ 「Looker」は Google Cloudが提供しているBIサービスです。 Lookerは純粋な分析機能の他に 様々なデータ活用の基となるデータプラットフォームとして利用できる機能 が多く提供されており、他のBIサービスにはない特徴があります。 具体的には、 豊富な API GUI で操作できること（もしくはそれ以上のこと）が API から実行可能 外部アプリケーションに分析機能を埋め込める「組み込み分析」機能の提供 Lookerの ダッシュ ボードや分析画面を外部アプリケーションに組み込むことができます Looker Action 分析して得た結果や条件に応じて、Action Hubと呼ばれるサーバを経由して外部サービスにデータを連携できます。 連携できる外部サービス（TwilioやSlack等々）は数十種類公開されております。 Teamsのアクションについては自分が作成した経緯があったりします :) 等々の機能が提供されています。 　 　 データベースと接続したLookerを通して、分析（Modern BI & Analytics）、既存の分析との融合（Integrated Insight）、データを起点としたワークフローの実行（Data-driven Workflows）、データアプリケーションの作成（Custom Application）を実現できます。 （引用： Advanced Data Analytics Platform ） 2. Extension Frameworkとは？ Extension Frameworkとは 2021年7月22日に発表された Looker上で JavaScript のアプリケーションを ホスティング できる機能です。 前述しているように、Lookerは以前より外部連携機能（ API 連携、組込み機能）が充実していました。 しかし、アプリケーションを開発する際には（当然ですが）インフラの用意やネットワークの設定が必要で、開発者は機能開発以外に環境構築を行うハードルがありました。 Looker環境上でアプリケーションが実行できるExtension Frameworkの登場で、そのようなインフラの構築をLookerが担保してくれるようになり、開発者がより機能の開発に集中できるようになりました。 （引用： 拡張フレームワークを使用して Looker での構築を簡単にする ） Extension Frameworkでは以下のようなことが可能になっております。 外部 API へのリク エス ト（情報の取得/更新） データベースにないデータの取得、表示 Lookerの分析機能の埋め込み サードパーティ のライブラリを利用 標準で表現できない描写（ ガントチャート 、ツリー表示） 　 また、Looker上で ホスティング されることによる利点も享受でき、 ホスティング したアプリケーションは Lookerのデフォルトの認証機能（ LDAP や SAML 、OIDCなど）を利用したアプリケーションの認証 Lookerの権限管理機能を利用したアプリケーションの利用制御 といったことが利用可能です。 2.1 Extension Frameworkの利用例 Extension Frameworkを利用する事で、Lookerの分析で得た知見を次のアクションにつなげることができたり、通常の ダッシュ ボードでは表現が難しかったリッチなビジュアライズの提供ができます。 BIによる分析結果を利用したデータの更新 Extension Frameworkから外部の API を叩く事で、BIによる分析結果を次のアクションにつなげることが可能です Lookerに統合されたデータベースのマスタを管理 することも可能に アプリケーション例）予実管理アプリケーション 予算マスタをExtension Frameworkで管理。Looker上で分析から管理まで業務を完結できる。 リッチなビジュアライズの提供 Lookerがデフォルトで表現できない描写（ ガントチャート やツリー表示等）も JavaScript のライブラリをExtension Frameworkにインポートすることで描写が可能です 例えば特定の ユースケース に絞った ダッシュ ボードを作成したり、フィルター機能をマスクし分析をシンプルかつ簡単に分析するようなアプリケーションが作成可能です アプリケーション例）顧客シングルビュー Extension Frameworkから外部 API を叩くことで既存のアプリケーションから情報を取得し、 マッシュアップ 的にLookerの分析内容と既存アプリケーションを統合した顧客シングルビューを構築 また、Action連携などLookerの外部連携機能も組み合わせることでCDP（カスタマー・データ・プラットフォーム）として利用可能 3. Extension Frameworkの開発方法 この章では具体的にExtension Frameworkを利用した開発を行う際にどのようなスキルが必要になるのか、また、 Google から提供されているライブラリ/ツールについて紹介をします。 3.1 開発に必要なスキル Extension Frameworkは JavaScript （or TypeScript）を使用し開発します。 また、アプリケーション構築に必要な SDK も提供されております。純粋な JavaScript のライブラリとして提供されている他に、それらをReactから利用できる形でラップした SDK も提供されています。 開発スキルのパターンをまとめると、 JavaScript + raw JavaScript SDK TypeScript + raw JavaScript SDK JavaScript + React SDK TypeScript + React SDK から選択することとなります。 JavaScript / TypeScriptの選択は好き嫌いがあると思いますので自由に選択していただいて良いかと思います。 Reactを利用するかどうかについてはLookerからReact用のUI コンポーネント が提供されていたり、参照できるサンプルの数に差があったりするため Reactの利用をお勧めします 。 （と言ってもスキルセットの問題もあると思うので、最終的には自由に選択して問題ないです） 3.2 ライブラリ/ツール Extension Frameworkを利用したアプリケーションを開発するために、公式から以下のようなライブラリ/モジュールが用意されています。 Looker Extension SDK Extension FrameworkからLooker環境内部へアクセスするインターフェースとして SDK が提供されています。 SDK を通してLooker public API にアクセスし、 API 経由でLooker環境内部とやり取りをします。 Reactに最適化されたライブラリ も提供されています。 Looker components Reactで動作するUI コンポーネント ライブラリです この後に紹介する作成したアプリケーションでは、こちらの コンポーネント は使用せずに MUI を利用しました。 Embed SDK Extension Frameworkを利用して構築したアプリケーション内でLookerのLookや Explorer 、 Dashboard を表示するためにはEmbeded SDK 経由で描写を行います。 また、Extension Framework自体もEmbeded SDK を利用することで外部のWebサイトから参照することが可能とのことです（やってみたい） create-looker-extension utility よくある対話形式で環境構築してくれる便利ツールです。 コンソールから yarn create looker-extension または（ npx create-looker-extension ）で利用可能です。 Looker extension framework examples Google が用意してくれているサンプル集です。Extension Frameworkについて参照できる情報が少ないため、実際に開発してく際はサンプルを参照し、開発していくことになると思います。 本記事では具体的な開発方法について詳細を記述しませんが、より詳しく知りたい方は以下のブログの内容等が参考になるかと思います。 Extension Frameworkを利用してPDTの依存関係を表示させる 4. アプリケーションを作成してみた 開発方法について検証する目的で実際にExtension Frameworkを利用したアプリケーションを開発してみました。 4.1 想定した ユースケース アプリケーションを作成する際の題材としてLINEとつながる唯一のビジネスチャットツール『LINE WORKS』を今回は採用し、 LINE WORKSの顧客情報と CRM の顧客情報を連携できる アプリケーションをExtension Frameworkで作成しました。 アプリケーションの紹介の前にまず題材として取り上げたLINE WORKSについて紹介をします。 4.1.1 LINEWORKSについての紹介 ビジネスチャットツール「LINE WORKS」はLINEユーザとコミュニケーションできる「LINE連携機能」が提供されており、 特に小売業で顧客のLINEとのやり取りで「LINE連携機能」が活用されています。 https://line.worksmobile.com/jp/solutions/retail/ 利用することで スタッフや営業(LINE WORKSユーザ) と お客さん(LINEユーザ) との間で交わされた トーク 内容や顧客の情報を管理できます。 ただし、LINE WORKSの顧客情報は独立して管理されている為、もし既存の CRM の顧客情報と一元的に管理したいとなった場合、ユーザがある程度情報を確認しながら実際に紐づけ操作を行う必要があります。 今回は CRM で管理している顧客情報とLINE WORKS上で管理されている顧客情報を参照し、それらの紐づけを管理できるアプリケーションを開発しました。 4.1.2 スキーマ DBの スキーマ として以下のような構造を想定しました。 user LINEWORKSのユーザ(上記のスタッフや営業) LINE WORKSの API から取得できる情報を基にカラムを定義 https://developers.worksmobile.com/jp/reference/user-list?lang=ja lw_contact LINEWORKSの顧客情報 LINE WORKSの API から取得できる情報を基にカラムを定義 https://developers.worksmobile.com/jp/reference/contact-list?lang=ja talk LINEWORKS上で交わされたコミュニケーション内容 LINE WORKSの API から取得できる情報を基にカラムを定義 https://developers.worksmobile.com/jp/reference/audit-log-download?lang=ja contact CRM で管理している顧客情報 カラムについては特定のサービスを意識せず想定で用意しました。 lw_contact_link contact と lw_contact を紐付けるレコードが格納 実際に紐付けを管理しているのは lw_contact_link テーブルです。 アプリケーションについて 「 CRM の顧客情報とLINE WORKSの顧客情報を連携する」 アプリケーションと紹介しましたが、言い換えれば 「 contact 、 lw_contact の内容を参照し、 lw_contact_link のレコードを更新できる」 アプリケーションを今回作成したことになります。 4.2 アーキテクチャ アプリケーション全体の アーキテクチャ を紹介します。 今回のアプリケーションではLookerに接続するDWHとしてBigQueryを選択しました。 まず、LookerとBigQueryを接続し、あらかじめLook（テーブル / ビジュアライゼーションをレポートとして保存したもの）を作成しています。 そのLookをExtension Frameworkの SDK 経由で取得し、アプリケーションに表示するという構成を取っております。 （図の「テーブル取得」→「Lookの取得」→「LINEWORKSと CRM の顧客情報を参照」の部分） 更新する際は、Extension Framework（ JavaScript ）側でBigQueryにて実行したいクエリを作成し、Lookerと既に接続しているコネクションを利用し、テーブルにUpdateをかけています。 今回のアプリケーションでは直接BigQueryに対してUpdateするクエリを実施するのではなく、Lookerを経由してデータの更新を行っています。 Extension Frameworkでは外部に対して API を叩くこともできますので、例えばBigQueryのクライアントライブラリをExtension Framework側でインポートし直接BigQueryに対して API を叩くといった設計も可能です。 今回はデータの保存場所としてBigQuery ストレージのみを使用していますが、例えばデータ取り込み元としてGCSを利用している想定をし、GCSに対してデータの更新を行うといった設計ももちろん可能です。 4.3 作成したアプリケーションの紹介 アプリケーションは以下の操作フローを想定し、作成を行いました。 CRM 顧客の一覧が表示される 一覧から1人を選択する CRM 顧客詳細画面が表示される CRM 顧客詳細画面から『LINEWORKSユーザ紐付け』ボタンをクリック。紐付けモーダルが表示される。 LINEWORKSユーザの一覧が表示される LINEWORKSユーザを1名選択し、 CRM 顧客と連携（または連携解除）をする 以下、アプリケーションの機能についてアニメーションを使用しながら紹介します。 4.3.1 CRM 顧客情報を参照 （動画では、上記フローの1,2,3まで実施しています） 左のサイドメニューから「Contact」を選択する事で顧客の一覧が表示され、その中で一名を選択するとその詳細画面に遷移します。 一覧で表示している情報や詳細画面の「Profile Information」で表示している情報は全てあらかじめ作成したLookから情報を取得しているため、「一覧に表示させるカラムを変更したい」「順番を変更したい」という場合は元のLookを編集する事で変更可能です。 4.3.2 LINEWORKS顧客情報と CRM 顧客情報を連携 （動画では上記フローの4,5,6まで実施しています） 顧客情報詳細のヘッダーにある『LINEWORKSユーザ紐付け』ボタンを押下する事で、モーダルが表示されます。 モーダルではLINE WORKSの顧客情報一覧が確認でき、行右側の「連携」（または連携解除）ボタンを押す事で「参照していた CRM の顧客情報」と「LINEWORKSの顧客情報」が連携されます。 アプリケーションの機能紹介は以上になります。 4.2 実際に作成してみての所感 開発ではTypeScript + Reactを利用しました。 開発した所感として通常のReact開発と同じ感覚で開発できると感じました。 フレームワーク 特有の記述方法も多少はありますが基本的に自由に開発できるかと思います。 React Routerによるルーティングも可能ですし、（今回の開発では使用していませんが）Reduxによる状態管理も可能です。 開発に必要なスキルセットとして JavaScript / TypeScript / Reactの知識の他に、Looker API の知識が必要となりますが、 API を実際の環境のリソースに対して GUI から叩くことができるアプリケーション『 API Exploer 』が公式で用意されていたりするのでLookerの仕様に明るくない方でも十分開発ができるのではないかと思います。 5. まとめ 以上のように、Extension Frameworkを利用することでLookerの集計/分析機能を利用したアプリケーションをインフラ構築といった作業を経ずに簡単に素早く実装できます。 今回紹介したアプリケーションのように、ある意味汎用的に作られているパッケージ製品では実現が難しかった特別な要件 / 業種/ 職種に最適化されたアプリケーションを構築できます。 Extension Frameworkの登場で「データの集計/分析（ビジュアライズ）」から「意思決定」といった データドリブンなプロセス を Looker環境上で完結 して提供できるようになりました。 「データドリブンを実現したいが、具体的な方法がわからない」といった場合にLookerとExtension Frameworkは1つの回答になるのではないかと思います。 最後までお読みいただきありがとうございました。 執筆： @kumakura.koki.isid 、レビュー： @sato.taichi （ Shodo で執筆されました ）

こんにちは。X（クロス） イノベーション 本部 ソフトウェアデザインセンター の山下です。 今回は、 GitHub ActionsのSelf-Hosted runnerを利用して、社内にあるオンプレミス環境へのContinuous Integration(以降CI)とContinuous Deployment(以降CD)を実現したのでその方法について紹介します。 GitHub actionsをオンプレミス環境に適用しようとする際の課題 GitHub actionsのようにインターネット上のサービスでは、デプロイの対象となる計算機へ直接アクセスを行ってデプロイを実現することが一般的でしょう。例えば、 Amazon Web Services を対象にデプロイを実現する場合では、その API をインターネット経由で呼びだしてデプロイを実現している場合が多いと思います。しかし、オンプレミス環境では、 API のように外部から呼び出してデプロイを行うといった手段を取れない場合があります。セキュリティや様々な理由によって外部からのアクセスを禁止している環境があります。オンプレミス環境だと GitHub actionsを利用したCI/CDは諦めることになるのでしょうか？ self-hosted runnerとは？ GitHub Actionsを利用している場合、この制約をself-hosted runnerを利用することで緩和することが出来ます。 以下が GitHub 公式のself-hosted runnerのマニュアルです。 https://docs.github.com/en/actions/hosting-your-own-runners/about-self-hosted-runners この、self-hosted runnerは GitHub actionsで利用するrunnerを自身の計算機資源を利用することを可能にするものです。例えば、自宅のデスクトップマシンなどを登録して GitHub actionsのrunnerとして利用することも可能になります。また、このself-hosted runnerは通信の仕組みとして、self-hosted runner「から」 GitHub への https 通信を行うことで実現しています。self-hosted runnerが動いている計算機をサーバとして動作させて、特定のポートに GitHub がアクセスしてくるという形 ではない ということです。 つまり、オンプレミス環境であってもself-hosted runnerが動作している計算機から GitHub への https 通信ができる環境であれば動作します。さらに、self-hosted runnerからデプロイ対象となる計算機へのアクセスを許可することで、オンプレミス環境であっても GitHub actionsからCDを実現することが可能となります。 最終的には以下のような形で、 GitHub actions経由でオンプレミス環境へのCI/CDを実現しました。 以降の節で、この環境の構築手順について説明します。 self-hosted runnerのセットアップ方法 ここでは、self-hosted runner自体のセットアップ方法について説明します。 なお、OSは Ubuntu 20.04を利用しています。self-hosted runner自体は Windows や Mac でも動作します。 Windows 専用や Mac 専用アプリのCI/CDを行いたい場合にも利用できます。 まず、 github のプロジェクトの「settings」画面を開きます。 そして、画面左上にある「new self-hosted runner」ボタンをクリックします。 すると、以下のような画面が出るので、対象のOS(ここでは Linux )を選択します。 あとは、表示されているコマンドを対象となる計算機上で実行すればOKです。 self-hosted runnerインストールのコマンド それでは表示された手順に従ってインストール作業を行っていきます。まずは、self-hosted runnerをインストールします # Create a folder $ mkdir actions-runner && cd actions-runner# Download the latest runner package $ curl -o actions-runner-linux-x64-2.291.1.tar.gz -L https://github.com/actions/runner/releases/download/v2.291.1/actions-runner-linux-x64-2.291.1.tar.gz# Optional: Validate the hash $ echo "1bde3f2baf514adda5f8cf2ce531edd2f6be52ed84b9b6733bf43006d36dcd4c actions-runner-linux-x64-2.291.1.tar.gz" | shasum -a 256 -c# Extract the installer $ tar xzf ./actions-runner-linux-x64-2.291.1.tar.gz 次に、 GitHub への接続設定を実行します # Create the runner and start the configuration experience $ ./config.sh --url https://github.com/XXXXXX --token XXXXXXXXXXXXXX このコマンドを実行する際に以下の内容を聞かれます runnerの名前 runnerに付けるラベル 実行時に利用する ディレクト リ名 これらの情報のうちラベルは、 GitHub actionsで実行するrunnerを指定する際に利用することになります。意味があるラベルをつけておくと便利です。 プロキシサーバの設定 オンプレミス環境では、プロキシサーバ経由でのhttp/ https 通信しか許されていない場合があります。 self-hosted runnerは 環境変数 http_proxy 、 https_proxy 、 no_proxy といった設定を利用してプロキシの設定を行うことができます。また、 .env という設定ファイルを利用したプロキシ設定を行うことも可能です。 以下が公式のマニュアルとなります。 https://docs.github.com/en/actions/hosting-your-own-runners/using-a-proxy-server-with-self-hosted-runners 適宜環境に合わせて設定を行う必要があります。上記のインストールの手順だと 環境変数 による設定を行っておくと良いでしょう。 環境変数 による設定が上手くいかない場合は、 .env 設定ファイルによる設定を試すと上手くいくかもしれません。今回の検証環境では 環境変数 による設定を利用しました。 self-hosted runnerの実行 ここまでで、self-hosted runnerを実行する準備は整いました。以下のコマンドでself-hosted runnerが起動します。 $ ./run.sh GitHub の「runners」の画面を確認すると追加されていることが確認できます。 なお、 run.sh はCtrl+Cなどで終了してしまうと、runnerも止まってしまうのでサービス化しておく方が良いでしょう。 公式のマニュアルにも手順が記載されています。 https://docs.github.com/en/actions/hosting-your-own-runners/configuring-the-self-hosted-runner-application-as-a-service 以下の手順でサービス化することが出来ます。 sudo ./svc.sh install sudo ./svc.sh start 適宜設定しておきましょう。 CI/CDで利用するコマンドのインストール GitHub actions中に利用するコマンドは、self-hosted runnerが動作している計算機に事前にインストールしておく必要があります。実行したい内容に合わせて適宜環境構築をしておきましょう。 self-hosted runnerを利用した GitHub actionsの実行方法 さて、ここまででself-hosted runnerを GitHub に登録できました。ここでは、その登録したrunnerを実際に利用する場合について説明します。これは、 .github/workflows/*.yml といった GitHub actionsの設定ファイル中の jobs 設定でrunnerを指定することが出来ます。 name: Deploy Internal on: workflow_dispatch: jobs: deploy-on-premises: runs-on: [self-hosted, linux] ... 上記のように runs-on の設定を追加して、指定したラベルとマッチするrunnerで特定のjobを実行させることが出来ます。また、この設定はjob毎に指定できるので、テストは GitHub の提供しているrunnerで実行してデプロイはself-hosted runnerで実行するといったことも可能となります。 まとめ 今回は GitHub actionsを利用してオンプレミス環境に対するCI/CDの方法について解説しました。とても簡単に構築できるので積極的に活用していきたいです。特殊な環境でもself-hosted runnerを利用して効率的な開発を行っていきたいですね。 私たちは同じチームで働いてくれる仲間を探しています。今回のエントリで紹介したような仕事に興味のある方、ご応募お待ちしています。 ソリューションアーキテクト 執筆： @yamashita.tsuyoshi 、レビュー： @sato.taichi （ Shodo で執筆されました ）

こんにちは。X（クロス） イノベーション 本部 ソフトウェアデザインセンター の山下です。 今回は、 GitHub ActionsのSelf-Hosted runnerを利用して、社内にあるオンプレミス環境へのContinuous Integration(以降CI)とContinuous Deployment(以降CD)を実現したのでその方法について紹介します。 GitHub actionsをオンプレミス環境に適用しようとする際の課題 GitHub actionsのようにインターネット上のサービスでは、デプロイの対象となる計算機へ直接アクセスを行ってデプロイを実現することが一般的でしょう。例えば、 Amazon Web Services を対象にデプロイを実現する場合では、その API をインターネット経由で呼びだしてデプロイを実現している場合が多いと思います。しかし、オンプレミス環境では、 API のように外部から呼び出してデプロイを行うといった手段を取れない場合があります。セキュリティや様々な理由によって外部からのアクセスを禁止している環境があります。オンプレミス環境だと GitHub actionsを利用したCI/CDは諦めることになるのでしょうか？ self-hosted runnerとは？ GitHub Actionsを利用している場合、この制約をself-hosted runnerを利用することで緩和することが出来ます。 以下が GitHub 公式のself-hosted runnerのマニュアルです。 https://docs.github.com/en/actions/hosting-your-own-runners/about-self-hosted-runners この、self-hosted runnerは GitHub actionsで利用するrunnerを自身の計算機資源を利用することを可能にするものです。例えば、自宅のデスクトップマシンなどを登録して GitHub actionsのrunnerとして利用することも可能になります。また、このself-hosted runnerは通信の仕組みとして、self-hosted runner「から」 GitHub への https 通信を行うことで実現しています。self-hosted runnerが動いている計算機をサーバとして動作させて、特定のポートに GitHub がアクセスしてくるという形 ではない ということです。 つまり、オンプレミス環境であってもself-hosted runnerが動作している計算機から GitHub への https 通信ができる環境であれば動作します。さらに、self-hosted runnerからデプロイ対象となる計算機へのアクセスを許可することで、オンプレミス環境であっても GitHub actionsからCDを実現することが可能となります。 最終的には以下のような形で、 GitHub actions経由でオンプレミス環境へのCI/CDを実現しました。 以降の節で、この環境の構築手順について説明します。 self-hosted runnerのセットアップ方法 ここでは、self-hosted runner自体のセットアップ方法について説明します。 なお、OSは Ubuntu 20.04を利用しています。self-hosted runner自体は Windows や Mac でも動作します。 Windows 専用や Mac 専用アプリのCI/CDを行いたい場合にも利用できます。 まず、 github のプロジェクトの「settings」画面を開きます。 そして、画面左上にある「new self-hosted runner」ボタンをクリックします。 すると、以下のような画面が出るので、対象のOS(ここでは Linux )を選択します。 あとは、表示されているコマンドを対象となる計算機上で実行すればOKです。 self-hosted runnerインストールのコマンド それでは表示された手順に従ってインストール作業を行っていきます。まずは、self-hosted runnerをインストールします # Create a folder $ mkdir actions-runner && cd actions-runner# Download the latest runner package $ curl -o actions-runner-linux-x64-2.291.1.tar.gz -L https://github.com/actions/runner/releases/download/v2.291.1/actions-runner-linux-x64-2.291.1.tar.gz# Optional: Validate the hash $ echo "1bde3f2baf514adda5f8cf2ce531edd2f6be52ed84b9b6733bf43006d36dcd4c actions-runner-linux-x64-2.291.1.tar.gz" | shasum -a 256 -c# Extract the installer $ tar xzf ./actions-runner-linux-x64-2.291.1.tar.gz 次に、 GitHub への接続設定を実行します # Create the runner and start the configuration experience $ ./config.sh --url https://github.com/XXXXXX --token XXXXXXXXXXXXXX このコマンドを実行する際に以下の内容を聞かれます runnerの名前 runnerに付けるラベル 実行時に利用する ディレクト リ名 これらの情報のうちラベルは、 GitHub actionsで実行するrunnerを指定する際に利用することになります。意味があるラベルをつけておくと便利です。 プロキシサーバの設定 オンプレミス環境では、プロキシサーバ経由でのhttp/ https 通信しか許されていない場合があります。 self-hosted runnerは 環境変数 http_proxy 、 https_proxy 、 no_proxy といった設定を利用してプロキシの設定を行うことができます。また、 .env という設定ファイルを利用したプロキシ設定を行うことも可能です。 以下が公式のマニュアルとなります。 https://docs.github.com/en/actions/hosting-your-own-runners/using-a-proxy-server-with-self-hosted-runners 適宜環境に合わせて設定を行う必要があります。上記のインストールの手順だと 環境変数 による設定を行っておくと良いでしょう。 環境変数 による設定が上手くいかない場合は、 .env 設定ファイルによる設定を試すと上手くいくかもしれません。今回の検証環境では 環境変数 による設定を利用しました。 self-hosted runnerの実行 ここまでで、self-hosted runnerを実行する準備は整いました。以下のコマンドでself-hosted runnerが起動します。 $ ./run.sh GitHub の「runners」の画面を確認すると追加されていることが確認できます。 なお、 run.sh はCtrl+Cなどで終了してしまうと、runnerも止まってしまうのでサービス化しておく方が良いでしょう。 公式のマニュアルにも手順が記載されています。 https://docs.github.com/en/actions/hosting-your-own-runners/configuring-the-self-hosted-runner-application-as-a-service 以下の手順でサービス化することが出来ます。 sudo ./svc.sh install sudo ./svc.sh start 適宜設定しておきましょう。 CI/CDで利用するコマンドのインストール GitHub actions中に利用するコマンドは、self-hosted runnerが動作している計算機に事前にインストールしておく必要があります。実行したい内容に合わせて適宜環境構築をしておきましょう。 self-hosted runnerを利用した GitHub actionsの実行方法 さて、ここまででself-hosted runnerを GitHub に登録できました。ここでは、その登録したrunnerを実際に利用する場合について説明します。これは、 .github/workflows/*.yml といった GitHub actionsの設定ファイル中の jobs 設定でrunnerを指定することが出来ます。 name: Deploy Internal on: workflow_dispatch: jobs: deploy-on-premises: runs-on: [self-hosted, linux] ... 上記のように runs-on の設定を追加して、指定したラベルとマッチするrunnerで特定のjobを実行させることが出来ます。また、この設定はjob毎に指定できるので、テストは GitHub の提供しているrunnerで実行してデプロイはself-hosted runnerで実行するといったことも可能となります。 まとめ 今回は GitHub actionsを利用してオンプレミス環境に対するCI/CDの方法について解説しました。とても簡単に構築できるので積極的に活用していきたいです。特殊な環境でもself-hosted runnerを利用して効率的な開発を行っていきたいですね。 私たちは同じチームで働いてくれる仲間を探しています。今回のエントリで紹介したような仕事に興味のある方、ご応募お待ちしています。 ソリューションアーキテクト 執筆： @yamashita.tsuyoshi 、レビュー： @sato.taichi （ Shodo で執筆されました ）

皆さん、こんにちは。X イノベーション 本部ソフトウェアデザインセンターの陳 欣瑩です。 デザイナーが作ったデザインカンプを実現するのが大変！という悩みを抱えているエンジニアは多いでしょう。 フロントエンド開発を ラク にするために、世の中にはデザインをコードに変換するdesign-to-code ツールが多く存在しています。 しかしそれらのツールは本当にフロントエンド開発をデザインからシームレスに連携できるでしょうか。 この記事では、 Adobe XDや Figma をHTML、Reactのコードに変換するdesign-to-code ツールを紹介し、使ってみた感想をお伝えします。 コードを生成してみたツールの紹介 Avocode （有料） Adobe XD, Figma → CSS , Styled Components, Swift (for iOS ), XML (for Android ) , React Native HTMLやReactプロジェクトの生成はできませんが、 コンポーネント 毎に画像を出力したり、スタイルのコードをコピーできます。 画像やstylesのコードを出力するには、 Adobe XDや Figma の プラグイン 経由でAvocodeにデザインファイルをインポートする必要があります。 CSS などスタイルのコードを取得するには一つ一つの コンポーネント を細かく選択し出力しないといけません。 細かく数字を出力させるのではなく、カラーやフォントのサイズ、余白を参照程度にAvocodeを利用すれば、よりスムーズに実装できるかもしれません。 （ボタンの文字をStyled Componentsに出力させてみました） Anima （有料） Adobe XD, Figma → HTML, React, Vue Reactの場合はStyled Componentsの形式にも出力できます。 Adobe XD、 Figma の プラグイン 経由でデザインファイルをAnimaにインポートできます。その後、 コンポーネント やスクリーンを選択して、HTMLファイルやReactプロジェクトに出力できます（ Figma はURLからインポートすることもできます）。 Reactに出力する場合、出力されたプロジェクトは コンポーネント 毎にファイルが分かれていて、コードは比較的に読みやすいです。 また、 プラグイン のメニュー画面からText Inputや簡単なアニメーションの設定もできます。 Text Inputに設定した コンポーネント は、意味のあるテキストボックスとして認識され、 <input> に出力されます。 それ以外、ビデオなどの動くコンテンツや Google Maps をEmbed API を使ってプロトタイプに埋め込む機能もありますので、 インタラクティブ なプロトタイプを作成するには便利かもしれません。 ただし、 プラグイン から設定できる コンポーネント の種類が少ないのは残念なところです。そのため、 ラジオボタン や チェックボックス を意味のある コンポーネント に出力することができません。つまり、単なる図形として <div> に出力されます。 また、サイトの表示が重く、コードを出力するために何回もリロードしなければならないことがありました。 一方、 Adobe XDのComponents states、 Figma のInteractive Component機能への対応はロードマップに書かれているようです。近い将来に ラジオボタン や チェックボックス などの出力もできるかもしれません。 （Text Inputに設定されたテキストボックスは <input> に出力されました） Fireblade （無料） Adobe XD→ HTML, React, React Native XDの プラグイン から直接にコードを出力します。出力する前に、デスクトップアプリから画面のプレイビューができます。 また @Button や @TextInput をグループオブジェクトの名前に付ければ、一部のインタ ラク ション コンポーネント も出力できます。ただ、 命名 が足りなかったり間違った場合はエラーになるため、細かく設定しないといけません。 Reactに変換する場合は全ての コンポーネント を一つのファイルに出力するため、読みやすいとは言えません。 無料のため、気軽に試せるのはいいです。 （簡単な入力フォームの画面をReactに出力してみたら、かなり長いコードになりました） Overlay （有料） Adobe XD（beta版）, Figma → HTML, React, Vue Reactの場合はStyled Componentsの形式にも出力できます。 Figma から出力したい コンポーネント や画面を選択し、 プラグイン 経由でOverlayにインポートすると、コードが生成されコピーできます。 ただし、全ての要素をAuto Layoutに設定しないと、出力後の画面のUIが崩れるため、気をつけなといけません。 また、AnimaやFirebladeのようにインタ ラク ション コンポーネント を設定する機能がなく、テキストボックスや チェックボックス は単なる四角形として出力されます。 （テキストボックスは箱状態のまま、 <div> に出力されました） pxcode （無料） Figma → HTML, React pxcodeはコード変換の手順がやや煩雑です。まず Figma で コンポーネント やスクリーンを選んで、 プラグイン から .pxcode のファイルをダウンロードします。その後、ダウンロードしたファイルをpxcodeのサイトにインポートし、コードを出力させます。 こちらも、インタ ラク ション コンポーネント を設定する機能がなく、テキストボックスや チェックボックス は単なる四角形として扱われるのが残念なところです。 （LikeやCommentボタンは全部 <div> に出力されました） 他にもこんなツールがありました Figma の プラグイン （無料） Figma to HTML 、 Figma to React Component がありました。 Figma の プラグイン から直接にHTMLやReactのコードが生成され、コピーできます。 インタ ラク ション コンポーネント の設定機能がないため、テキストボックスや チェックボックス のコードを生成することはできません（ <div> に出力されます）。 無料のため、実装の参考として使えるかもしれないです。 AWS Amplify Studio （有料） Figma をReactに変換します。 Figma で作成した コンポーネント をAmplify StudioのUI Libraryに同期し、データとの紐付けもできます。 AWS 上で Figma と連携することで、Web/モバイル開発をローコードで実現できますので、 PoCとして動く画面を爆速で作りたい！のような場合はAmplify Studioを使うと良さそうですね。 Adobe XD extension for VS Code （無料） VS Code にインストールできる 拡張機能 です。 Adobe XD上で登録したデザイン トーク ンをDesign System Package（ DSP ）というフォーマットで出力し、 VSCode に読み込むことで CSS などを生成できます。 コンポーネント に対応する スニペット を管理できますが、 コンポーネント から ソースコード を作成することはできません。 Ploxy Adobe XD, Figma をReact Native, Swiftなどに変換できますが、現在はbetaです。 調べてみた感想 Adobe XD、 Figma からテキストボックスや チェックボックス などインタ ラク ション コンポーネント を作成する場合、それぞれを識別するための メタデータ を簡単に付与する方法がありません。 インタ ラク ション コンポーネント を認識しコードを生成するために、何かの手段（ プラグイン の機能や、 コンポーネント の 命名 ルールなど）を使って メタデータ を付与するアプローチが必要です。 既存のツールでは、このようなアプローチがあるのはAnima、Firebladeです。どちらも細かい設定をたくさんする必要があり、間違いが起きやすいように感じられました。 また、 CSS を出力できるツールは実装の参考程度には利用できますが、pxの数字を一つずつ細かく確認しながら実装するのは大変な作業だと感じられました。 まとめ Adobe XDや Figma をHTML、Reactのコードに変換するdesign-to-code ツールを調査してみました。 この記事では、調査対象としてコードを生成してみたツール5つと、簡単に調べてみたツールを5つ紹介しました。 design-to-codeツールだけに頼って、デザインをフロントエンド開発にシームレスに連携するのはまだ難しい世の中ですね。 一方、 Adobe XD、 Figma からインタ ラク ション コンポーネント を作成するためのComponents states、Interactive Component機能が最近登場しました。インタ ラク ション コンポーネント を簡単に作成し、 メタデータ を付与できるデザインツールの進化を期待しています。 私たちは同じチームで働いてくれる仲間を探しています。今回のエントリで紹介したような仕事に興味のある方、ご応募お待ちしています。 ソリューションアーキテクト 執筆： @chen.xinying 、レビュー： @sato.taichi （ Shodo で執筆されました ）

皆さん、こんにちは。X イノベーション 本部ソフトウェアデザインセンターの陳 欣瑩です。 デザイナーが作ったデザインカンプを実現するのが大変！という悩みを抱えているエンジニアは多いでしょう。 フロントエンド開発を ラク にするために、世の中にはデザインをコードに変換するdesign-to-code ツールが多く存在しています。 しかしそれらのツールは本当にフロントエンド開発をデザインからシームレスに連携できるでしょうか。 この記事では、 Adobe XDや Figma をHTML、Reactのコードに変換するdesign-to-code ツールを紹介し、使ってみた感想をお伝えします。 コードを生成してみたツールの紹介 Avocode （有料） Adobe XD, Figma → CSS , Styled Components, Swift (for iOS ), XML (for Android ) , React Native HTMLやReactプロジェクトの生成はできませんが、 コンポーネント 毎に画像を出力したり、スタイルのコードをコピーできます。 画像やstylesのコードを出力するには、 Adobe XDや Figma の プラグイン 経由でAvocodeにデザインファイルをインポートする必要があります。 CSS などスタイルのコードを取得するには一つ一つの コンポーネント を細かく選択し出力しないといけません。 細かく数字を出力させるのではなく、カラーやフォントのサイズ、余白を参照程度にAvocodeを利用すれば、よりスムーズに実装できるかもしれません。 （ボタンの文字をStyled Componentsに出力させてみました） Anima （有料） Adobe XD, Figma → HTML, React, Vue Reactの場合はStyled Componentsの形式にも出力できます。 Adobe XD、 Figma の プラグイン 経由でデザインファイルをAnimaにインポートできます。その後、 コンポーネント やスクリーンを選択して、HTMLファイルやReactプロジェクトに出力できます（ Figma はURLからインポートすることもできます）。 Reactに出力する場合、出力されたプロジェクトは コンポーネント 毎にファイルが分かれていて、コードは比較的に読みやすいです。 また、 プラグイン のメニュー画面からText Inputや簡単なアニメーションの設定もできます。 Text Inputに設定した コンポーネント は、意味のあるテキストボックスとして認識され、 <input> に出力されます。 それ以外、ビデオなどの動くコンテンツや Google Maps をEmbed API を使ってプロトタイプに埋め込む機能もありますので、 インタラクティブ なプロトタイプを作成するには便利かもしれません。 ただし、 プラグイン から設定できる コンポーネント の種類が少ないのは残念なところです。そのため、 ラジオボタン や チェックボックス を意味のある コンポーネント に出力することができません。つまり、単なる図形として <div> に出力されます。 また、サイトの表示が重く、コードを出力するために何回もリロードしなければならないことがありました。 一方、 Adobe XDのComponents states、 Figma のInteractive Component機能への対応はロードマップに書かれているようです。近い将来に ラジオボタン や チェックボックス などの出力もできるかもしれません。 （Text Inputに設定されたテキストボックスは <input> に出力されました） Fireblade （無料） Adobe XD→ HTML, React, React Native XDの プラグイン から直接にコードを出力します。出力する前に、デスクトップアプリから画面のプレイビューができます。 また @Button や @TextInput をグループオブジェクトの名前に付ければ、一部のインタ ラク ション コンポーネント も出力できます。ただ、 命名 が足りなかったり間違った場合はエラーになるため、細かく設定しないといけません。 Reactに変換する場合は全ての コンポーネント を一つのファイルに出力するため、読みやすいとは言えません。 無料のため、気軽に試せるのはいいです。 （簡単な入力フォームの画面をReactに出力してみたら、かなり長いコードになりました） Overlay （有料） Adobe XD（beta版）, Figma → HTML, React, Vue Reactの場合はStyled Componentsの形式にも出力できます。 Figma から出力したい コンポーネント や画面を選択し、 プラグイン 経由でOverlayにインポートすると、コードが生成されコピーできます。 ただし、全ての要素をAuto Layoutに設定しないと、出力後の画面のUIが崩れるため、気をつけなといけません。 また、AnimaやFirebladeのようにインタ ラク ション コンポーネント を設定する機能がなく、テキストボックスや チェックボックス は単なる四角形として出力されます。 （テキストボックスは箱状態のまま、 <div> に出力されました） pxcode （無料） Figma → HTML, React pxcodeはコード変換の手順がやや煩雑です。まず Figma で コンポーネント やスクリーンを選んで、 プラグイン から .pxcode のファイルをダウンロードします。その後、ダウンロードしたファイルをpxcodeのサイトにインポートし、コードを出力させます。 こちらも、インタ ラク ション コンポーネント を設定する機能がなく、テキストボックスや チェックボックス は単なる四角形として扱われるのが残念なところです。 （LikeやCommentボタンは全部 <div> に出力されました） 他にもこんなツールがありました Figma の プラグイン （無料） Figma to HTML 、 Figma to React Component がありました。 Figma の プラグイン から直接にHTMLやReactのコードが生成され、コピーできます。 インタ ラク ション コンポーネント の設定機能がないため、テキストボックスや チェックボックス のコードを生成することはできません（ <div> に出力されます）。 無料のため、実装の参考として使えるかもしれないです。 AWS Amplify Studio （有料） Figma をReactに変換します。 Figma で作成した コンポーネント をAmplify StudioのUI Libraryに同期し、データとの紐付けもできます。 AWS 上で Figma と連携することで、Web/モバイル開発をローコードで実現できますので、 PoCとして動く画面を爆速で作りたい！のような場合はAmplify Studioを使うと良さそうですね。 Adobe XD extension for VS Code （無料） VS Code にインストールできる 拡張機能 です。 Adobe XD上で登録したデザイン トーク ンをDesign System Package（ DSP ）というフォーマットで出力し、 VSCode に読み込むことで CSS などを生成できます。 コンポーネント に対応する スニペット を管理できますが、 コンポーネント から ソースコード を作成することはできません。 Ploxy Adobe XD, Figma をReact Native, Swiftなどに変換できますが、現在はbetaです。 調べてみた感想 Adobe XD、 Figma からテキストボックスや チェックボックス などインタ ラク ション コンポーネント を作成する場合、それぞれを識別するための メタデータ を簡単に付与する方法がありません。 インタ ラク ション コンポーネント を認識しコードを生成するために、何かの手段（ プラグイン の機能や、 コンポーネント の 命名 ルールなど）を使って メタデータ を付与するアプローチが必要です。 既存のツールでは、このようなアプローチがあるのはAnima、Firebladeです。どちらも細かい設定をたくさんする必要があり、間違いが起きやすいように感じられました。 また、 CSS を出力できるツールは実装の参考程度には利用できますが、pxの数字を一つずつ細かく確認しながら実装するのは大変な作業だと感じられました。 まとめ Adobe XDや Figma をHTML、Reactのコードに変換するdesign-to-code ツールを調査してみました。 この記事では、調査対象としてコードを生成してみたツール5つと、簡単に調べてみたツールを5つ紹介しました。 design-to-codeツールだけに頼って、デザインをフロントエンド開発にシームレスに連携するのはまだ難しい世の中ですね。 一方、 Adobe XD、 Figma からインタ ラク ション コンポーネント を作成するためのComponents states、Interactive Component機能が最近登場しました。インタ ラク ション コンポーネント を簡単に作成し、 メタデータ を付与できるデザインツールの進化を期待しています。 私たちは同じチームで働いてくれる仲間を探しています。今回のエントリで紹介したような仕事に興味のある方、ご応募お待ちしています。 ソリューションアーキテクト 執筆： @chen.xinying 、レビュー： @sato.taichi （ Shodo で執筆されました ）

みなさんこんにちは、 電通国際情報サービス （ISID）X イノベーション 本部ソフトウェアデザインセンターの佐藤太一です。 少し前になりますが4/23に、私は Go Conference 2022 Spring において Go で RDB に SQL でアクセスするためのライブラリ Kra の紹介 というタイトルで登壇しました。 登壇時の 資料はこちら です。 このエントリでは、スライドを作成する際に私が考えていることや、情報を整理する方法について説明します。 伝えたいメッセージを作りこむ アイディア出し 初期のアイディア出し例 アイディアの統合 アイディアの統合例 メッセージの絞り込み メッセージの例 今回のメッセージ 伝えたい情報を構造化する 構造のテンプレート 論理の順序を整理する まとめ 伝えたいメッセージを作りこむ 私が技術系のイベントに登壇する際に最も重視しているのがメッセージの作りこみです。 視聴者の皆さんにどんなことを伝えたいのか強く意識することで、資料の方向性を決めています。 最初にきっちりと決められれば一番いいのですが、実際には資料を作成しながら少しずつ変わっていきます。 自分自身と向き合い何を伝えたいのかを考えるのは、何度やっても大変な作業です。 アイディア出し 今回の登壇で説明するのは、データベースアクセスライブラリであるkraの紹介です。 つまり、要素技術の紹介をするわけですね。 要素技術の紹介をする際には、その技術が前提とする課題設定をきちんと理解するのが望ましいでしょう。 あらゆる要素技術は何か解決したい問題があります。そして、その問題には何らかの状況が付随しているはずです。 視聴者が持つ課題と、要素技術の解決する課題が一致すれば、それは非常に優れたプレゼンテーションになるでしょう。 また、視聴者が将来遭遇する課題について説明するなら、それもまた繰り返し参照されるより良いものになります。 問題が発生する状況を上手く抽象化しつつ、理解しやすい形で整理できれば、その課題が身近なものであると気が付いて貰えるでしょう。 アイディアだしをする時点では、要素技術が持つ機能に着目します。 自分の理解のために30文字くらいで言いきる形の機能説明をできるかぎりたくさん並べます。 それらが、どういう状況で役に立つのか自分なりに理解していきましょう。 初期のアイディア出し例 ドット区切りでプロパティアクセスできるNamed Parameterサポート Named Parameterの プレフィックス として：や＠が使える DB非依存なNamed Parameterサポート IN句における プレースホルダ の自動展開 ANTLR で実装された SQL のパーザ API 結果セットを構造体やmapに マッピング する database/ sql と酷似した API sqlxにある複雑さをできるかぎり排除した API database/ sql の薄いラッパー API pgxの薄いラッパー API カスタマイズ性の高い振る舞い context.Contextを引数に取らない API は存在しない context.ContextをKra自体は触らない処理構造 脱出口付きの API データ送信時のリフレクション処理とデータ受信時のリフレクション処理を共 通化 アイディアの統合 アイディアを出しきったら、次は統合です。45分の講演では全てを説明できません。 何か優先順をつけたり、類似する事柄をまとめることで話す内容をまとめていく必要があります。 また、要素技術の提供者にとっては意味があっても、利用者にとってそれほど重要でないことはあります。 そういったものは、あえて伝えないという判断をする必要もあるでしょう。 そうやって、要素技術が解決する課題やその根源的な価値について理解をすすめていきます。 アイディアの統合例 Named Parameterのサポート ドット区切りでプロパティアクセスできるNamed Parameterサポート Named Parameterの プレフィックス として：や＠が使える DB非依存なNamed Parameterサポート IN句における プレースホルダ の自動展開 ANTLR で実装された SQL のパーザ API 結果セットを構造体やmapに マッピング する 分かり易い API database/ sql と酷似した API sqlxにある複雑さをできるかぎり排除した API context.Contextを引数に取らない API は存在しない context.ContextをKra自体は触らない処理構造 薄いラッパー API database/ sql の薄いラッパー API pgxの薄いラッパー API カスタマイズ性の高い振る舞い 脱出口付きの API データ送信時のリフレクション処理とデータ受信時のリフレクション処理を共 通化 メッセージの絞り込み 大抵の技術系イベントでは複数の演者がそれぞれ異なった話をするため、その話を聞く人達はたくさんのメッセージを受けとります。よって、多くのメッセージをスライドに盛り込んでも聴講者の皆さんは覚えていられません。 これは私の経験則ですが、伝えたいメッセージは3つくらいに絞り込むのが望ましいと考えています。 情報を構造化し、話の流れを作り、その3つのメッセージに集約されるようにスライドを作るのです。 アイディアだしの時点では「～～しない」や「～～ではない」みたいなものがありますが、それらを一つずつ丁寧に肯定表現に入れ替えていきます。 メッセージの例 今回の講演では聴講者の皆様にKraを覚えて貰いたいので、Kraがどういうものかにフォーカスして2つの方向性でメッセージをまとめています。 Kraの機能を説明したい Named Parameterのサポート ドット区切りでプロパティアクセスできるNamed Parameterサポート Named Parameterの プレフィックス として：や＠が使える DB非依存なNamed Parameterサポート IN句における プレースホルダ の自動展開 結果セットを構造体やmapに マッピング する 薄いラッパー API database/ sql の薄いラッパー API pgxの薄いラッパー API Kraの思想を説明したい 分かり易い API database/ sql と酷似した API sqlxにある複雑さをできるかぎり排除した API context.Contextを引数に取る API だけが存在する カスタマイズ性の高い振る舞い 脱出口付きの API 今回のメッセージ 今回の例では伝えたい内容を明確にするために、アイディア出しから統合、削り込みを十回以上繰り返しています。 そうしてできあがったのが、以下の二つのメッセージとその内容です。 Kraの機能 pgxもしくはdatabase/ sql の薄いラッパー SQL に対するパラメータを バインディング する クエリの結果セットを構造体に マッピング する Kraの特徴 標準ライブラリを理解している人が実装を想像できる 細かい勘違いによる動作不良を起こしづらい 置き換え可能な API 構造 できあがったものを見ると、恐らく明解で当たり前のように感じることでしょう。 そのようになるまで、メッセージを磨くことで分かり易い講演になります。 私の講演を視聴したら「Kraの機能と特徴を説明する講演だった」と一言で説明できるはずです。 伝えたい事柄をこのレベルまで磨ければ、資料を作るのはほぼ終わったといえるでしょう。 ちなみに、この状態にするためには今後説明するスライド作成の作業を並行して実施します。 情報の構造化やビジュアルデザインを作りこむ過程で、伝えたいことが明確化するのはよくあることです。 伝えたい情報を構造化する ここでいう構造化とは 木構造 のことです。まずは、今回作ったスライドがどのような構造なのか確認してみましょう。 一番左の箱が、このスライド全体を表しています。そこから一段右側にある3つの箱は上から「はじめに」「主題」「まとめ」となっています。 「はじめに」の中身を分解したものがその右側の二つです。「自己紹介」と「 アジェンダ 」です。続けて、「主題」の中身を分解したものが、今回伝えたいメッセージである「Kraの機能」と「Kraの特徴」です。最後は、「まとめ」を「振り返り」と「宣伝」に分解しています。 これは、大きな塊を小さく分解して扱いやすくするというプログラミングでよく使う方法論です。 この方法論で論理を構成すると、ソフトウェア技術者は、おおむねこの思考様式に慣れ親しんでいるので受け入れやすい講演になります。 構造のテンプレート 概念を構造化するのは、それなりに難しいものです。慣れるまでは以下のようなテンプレートを使って考えると良いでしょう。 検討している項目の下に、何も考えずに「前提」、「主題」と「結論」を置いてしまうのです。 例えば、最初に見せた構造の中で「Kraの機能」という話題をブレークダウンしてみましょう。追加した部分には、赤い色を付けています。 ここでは、頭の中でブレークダウンするのではなく、このように見える形で箱を置いてしまうことです。 見える形で箱を置いたら、これらを声に出して読み上げます。 Kraの機能における前提 Kraの機能における本題 Kraの機能における結論 視覚と聴覚に刺激を与えることで、ある種の違和感が発生するはずです。その違和感を 言語化 すると概念の構造を明らかにする手掛かりとなります。例えば、以下のようなことが思い浮かびます。 Kraの機能における前提とはなんだろうか？設計か？思想か？課題設定か？ Kraの機能における本題は簡単。単に機能の一覧を説明すればいい Kraの機能における結論とはなんだろうか？便利とかそういうことか？それとも、ここまでの説明を単にまとめるのか？ これを繰り返していくことでテーマを深掘りします。 ここで重要なのは、視覚に対して与える刺激の種類を増やすことや、声を出すことで聴覚に対して刺激を与えることで脳の様々な部分を働かせることです。散歩や入浴もおすすめです。 論理の順序を整理する 論理の構造を明らかにすることと並行して、論理の順序について考えましょう。 要素技術を説明するには、抽象度の高い事柄を最初に説明して、それを徐々に具体化していくのが基本的な手順です。 抽象度の高い事柄とは、例えば以下のようなものです。 要素技術の背景にある技術的な思想 要素技術が最終的に解決したい課題 要素技術を実装した意図 こういったものを最初に説明すると、視聴者が混乱する可能性を低減できます。 そこから導き出される具体的な事柄とは、例えば以下のようなものです。 ライブラリや フレームワーク のコードを使った動作説明 ライブラリや フレームワーク の使い方を説明するサンプルコード スクリーンキャプチャや CLI の出力を例示するツールの操作説明 今回は45分の枠でお話しましたが、私を含め普通の視聴者は概ね最後の5分から10分くらいで聞いた話が印象として残ります。 つまり、講演の終盤で短期的に利益のある話、分かり易い話をする方が良い印象を残せます。 まとめ 記事として少し長くなり過ぎてしまったので、今回の説明はここまでとします。 例えば、ビジュアルデザインや時間管理の方法、 PowerPoint の効率的な使い方については説明できていません。 そういった話題について、ご興味のある方は Twitter 等の SNS で続きを読みたい旨を投稿して貰えるとありがたいです。 このエントリを読んだ皆さんが技術系のカンファレンスに登壇する助けになればうれしいです。 執筆： @sato.taichi 、レビュー： @yamashita.tsuyoshi （ Shodo で執筆されました ）

みなさんこんにちは、 電通国際情報サービス （ISID）X イノベーション 本部ソフトウェアデザインセンターの佐藤太一です。 少し前になりますが4/23に、私は Go Conference 2022 Spring において Go で RDB に SQL でアクセスするためのライブラリ Kra の紹介 というタイトルで登壇しました。 登壇時の 資料はこちら です。 このエントリでは、スライドを作成する際に私が考えていることや、情報を整理する方法について説明します。 伝えたいメッセージを作りこむ アイディア出し 初期のアイディア出し例 アイディアの統合 アイディアの統合例 メッセージの絞り込み メッセージの例 今回のメッセージ 伝えたい情報を構造化する 構造のテンプレート 論理の順序を整理する まとめ 伝えたいメッセージを作りこむ 私が技術系のイベントに登壇する際に最も重視しているのがメッセージの作りこみです。 視聴者の皆さんにどんなことを伝えたいのか強く意識することで、資料の方向性を決めています。 最初にきっちりと決められれば一番いいのですが、実際には資料を作成しながら少しずつ変わっていきます。 自分自身と向き合い何を伝えたいのかを考えるのは、何度やっても大変な作業です。 アイディア出し 今回の登壇で説明するのは、データベースアクセスライブラリであるkraの紹介です。 つまり、要素技術の紹介をするわけですね。 要素技術の紹介をする際には、その技術が前提とする課題設定をきちんと理解するのが望ましいでしょう。 あらゆる要素技術は何か解決したい問題があります。そして、その問題には何らかの状況が付随しているはずです。 視聴者が持つ課題と、要素技術の解決する課題が一致すれば、それは非常に優れたプレゼンテーションになるでしょう。 また、視聴者が将来遭遇する課題について説明するなら、それもまた繰り返し参照されるより良いものになります。 問題が発生する状況を上手く抽象化しつつ、理解しやすい形で整理できれば、その課題が身近なものであると気が付いて貰えるでしょう。 アイディアだしをする時点では、要素技術が持つ機能に着目します。 自分の理解のために30文字くらいで言いきる形の機能説明をできるかぎりたくさん並べます。 それらが、どういう状況で役に立つのか自分なりに理解していきましょう。 初期のアイディア出し例 ドット区切りでプロパティアクセスできるNamed Parameterサポート Named Parameterの プレフィックス として：や＠が使える DB非依存なNamed Parameterサポート IN句における プレースホルダ の自動展開 ANTLR で実装された SQL のパーザ API 結果セットを構造体やmapに マッピング する database/ sql と酷似した API sqlxにある複雑さをできるかぎり排除した API database/ sql の薄いラッパー API pgxの薄いラッパー API カスタマイズ性の高い振る舞い context.Contextを引数に取らない API は存在しない context.ContextをKra自体は触らない処理構造 脱出口付きの API データ送信時のリフレクション処理とデータ受信時のリフレクション処理を共 通化 アイディアの統合 アイディアを出しきったら、次は統合です。45分の講演では全てを説明できません。 何か優先順をつけたり、類似する事柄をまとめることで話す内容をまとめていく必要があります。 また、要素技術の提供者にとっては意味があっても、利用者にとってそれほど重要でないことはあります。 そういったものは、あえて伝えないという判断をする必要もあるでしょう。 そうやって、要素技術が解決する課題やその根源的な価値について理解をすすめていきます。 アイディアの統合例 Named Parameterのサポート ドット区切りでプロパティアクセスできるNamed Parameterサポート Named Parameterの プレフィックス として：や＠が使える DB非依存なNamed Parameterサポート IN句における プレースホルダ の自動展開 ANTLR で実装された SQL のパーザ API 結果セットを構造体やmapに マッピング する 分かり易い API database/ sql と酷似した API sqlxにある複雑さをできるかぎり排除した API context.Contextを引数に取らない API は存在しない context.ContextをKra自体は触らない処理構造 薄いラッパー API database/ sql の薄いラッパー API pgxの薄いラッパー API カスタマイズ性の高い振る舞い 脱出口付きの API データ送信時のリフレクション処理とデータ受信時のリフレクション処理を共 通化 メッセージの絞り込み 大抵の技術系イベントでは複数の演者がそれぞれ異なった話をするため、その話を聞く人達はたくさんのメッセージを受けとります。よって、多くのメッセージをスライドに盛り込んでも聴講者の皆さんは覚えていられません。 これは私の経験則ですが、伝えたいメッセージは3つくらいに絞り込むのが望ましいと考えています。 情報を構造化し、話の流れを作り、その3つのメッセージに集約されるようにスライドを作るのです。 アイディアだしの時点では「～～しない」や「～～ではない」みたいなものがありますが、それらを一つずつ丁寧に肯定表現に入れ替えていきます。 メッセージの例 今回の講演では聴講者の皆様にKraを覚えて貰いたいので、Kraがどういうものかにフォーカスして2つの方向性でメッセージをまとめています。 Kraの機能を説明したい Named Parameterのサポート ドット区切りでプロパティアクセスできるNamed Parameterサポート Named Parameterの プレフィックス として：や＠が使える DB非依存なNamed Parameterサポート IN句における プレースホルダ の自動展開 結果セットを構造体やmapに マッピング する 薄いラッパー API database/ sql の薄いラッパー API pgxの薄いラッパー API Kraの思想を説明したい 分かり易い API database/ sql と酷似した API sqlxにある複雑さをできるかぎり排除した API context.Contextを引数に取る API だけが存在する カスタマイズ性の高い振る舞い 脱出口付きの API 今回のメッセージ 今回の例では伝えたい内容を明確にするために、アイディア出しから統合、削り込みを十回以上繰り返しています。 そうしてできあがったのが、以下の二つのメッセージとその内容です。 Kraの機能 pgxもしくはdatabase/ sql の薄いラッパー SQL に対するパラメータを バインディング する クエリの結果セットを構造体に マッピング する Kraの特徴 標準ライブラリを理解している人が実装を想像できる 細かい勘違いによる動作不良を起こしづらい 置き換え可能な API 構造 できあがったものを見ると、恐らく明解で当たり前のように感じることでしょう。 そのようになるまで、メッセージを磨くことで分かり易い講演になります。 私の講演を視聴したら「Kraの機能と特徴を説明する講演だった」と一言で説明できるはずです。 伝えたい事柄をこのレベルまで磨ければ、資料を作るのはほぼ終わったといえるでしょう。 ちなみに、この状態にするためには今後説明するスライド作成の作業を並行して実施します。 情報の構造化やビジュアルデザインを作りこむ過程で、伝えたいことが明確化するのはよくあることです。 伝えたい情報を構造化する ここでいう構造化とは 木構造 のことです。まずは、今回作ったスライドがどのような構造なのか確認してみましょう。 一番左の箱が、このスライド全体を表しています。そこから一段右側にある3つの箱は上から「はじめに」「主題」「まとめ」となっています。 「はじめに」の中身を分解したものがその右側の二つです。「自己紹介」と「 アジェンダ 」です。続けて、「主題」の中身を分解したものが、今回伝えたいメッセージである「Kraの機能」と「Kraの特徴」です。最後は、「まとめ」を「振り返り」と「宣伝」に分解しています。 これは、大きな塊を小さく分解して扱いやすくするというプログラミングでよく使う方法論です。 この方法論で論理を構成すると、ソフトウェア技術者は、おおむねこの思考様式に慣れ親しんでいるので受け入れやすい講演になります。 構造のテンプレート 概念を構造化するのは、それなりに難しいものです。慣れるまでは以下のようなテンプレートを使って考えると良いでしょう。 検討している項目の下に、何も考えずに「前提」、「主題」と「結論」を置いてしまうのです。 例えば、最初に見せた構造の中で「Kraの機能」という話題をブレークダウンしてみましょう。追加した部分には、赤い色を付けています。 ここでは、頭の中でブレークダウンするのではなく、このように見える形で箱を置いてしまうことです。 見える形で箱を置いたら、これらを声に出して読み上げます。 Kraの機能における前提 Kraの機能における本題 Kraの機能における結論 視覚と聴覚に刺激を与えることで、ある種の違和感が発生するはずです。その違和感を 言語化 すると概念の構造を明らかにする手掛かりとなります。例えば、以下のようなことが思い浮かびます。 Kraの機能における前提とはなんだろうか？設計か？思想か？課題設定か？ Kraの機能における本題は簡単。単に機能の一覧を説明すればいい Kraの機能における結論とはなんだろうか？便利とかそういうことか？それとも、ここまでの説明を単にまとめるのか？ これを繰り返していくことでテーマを深掘りします。 ここで重要なのは、視覚に対して与える刺激の種類を増やすことや、声を出すことで聴覚に対して刺激を与えることで脳の様々な部分を働かせることです。散歩や入浴もおすすめです。 論理の順序を整理する 論理の構造を明らかにすることと並行して、論理の順序について考えましょう。 要素技術を説明するには、抽象度の高い事柄を最初に説明して、それを徐々に具体化していくのが基本的な手順です。 抽象度の高い事柄とは、例えば以下のようなものです。 要素技術の背景にある技術的な思想 要素技術が最終的に解決したい課題 要素技術を実装した意図 こういったものを最初に説明すると、視聴者が混乱する可能性を低減できます。 そこから導き出される具体的な事柄とは、例えば以下のようなものです。 ライブラリや フレームワーク のコードを使った動作説明 ライブラリや フレームワーク の使い方を説明するサンプルコード スクリーンキャプチャや CLI の出力を例示するツールの操作説明 今回は45分の枠でお話しましたが、私を含め普通の視聴者は概ね最後の5分から10分くらいで聞いた話が印象として残ります。 つまり、講演の終盤で短期的に利益のある話、分かり易い話をする方が良い印象を残せます。 まとめ 記事として少し長くなり過ぎてしまったので、今回の説明はここまでとします。 例えば、ビジュアルデザインや時間管理の方法、 PowerPoint の効率的な使い方については説明できていません。 そういった話題について、ご興味のある方は Twitter 等の SNS で続きを読みたい旨を投稿して貰えるとありがたいです。 このエントリを読んだ皆さんが技術系のカンファレンスに登壇する助けになればうれしいです。 執筆： @sato.taichi 、レビュー： @yamashita.tsuyoshi （ Shodo で執筆されました ）

こんにちは。 電通国際情報サービス (ISID) 金融ソリューション事業部の若本です。AIを活用した新規事業に取り組んでおり、業務では主に 自然言語処理 の実装に携わっていますが、今回は画像処理分野の記事になります。 私は趣味で ブレイクダンス を練習しているのですが、自分の練習動画を見ていると「この動きは最近癖になっているな」ですとか、「あの動きは最近していないな」といった気付きを得ることが多々あります。しかし、過去の動画をいちいち見返すのはかなり億劫な作業です。 そこで、 過去の自分の練習動画から同じような動きを取得する ことを考えました。BlazePoseを使い、他の動画の中から似ている動きを検索します。 BlazePoseとは？ Google が開発した、 動画から骨格情報を検出するAIモデル です 1 。BlazePoseを使用することで、手軽かつ高速に骨格検出を実施できます。奥行情報の推定やセグメンテーション（人が映っている場所だけを切り出すこと）も可能です。それでいて、リアルタイム検出に対応できる動作速度を持ち合わせています。 類似の骨格検出AIにはMoveNet 2 などもあります。こちらはモーションブラー（動きのブレ）に強いことが特長です。 動きの激しい ブレイクダンス を解析対象としているため、本来であればMoveNetを使いたいところですが、今回は奥行の情報も使いたいためBlazePoseを採用しました。以下がBlazePoseの出力例になります。 類似度の計算 以前に撮影した複数の練習動画を入力として、他の動画に似た動きがないか検索します。処理の概要は以下の図のようになります。 1つの動画内には多くの動きが含まれているため、まず動画を小分けに保存してBlazePoseにかけています。 BlazePoseを使い、小分けにした動画の各フレームの骨格情報を取得することができれば、あとは骨格情報の推移から類似度を計算するだけです。 これらを以下の手順で実装します。 ① 座標の情報を変換する ② 他の動画と比較して類似度を算出する ① 座標の情報を変換する BlazePoseで取得した骨格情報は、部位ごとに空間座標（X、Y、Z）の情報を持っています。 このとき、全く同じ動きをしていても空間座標の値は異なります。なぜなら、 動画を撮影している角度や位置などが動画ごとに異なる からです。 これらを統一するため、座標を以下のようにして変換します。 基準となる1つの部位を決め、その部位が原点になるよう全ての空間座標を平行移動させる 基準となる部位をもとに全ての空間座標を回転させる ここでは、体の場所と向きの情報をそろえています。体の向きさえ一致させることができれば、上記の方法でなくとも問題はありません。 ② 他の動画と比較して類似度を算出する ブレイクダンス について、以下のような特徴を考慮して類似度を計算します。 Ⅰ. 動きに個人差の大きい部位がある Ⅱ. 同じ動きでも早かったり遅かったりする Ⅰ. には部位ごとの重みづけを、Ⅱ. には類似度計算に DTW(Dynamic Time Warping) を使うことで対応すればよさそうです。このとき、類似度の計算は以下のように行います。 部位ごとにDTWを計算する 部位ごとに設定した重みをスコアにかけ、総和を取る 総和が 閾値 より小さければ、類似している動画とみなす 上記を小分けにした動画のすべての組み合わせについて繰り返す また、BlazePoseから出力される骨格情報は33箇所もあるため、特定の部位の情報のみを使用して類似度を算出しています。 結果 以下が類似と判定された動きのキャプションになります。 服装が似ていることもあってわかりづらいですが、別動画から類似モーションを取得することには成功しています。ただ、BlazePoseで取得した奥行の情報が不正確なためか、似た角度の動画が多く見られました。現時点のロジックでは、少なくとも撮影角度が似ているほうが有利になる傾向はありそうです。 おわりに 今回は ブレイクダンス の練習動画をもとに、類似モーション検索のチューニング・検証を行いました。 今後はより複雑な動き・速い動きでも類似モーションを取得できるよう改良したいと思います。また、撮影角度によっては類似モーションの見逃しが発生していることも今後の課題です。とはいえ、近年の骨格検出AIの発展は目覚ましく、より安定して骨格情報を捉えられるようになってきているため、改良するより早く解決してしまうかもしれません。 今後も単眼カメラの情報をベースとした様々な骨格検出モデルの登場が予想されます。今後どのように技術が発展していくのか、そしてどのように応用されていくのか、非常に楽しみです。 執筆： @wakamoto.ryosuke 、レビュー： @sato.taichi （ Shodo で執筆されました ） BlazePose: On-device Real-time Body Pose tracking（ https://arxiv.org/abs/2006.10204 ） ↩ MoveNet: A Deep Neural Network for Joint Profile Prediction Across Variable Walking Speeds and Slopes( https://ieeexplore.ieee.org/document/9406043 ) ↩