クラウドエースでデータ ML エンジニアをやっている神谷と申します。業務では、データ基盤構築やデータ分析に取り組んでいます。本記事では、最近パブリックプレビューになった Dataform を使って、BigQuery のデータ パイプラインの依存関係管理をしてみます（クイックスタートをベースとした前提条件の設定、Dataform プロジェクトの開始方法、画面操作イメージ等についてはこちらの記事を参照ください。） 1. はじめに ビッグデータ基盤において、データ パイプラインやデータそのものの品質を保つことは

KAKEHASHI でバックエンドエンジニアをしている横田です。 今回は、一般的にクローラーを使って作成するであろう、データカタログのテーブルを Spark だけで実現する方法について紹介できればと思います。 背景・目的 MusubiInsight のプロダクトでは、薬剤師さんや薬局のマネージャーさん向けに業務実績データの可視化を行っています 可視化するデータは、夜間にバッチ処理で計算しています データ量としては数十 ~ 数百 GB あるので、集計処理基盤として AWS Glue の Spark Job

AI事業本部の広告配信プロダクトDynalystでMLエンジニアをしている長江(@nsakki55) ...

こんにちは。 テストオートメーショングループのおすしです。 ■前回記事 TestRailと自動テストの連携#1 Selenium/Python編 engineers-blog.agest.co.jp 今回はTestRailとmablの自動テストを連携したお話です。 連携方法やテストコードは下の方で全部公開しています。 ※今回はmablのJenkinsプラグイン以外を使用していません。mablには便利なCLIがあるので、一度目を通しておくことをお勧めします。 自分の環境に合ったより良い連携方法をひらめくかも

私（寺田 @u_1roh ）が携わっているプロジェクトについて。 ここでは「金属加工品の多品種少量生産」という文脈の話をします。具体的には、例えば板金加工や旋盤やフライス盤による機械加工などの受注生産をイメージして下さい。 CAD/CAMの理想と現実 製造業では、CADやCAMといったソフトウェアが使われています。この2つは次の役割分担をしています。 CADは、製品の形状や仕様を定義する。 CAMは、製品仕様を満たす加工プログラムを生成する。 この役割分担の理想を突き詰めると、次のようになるでしょう。 C

pytest-cov とは カバレッジとは C0 カバレッジ（Statement coverage: 命令網羅） C1 カバレッジ（Branch coverage: 分岐網羅） C2 カバレッジ（Condition coverage: 条件網羅） 試してみる インストール 実行方法 Visual Studio Code で可視化したい まとめ あわせて読みたい pytest-cov とは github.com pytest-cov とは、Python のテスティングフレームワークである pytest 実行

イントロダクション こんにちは、NTTコミュニケーションズ デジタル改革推進部 データドリブンマネジメント部門の有賀唯貴です！ 現在、社内の同じ部署の浅野秀平さんと「でじかいロボット部」を立ち上げて同好会として非公式に活動しています！ 今回は活動第一弾として、ROS(Robot Operating System)を使ったラジコン製作に取り組んだのでその内容を報告します。 ※ でじかいロボット部は非公式な活動です。ただいま絶賛部員募集中です！ ROSとは ROS とは、ロボットシステム構築を効率化するための

はじめに この夏の 土用の丑の日 に鰻を食べれなかったので、この秋は秋刀魚を絶対に食べることを目標にしているアプリケーションサービス部の森です。 今回は、たまたまOSをクリーンインストールしたので、 新たにPythonをインストールすることになったので、 備忘録がてらブログに情報を残そうと思います。 前提条件 MacBook Pro (13-inch, M1, 2020) Apple M1 macOS Monterey(12.6) 工場出荷状態 zsh 2022/10/24現在 インストール では、Pyt

はじめに こんにちは。ブランドソリューション開発本部 バックエンド部 SREの笹沢（ @sasamuku ）です。 ZOZOではショップスタッフの販売サポートツール「FAANS」を2022年8月に正式リリースしました。FAANSはアパレルのショップスタッフ様を支援する様々な機能を提供しています。例えば、ZOZOTOWN上で実店舗の在庫取り置きができる機能や、コーディネート投稿の機能などがあります。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピングに連携が可能で、今後はブランド様

RevComm の小門です。 2022年10月14日(金)～15日(土) に開催された PyCon JP 2022 に参加しました。 弊社からは陶山 嶺、川添 貴之の2名が登壇、松土 慎太郎がコアスタッフとして参加しました。 今回はカンファレンスの振り返りとして登壇者らのコメントと、トークの感想をお送りします。 登壇振り返り 詳解 print(“Hello, world”) 誰もが知る print() 関数の処理を例に、C言語/OS レイヤーの仕組みを深堀していきます。 そして Python を含め「プロ

はじめに はじめまして！22卒で開発エンジニアとして新卒入社したS.Kです！ この記事では、今年度マイナビのシステム職向けの研修について、具体的にどんなことを学んだのか紹介していこうと思います。 主にマイナビのシステム職の研修内容が気になっている学生の皆さんを対象として、イメージがつかめるような記事を作りたいと思いますので、ぜひ参考にしてみてください！ 全体のスケジュールと前提情報 スケジュール まず最初に、研修のスケジュールをまとめました。システム職の新人研修は、3か月間にわたります。 3か月間で、社会

こんにちは！Lead Engineerの筒井です。 Insight EdgeにJOINして今月でちょうど一年、いくつかの案件に関わってきました。案件対応の中でJupyter Notebook（以下、Notebook）をWebアプリ化して公開する仕組みを作りましたので紹介します。 背景 今回のタスク（案件の中の1つのタスク）の背景は以下のようなものでした。 事業会社（以下、A社）において、機械学習を利用した予測・分析を事業に活用している A社内のデータサイエンティストが、Notebookを使ってさまざまな予

電通国際情報サービス 、オープン イノベーション ラボの 比嘉康雄 です。 Stable Diffusion（というよりdiffusers）でTPU（JAX / Flax）を使った並列実行バージョンがリリースされたので、早速試してみました。 オリジナルのNotebook はこちら。 僕が作ったNotebook はこちら。 今回は、TPUを使うので、 Google Colabに特化しています。自分で１から試す方は、メニューのEdit -> Notebook settingsでTPUを使うように設定してくださ

電通国際情報サービス 、オープン イノベーション ラボの 比嘉康雄 です。 Stable Diffusion（というよりdiffusers）でTPU（JAX / Flax）を使った並列実行バージョンがリリースされたので、早速試してみました。 オリジナルのNotebook はこちら。 僕が作ったNotebook はこちら。 今回は、TPUを使うので、 Google Colabに特化しています。自分で１から試す方は、メニューのEdit -> Notebook settingsでTPUを使うように設定してくださ

はじめに Python を対象とした静的型チェックツールとして mypy はよく知られています。静的型チェックを通じて プログラマー はより安全にコードを記述でき、安全にコードが記述できることで最終的にはソフトウェア開発の効率をより高めることができます。もちろん初期的な導入 工数 とCIパイプライン等での追加の時間的コストは発生するものの、それ以上の 複利 的な効果が期待できます。 静的型チェックよりも更に込み入った構文上の改良点や、未使用変数などの抽出を行ってくれるツールとして Linter があります