AWS を活用したデータレイクは、きわめて高い可用性を誇る Amazon Simple Storage Service(Amazon S3) を土台としており、多様なデータとアナリティクスのアプローチを組み合わせるのに必要なスケール、敏捷性、柔軟性を提供することができます。データレイクがサイズと利用法の両面で成熟してくるにつれ、データをビジネスイベントに合わせて一貫性を保つのにかなりの労力が費やされることがあります。ファイルがトランザクションと一貫性を保って更新されることを確実にするために、 Apache

AIと機械学習、ディープラーニング（深層学習）の違いとは 2020.11.12公開　2024.1.31更新 概　要 AI、機械学習、ディープラーニングは同時に語られることが多いですが、これらはAIの一つの技術領域として機械学習があり、機械学習の一つの技術としてディープラーニングがあるというカテゴリ関係にあります。近年AIがブームになっているのは、機械学習の一手法としてディープラーニングが登場し、AIのレベルを大きく引き上げたことが大きな要因だとされています。 目　次 ・ AIと機械学習、ディープラーニング

1月11日は、 Amazon Elastic Container Service (Amazon ECS) が Amazon Elastic Block Store (Amazon EBS) との統合のサポートを開始し、より広範なデータ処理ワークロードをより簡単に実行できるようになったことを皆さんにお知らせしたいと思います。 AWS Fargate および Amazon Elastic Compute Cloud (Amazon EC2) で実行されている ECS タスクに Amazon EBS ストレー

はじめに 介護事業者向け経営支援サービス「カイポケ」のプロダクトオーナーをしている 岩下 真志穂 と申します。 入社して約４年間ビジネスサイドでセールス業務をしていたのですが、2023年中頃に入ってプロダクト開発の知識がほぼゼロに近い状態で異動をして、プロダクトオーナー(PO)をすることになりました。 どんな方に読んでほしいか そんな私がこの約半年間でどういう課題に直面し、それをどう解決してきたのかを本エントリーで共有したいと思います。この記事は ビジネスサイドや事業部での経験はあるが、全くの異職種へ未経

はじめに AWS IoT SiteWise アプリケーションをスケーリングして本番環境に移行する際には、開発環境と QA 環境を本番環境から分離する一般的な CI/CD を採用することを検討します。この分離により、デプロイパイプラインを通じてこれらのアプリケーションのデプロイを自動化できます。また、共通のアセットモデルや階層を持つ複数の事業部門や産業拠点があり、それらを組織全体で共有して再利用したい場合もあります。このような場合、顧客は通常、開発環境と本番環境間あるいは異なる事業部門間において、別々の環境

本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 最終回となる今回は、過去の連載記事で紹介しきれなかったDune（分析ツール）のTips的な有用機能や、分析のための高度なSQL構文についてご紹介します。 Dune Tips DuneのようなSQLベースの分析ツールは、SQLで記述されたクエリを再利用するためのさまざまな有用機能が実装されていることが多くあります。その中でも、多くの分析ツールで頻繁に使用されるパラメタ化機

こんにちは！クラウドエース株式会社 データ ML ディビジョン所属の福家です。 クラウドエースの データ ML ディビジョンは、クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としています。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事と

★SHIFTGroup技術ブログ（公式note）でアドベントカレンダー★ SHIFT公式ブロガーによるブログ版アドベンドカレンダーで、SHIFTらしい多彩な最新記事をクリスマスまでの25日間に毎日お届けします！ 《まとめ記事も公開中》 SHIFT公式アドカレ2023まとめ記事 SHIFT公式アドカレ2022はじめます SHIFTGroup技術ブログTOP アドベントカレンダー1日目の記事はこちら！

AI業界でのキャリアを考える。共催キャリアイベントをレポート 2023.11.14 概　要 Laboro.AIでは、2023年10月16日（月）、大手製造メーカーであるオムロン株式会社（以下、オムロン）と、最新のAI技術の研究開発で価値を創出するオムロンサイニックエックス株式会社（以下、OSX）と共催キャリアセミナー「 AI業界でのキャリアを考える ～ 大企業AI研究所とAIスタートアップ それぞれの魅力を徹底議論 」を開催しました。 100名を超える応募があり大盛況に終わったこのイベントのうち、本記事で

こんにちは、クラウドエース データML ディビジョン所属の濱です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは、「AWS Glue 連携データセットの作成」についてです。 概要 2023年9月13日の BigQuery のリリースノートに掲載されたリリース

本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第7回の今回は、Ethereumのトランザクションに紐づくデータ構造の深掘りや、データ分析でよく用いられる発展的なSQLの構文についての解説をおこないます。 Ethereumのトランザクション詳解 Bitcoinの場合、各アカウントが保持する状態は基本的にビットコインの残高であり、その変更は送金やマイニングといった１つのトランザクションを最小単位として行われます。一方、

この記事は、「 Applying carbon value modeling to achieve net-zero  」を翻訳したものです。 気候変動は現代の最も差し迫った問題の 1 つであり、温室効果ガス (二酸化炭素) 排出量を削減するために迅速な行動を取る必要があることがますます明らかになっています。2050 年までにカーボンニュートラルを実現し、地球の平均気温を産業革命前の 2°C未満に保つには、世界は今後 10 年間、年間 7.6 パーセントずつ排出量を削減する必要があります。現在の

Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 日本におけるお客さま本人確認と今後の技術的課題 」の書き起こしです。 @tim：みなさん、こんにちは。このセッションでは、「日本におけるお客さま本人確認と今後

AWS は10月15日、 汎用 Amazon EC2 M7i インスタンス と コンピューティング最適化 Amazon EC2 C7i インスタンス の 2 つの Amazon Elastic Compute Cloud (Amazon EC2) インスタンスをラインアップに導入しました。 今日は、メモリ最適化 Amazon EC2 R7i インスタンスを追加するために x86 ベースの第 7 世代製品が拡大されることをお知らせしたいと思います。これらのインスタンスには、AWS 限定のカスタム第 4 世代

データマイグレーションは、組織がクラウドに移行するための重要な第一歩です。多くの場合、ビジネスクリティカルなアプリケーション、データベース、データアナリティクスワークロード、データウェアハウス、ビッグデータ、学習済みの人工知能/機械学習 (AI/ML) モデルのリフトアンドシフトが必要となります。データはさまざまなレイヤーで生成・保存されます。そのため、マイグレーションのプロセスは複雑なものとなり、データの取り込みとマイグレーションのプロセスを合理的な方法論を用いて適切に設計し、継続的なデータ転送をできる