「ビッグデータ」に関連する技術ブログ
企業やコミュニティが発信する「ビッグデータ」に関連する技術ブログの一覧です。
全154件中 61 - 75件目
トランザクション処理可能なオープンテーブルフォーマット(OTF)のために Amazon Athena for Apache Spark と Spark SQL を活用する
2024/02/01
ブックマーク
AWS を活用したデータレイクは、きわめて高い可用性を誇る Amazon Simple Storage Service(Amazon S3) を土台としており、多様なデータとアナリティクスのアプローチを組み合わせるのに必要なスケール、敏捷性、柔軟性を提供することができます。データレイクがサイズと利用法の両面で成熟してくるにつれ、データをビジネスイベントに合わせて一貫性を保つのにかなりの労力が
AIと機械学習、ディープラーニング（深層学習）の違いとは
2024/01/31
ブックマーク
AIと機械学習、ディープラーニング（深層学習）の違いとは 2020.11.12公開 2024.1.31更新 概 要 AI、機械学習、ディープラーニングは同時に語られることが多いですが、これらはAIの一つの技術領域として機械学習があり、機械学習の一つの技術としてディープラーニングがあるというカテゴリ関係にあります。近年AIがブームになっているのは、機械学習の一手法としてデ
Amazon ECS がデータ集約型ワークロードのための Amazon EBS ボリュームとのネイティブ統合をサポート
2024/01/14
ブックマーク
1月11日は、 Amazon Elastic Container Service (Amazon ECS) が Amazon Elastic Block Store (Amazon EBS) との統合のサポートを開始し、より広範なデータ処理ワークロードをより簡単に実行できるようになったことを皆さんにお知らせしたいと思います。 AWS Fargate および Amazon Elastic Compute Cloud (Amazon EC2) で実行されている ECS タスクに Amazon EBS ストレージをプロビジョニングでき、ストレージやコン
プロダクトオーナーの魅力とは？元セールス出身者が社内転職してみて思う事
2024/01/09
ブックマーク
はじめに 介護事業者向け経営支援サービス「カイポケ」のプロダクトオーナーをしている 岩下 真志穂 と申します。 入社して約４年間ビジネスサイドでセールス業務をしていたのですが、2023年中頃に入ってプロダクト開発の知識がほぼゼロに近い状態で異動をして、プロダクトオーナー(PO)をすることになりました。 どんな方に読んでほしいか そんな私がこの約半年間
AWS IoT SiteWise のリソースを環境を跨いで複製する方法
2023/12/28
ブックマーク
はじめに AWS IoT SiteWise アプリケーションをスケーリングして本番環境に移行する際には、開発環境と QA 環境を本番環境から分離する一般的な CI/CD を採用することを検討します。この分離により、デプロイパイプラインを通じてこれらのアプリケーションのデプロイを自動化できます。また、共通のアセットモデルや階層を持つ複数の事業部門や産業拠点があり、それらを
【第8回】Ethereumデータ分析演習4
2023/12/13
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 最終回となる今回は、過去の連載記事で紹介しきれなかったDune（分析ツール）のTips的な有用機能や、分析のための高度なSQL構文についてご紹介します。 Dune Tips DuneのようなSQLベースの分析ツールは、SQLで記述されたクエ
BigQuery でカスタム マスキング ルーチンが使えるようになりました
2023/12/06
ブックマーク
こんにちは！クラウドエース株式会社 データ ML ディビジョン所属の福家です。 クラウドエースの データ ML ディビジョンは、クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としています。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud
バズワードから紐解くIT業界のこれから ～ユビキタスからLLMまで～ Day.1
2023/12/01
ブックマーク
★SHIFTGroup技術ブログ（公式note）でアドベントカレンダー★ SHIFT公式ブロガーによるブログ版アドベンドカレンダーで、SHIFTらしい多彩な最新記事をクリスマスまでの25日間に毎日お届けします！ 《まとめ記事も公開中》 SHIFT公式アドカレ2023まとめ記事 SHIFT公式アドカレ2022はじめます SHIFTGroup技術ブログTOP アドベントカレンダー1日目の記事はこちら！
AI業界でのキャリアを考える。共催キャリアイベントをレポート
2023/11/14
ブックマーク
AI業界でのキャリアを考える。共催キャリアイベントをレポート 2023.11.14 概 要 Laboro.AIでは、2023年10月16日（月）、大手製造メーカーであるオムロン株式会社（以下、オムロン）と、最新のAI技術の研究開発で価値を創出するオムロンサイニックエックス株式会社（以下、OSX）と共催キャリアセミナー「 AI業界でのキャリアを考える ～ 大企業AI研究所とAIスタートアップ そ
BigQuery で AWS Glue 連携データセットを作成する
2023/11/08
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の濱です。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回紹介するリリースは
【第7回】Ethereumデータ分析演習3
2023/11/08
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第7回の今回は、Ethereumのトランザクションに紐づくデータ構造の深掘りや、データ分析でよく用いられる発展的なSQLの構文についての解説をおこないます。 Ethereumのトランザクション詳解 Bitcoinの場合、各アカウントが保
カーボンバリューモデリングの適用によるネットゼロの達成
2023/11/08
ブックマーク
この記事は、「 Applying carbon value modeling to achieve net-zero 」を翻訳したものです。 気候変動は現代の最も差し迫った問題の 1 つであり、温室効果ガス (二酸化炭素) 排出量を削減するために迅速な行動を取る必要があることがますます明らかになっています。2050 年までにカーボンニュートラルを実現し、地球の平均気温を産業革命前の 2°C未満に保つには、世界は今後 10
【書き起こし】日本におけるお客さま本人確認と今後の技術的課題 – Tim Tosi / Manpreet Kaur / Christophe Labonne 【Merpay & Mercoin Tech Fest 2023】
2023/10/23
ブックマーク
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 日本におけるお客さま本人確認と今後の技術的
新登場 – 第 7 世代メモリ最適化 Amazon EC2 インスタンス (R7i)
2023/10/21
ブックマーク
AWS は10月15日、 汎用 Amazon EC2 M7i インスタンス と コンピューティング最適化 Amazon EC2 C7i インスタンス の 2 つの Amazon Elastic Compute Cloud (Amazon EC2) インスタンスをラインアップに導入しました。 今日は、メモリ最適化 Amazon EC2 R7i インスタンスを追加するために x86 ベースの第 7 世代製品が拡大されることをお知らせしたいと思います。これらのインスタンスには、AWS 限定のカ
Globe Telecom が AWS DataSync を使用して 7.2 PB の Hadoop データを移行した方法
2023/09/27
ブックマーク
データマイグレーションは、組織がクラウドに移行するための重要な第一歩です。多くの場合、ビジネスクリティカルなアプリケーション、データベース、データアナリティクスワークロード、データウェアハウス、ビッグデータ、学習済みの人工知能/機械学習 (AI/ML) モデルのリフトアンドシフトが必要となります。データはさまざまなレイヤーで生成・保存されます。