「Apache Spark」に関連する技術ブログ
企業やコミュニティが発信する「Apache Spark」に関連する技術ブログの一覧です。
全70件中 16 - 30件目
PySparkを少し触ってみる
2024/06/27
ブックマーク
はじめに 会員システムグループのkiqkiqです。最近PySparkというライブラリを触ってみたので紹介したいと思います。 Apache Spark・PySparkとは PySparkは、Pythonを使ってApache Sparkを操作するためのライブラリです。そのApache Sparkというのは、オープンソースの大規模データ処理フレームワークで、高速で汎用的なデータ処理エンジンです。Sparkには主に４つの特徴があります。 分
2024 年 6 月第 3 週の Google Cloud の主なリリースに関するニュース
2024/06/18
ブックマーク
6 月 10 日 〜 6 月 14 日の期間にアナウンスされた Google Cloud の主なリリースに関してご紹介します。 ! 該当日の全ての情報を掲載しているものではございません。すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 Virtual Private Cloud （VPC） Private Service Connect Port Mapping（Preview） 単一の Private Service Connect エンドポイントを介すことにより、コン
TypeScriptとPythonで直せると地味にうれしいコードと横断検索する方法
2024/05/24
ブックマーク
すべてのソースコードを読む時間があればよいのですが。 GitHubを横断して確認すると、ソースコードレベルで気になる箇所はよく見つかります。このとき他のコードベースでも起きてないか確認したいところです。ソースコードレベルの細かいレビューをコツコツしていくことは可能ですが、どうしても量が多くなってしまうのとスケールしづらいです。調査のためにも
Google Cloud でのビッグデータ処理の選択肢
2024/05/16
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部所属の伊藤です。 普段は、データ基盤や機械学習基盤を中心とした案件に携わったり、エンジニアリングマネージャーをしたり、Google Cloud 認定トレーナーとしてトレーニングを提供したりしてます。 データ処理システムのよくある課題として、データ処理が遅い、今後データ量が増える、などといったもの
AWS Weekly Roundup: Amazon Bedrock、AWS Amplify Gen 2、Amazon RDS などの新機能 (2024 年 5 月 13 日)
2024/05/15
ブックマーク
AWS Summit は世界各国で最高潮を迎えており、最近では AWS Summit Singapore が開催されました! こちらは、Developer Lounge ブースでの AWS スタッフと ASEAN コミュニティメンバーの様子です。これには、サーバーレス、 Amazon Elastic Kubernetes Service (Amazon EKS) 、セキュリティ、生成 AI などに関するライトニングトークを行う AWS コミュニティ 講演者が参加しました。 5月6日週のリリース
Ray on Vertex AI 入門
2024/05/08
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析まで
Databricks Container ServiceでTensorRT-LLMを動かしてみた
2024/04/26
ブックマーク
本記事では Databricks のDatabricks Container Serviceを用いてNVIDIA社の推論ライブラリであるTensorRT-LLMを実行可能なNotebook環境を構築する方法を紹介します。 目次 目次 はじめに Databricks Container Service NVIDIA TensorRT-LLM 解決したいこと TensorRT-LLM Container Imageの作成 Databricks Containers ベースイメージの変更 Pytorch バージョンの変更 TensorRT-LLMのインストール 動作確認 Databricks環境設定 TensorRT-
Optimize your machine learning applications using BigQuery DataFrames（Google Cloud Next '24セッションレポート）
2024/04/11
ブックマーク
G-gen の堂原です。本記事は Google Cloud Next '24 in Las Vegas の 2 日目に行われた Breakout Session「 Optimize your machine learning applications using BigQuery DataFrames 」のレポートです。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリ の記事一覧からご覧いただけます。 セッションの概要 背景 BigQuery DataFrames デモ ユースケース 関連記事 セッションの概要 本セッションでは、この
【初級編】 Amazon EMRとはなんぞや？（概要と他社SaaS比較）
2024/03/12
ブックマーク
こんにちは、近藤（りょう）です！社内で複数の近藤さんがいますので識別するために（）付きにしています。 ソリューションアーキテクトでも問題としてピックアップされていますね。EMRについていくつ調べましたので概要と他社SaaS比較についてご紹介していきます～！ EMRとは？ Hadoop, Spark, Hive, Presto などの オープンソースフレームワークを使⽤した ペタバイトスケ
Apache Beam と TensorFlow SavedModel に翻弄された記録
2024/01/19
ブックマーク
はじめに 2023年10月の1ヶ月間、AI事業本部、極予測AI予測チームで CA Tech Job ...
AWS Glue サーバーレス Spark UI導入によるモニタリングとトラブルシューティングの改善
2023/12/31
ブックマーク
AWS では、何十万ものお客様がサーバーレスデータ統合サービスである AWS Glue を使用して、アナリティクスや機械学習のためにデータを発見、結合、準備をしています。複雑なデータセットや負荷の高い Apache Spark ワークロードを使用している場合、Spark ジョブの実行中にパフォーマンスのボトルネックやエラーが発生することがあります。このような問題のトラブルシュ
持続可能性の為のモダンデータアーキテクチャ最適化 : 第二部 – 統合データガバナンス、データ移動、目的別分析
2023/12/26
ブックマーク
このブログは Sam Mokhtari, Dr. Ali Khoshkbar, Sandipan Bhaumik によって執筆された内容を翻訳したものです。原文は こちら を参照して下さい。 このブログシリーズの第一部「 持続可能性の為のモダンデータアーキテクチャ最適化 : 第一部 – データ取り込みとデータレイク 」では、 モダンデータアーキテクチャ における 1) データ取り込み、2) データレイクの柱に焦点を当てまし
AWS re:Invent 2023における AWS for Games のアップデート
2023/12/19
ブックマーク
この記事は AWS for Games updates from re:Invent 2023 を翻訳したものです。 AWS re:Invent 2023において、AWS for Games チームはお客様が AWS のゲーム開発ツールを使用している最新の方法を紹介し、現在 AWS Games Solutions Library で利用可能ないくつかの新しい専門的なガイダンスとパートナーソリューションを紹介しました。 AWS re:Invent 2023 における AWS for Games のお客様セッション動画には以
AWS re:Invent 2023 Amazon EKS and Kubernetes セッションガイド
2023/11/21
ブックマーク
この記事は Amazon EKS and Kubernetes sessions at AWS re:Invent 2023 (記事公開日: 2023 年 11 月 15 日) を翻訳したものです。 Introduction AWS re: Invent 2023 が間近に迫っており、Kubernetes とクラウドネイティブ関連のトピックに焦点を当てた全セッションが公開されました。適切なセッションを見つけて選択しやすくするために、セッションを主要な重点分野別にグループ化し、re: Invent セッシ
新しい AWS コースで機械学習モデルをより迅速に構築、トレーニング、反復する方法を学びましょう
2023/11/14
ブックマーク
このブログは Kumar Kumaraguruparan による “ Learn to build, train, and iterate machine learning models faster with new AWS course ” を翻訳+加筆修正したものです。 機械学習（Machine Learning: ML）が、潜在的な COVID ワクチン候補の数を数万から 26 に減らす上で重要な役割を果たしたことをご存知ですか ( PMC )？ ML によって生産性が向上することで、COVID ワクチンの開発においては多くの人々の命を