TECH PLAY

ビッグデータ」に関連する技術ブログ

266 件中 196 - 210 件目
製造業に求められる「しなやかさ」。AI活用のスマートファクトリーで実現へ 2023.5.17 株式会社Laboro.AI リードマーケター 熊谷勇一 概 要 製造業において「スマートファクトリー」化を進めることは、国家レベルの方針でも示されていることもあり、今後変わらないであろう流れであり、推進している企業は少なくありません。生産性を高めるだけでなく、人材不足の解消や、余裕が出たリソースを使ってイノベーションや新しい付加価値を得ることも狙えます。スマートファクトリーの現状や求められる背景や事例だけでなく、
こんにちは。ML・データ部 データ基盤ブロックの塩崎です。最近はつちのこフェスタが4年ぶりに開催されたというニュース 1 でアフターコロナの訪れを感じています。 さて、データ基盤のためのデータ転送パイプライン構築といいますと、多くの方はMySQLなどのデータベースからのデータ連携を思い浮かべるかと思います。実際にシステムの保有する多くのデータはデータベースに保存されており、データベースからのデータ連携は大きな部分を占めます。当ブログでも数々の事例を紹介してきました。 しかし、それ以外にもデータを保有してい
はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 最近ビッグデータの重要度が高くなっているのでビッグデータ処理ができるさまざまな方法の一つのPySparkを試してみます。 今回はGoogle CloudサービスのDataprocでクラスタを起動し、そこからJupyter Notebookを起動してPySparkを試してみます。 Cloud Dataprocとは? Dataprocは、「Apache Hadoop、Apache Sparkなどのクラスタを簡単かつ効率が高い方法で実
はじめに みなさんは、「ブロックチェーン」という言葉を聞いたことがあるでしょうか? ブロックチェーンとは、ビットコインやイーサリアムなどの「暗号資産」と呼ばれるデジタルな通貨や資産を実現するために使われている技術です。 暗号資産は、銀行の預金や企業発行の電子マネーなどとは異なり、暗号技術を用いて誰でも自由に通貨を発行できる点に特徴があります。暗号資産技術により、2023年4月現在までに、少なくとも9000種類(※1)を超える暗号資産が発行され、暗号資産取引所などで取引が行われています。 ブロックチェーンの
Google Cloud Digital Native Leader’s Meetup に参加しましたチーフデータサイエンティストの Mario です! 2023年3月24日(金)、Google Cloud Japan 様より Digital Native Leader’s Meetup にご招待頂き、参加してきましたのでレポートします。とてもありがたいことに Lightning Talk のスピーカーとして登壇させて頂きましたので、その内容についても触れていきます。 日本のデータ活用のリーダー達が渋谷ス
チーフデータサイエンティストの Mario です! 皆さん、ChatGPT、使ってますか?毎日何かと話題に事欠きませんね。私も日々 ChatGPT を使い倒しています。この記事も ChatGPT のサポートを得ながら書いています。unerry 社員も個人的に ChatGPT の活用する人が増え、度々 Slack が盛り上がっています。 ビッグデータと掛け合わせての活用方法は無限にあり、積極的に取り入れて行ってます。まだまだ私たちも個人レベルから組織レベルまで模索中ですが、一例としては以下があります。 &#
こんにちは!エンジニアの大林です。 先日セーフィーのエンジニアにアンケートを取ったので、今回はその内容をお届けします。 アンケートのテーマは「新卒エンジニアにおすすめの〇〇は?」ということで、以下の3つについて聞いてみました! 技術本 技術以外の本 本以外の学習媒体 新卒エンジニアにおすすめの技術本は? 新卒エンジニアにおすすめの技術以外の本は? 新卒エンジニアにおすすめの本以外の学習媒体は? 最後に 新卒エンジニアにおすすめの技術本は? たくさんの意見が寄せられましたが、中でも多かったのが以下の2冊でし
こんにちは。 株式会社ココナラで技術戦略室を担当しているKと申します。 本記事では、ココナラで使用しているメール/プッシュ通知の配信基盤についてお話ししたいと思います。 この基盤は2年ほど前に構築したものです。 今回記事に取り上げたのは、今後AWSにコストを抑えた上で高速に処理する仕組みを構築する際の参考になるかもしれないと思ったためです。 本記事では、大きく以下の2点をお話しします。 構築に至った背景 アーキテクチャの詳細と結果 前提として、ECサイトと配信の関係 一般的に、ECサイトではマーケティング
こんにちは、データサイエンティストの堀部です。 この記事は Enigmo Advent Calendar 2022 の16日目の記事です。 普段の業務では情報検索(検索/レコメンド)、不正検知、ユーザー属性の推定などを BUYMA にプロダクトとして組み込むことを行っています。その中でも モデリング 以前のタスク設計や探索的データ分析( EDA : Explanatory Data Analysis)、データのクレンジング・前処理、特徴量エンジニアリングなどを主に SQL (BigQuery)で行う部分に
こんにちは。Insight Edge引越し好き(?)Data Scientistの中野です。 最近は1年半のペースで引越してるので、免許書の住所記入欄が足りなくなり付箋のようなものに住所を記入しています! 新しいエリアに引っ越す時は近隣のカフェや本屋情報を調査しているのですが毎回イマイチ綺麗に可視化できないので、 今回は地理情報データを可視化できるツールの比較や、その際のちょっとしたコツを紹介します! 背景 自転車盗難データの準備 自転車盗難データとは サンプルデータの概要 各ツールの紹介 01.Look
AI導入企業の初の過半数越え。 高品質AIモデルを支えるデータセントリックとは 2022.11.17 株式会社Laboro.AI リードマーケター 熊谷 勇一 概 要 「AI導入は当社には早い、まだ様子見だ」とは言っていらない状況になってきました。日本企業はなんとなくも含めて「導入が遅い」と言われてきたが、過半数の53%が既に導入していることが判明。いつまでも導入を検討しないと、業界内での競争力低下につながるかもしれません。AI導入が進んでいる背景と、特に「データセントリック」について解説します。 目 次
医療・介護・ヘルスケア・シニアライフの4つの領域で高齢社会に適した情報インフラを構築している株式会社エス・エム・エスのAnalytics&Innovation推進部( 以下、A&I推進部)でデータ分析基盤開発を担当している長谷川です。 A&I推進部はエス・エム・エス社内のデータを横断的に収集し、データの分析や加工から、データに基づく施策までを行う部門で、現在は介護事業者向け経営支援サービスである「カイポケ」や、介護職向け求人情報サービスである「カイゴジョブ」のデータ分析やレコメンド
こんにちは。Luup Developers Blog編集部の堀内 (@shinya_h) です。 この記事では弊社SREチームの役割や達成したいこと (ゴール) を紹介します。本記事を通じて弊社のSREチームの様子を少しでもお伝えできると嬉しいです。 なお、SREとはサイト・リライアビリティ・エンジニアリング (Site Reliability Engineering) の略称です。Google社が提唱、実践しているシステム管理とサービス運用の方法論です。 ※SwDはSoftware Developmen
こんにちは。Luup Developers Blog編集部の堀内 (@shinya_h) です。 この記事では弊社SREチームの役割や達成したいこと (ゴール) を紹介します。本記事を通じて弊社のSREチームの様子を少しでもお伝えできると嬉しいです。 なお、SREとはサイト・リライアビリティ・エンジニアリング (Site Reliability Engineering) の略称です。Google社が提唱、実践しているシステム管理とサービス運用の方法論です。 ※SwDはSoftware Developmen
AIは「善」か、それとも「悪」か。倫理と進歩の境界線 2022.7.21 監 修 株式会社Laboro.AI マーケティング・ディレクター 和田 崇 概 要 “AI” と画像検索すると、表示結果に並ぶのは白い顔のヒューマノイドたち。また、オバマ前米大統領のぼやけた顔画像をアルゴリズムに投入し高解像度画像に再現した結果、白人男性の顔になってしまった…など、 AI のバイアスをテーマにした話題がつきないのは、リアルな世界のデータによって育てられた AI が今の偏った社会を反映しているからなのかもしれません。