こんにちは！ ユニフィニティーの曽良です。 DXの必要性が叫ばれ業務基盤の移行が進む中、いわゆる第三のプラットフォーム（モバイル、クラウド、ソーシャル、ビッグデータ）上のアプリを作成できる、さまざまなノーコードツールが誕 […]

KAKEHASHI でバックエンドエンジニアをしている横田です。 今回は、OLTP から OLAP へのデータ同期処理で、気になった技術を使ってみました。 背景・目的 DynamoDB のデータを S3 に日次で同期する必要がありました プロダクトで作っているデータをどうやって データレイク(S3) に持って来るのか？は難しい問題です データ量がそこまで多くない場合は、 DynamoDB Export を使って、毎日全量のデータを同期することができていたのですが、毎日全量の同期は時間が間に合わない量になっ

こんにちは、データシステム部推薦基盤ブロックの寺崎（ @f6wbl6 ）です。現在、推薦基盤ブロックではデータサイエンス部MLOpsブロックのメンバーと協力しながらMLOps基盤の構築を進めています。本記事ではMLOps基盤構築の一環として進めている Vertex Feature Store の機械学習システムへの導入に関する知見およびVertex Feature Storeを導入する上での制限や課題をご紹介します。 MLOps基盤に関する取り組みについては以下のテックブログでも取り上げていますので、こち

2021年12月22日に「 TECH Street 」主催で開催された「”エンジニアのキャリア分岐点”その時どうする？ マネジメントで見える世界とエンジニアとしての生存戦略」にて、ミイダスCTOの大谷が登壇しました。 本イベントでは、イベントのパネラーである株式会社LIGの久松さん、パーソルキャリア株式会社の岡本さんと一緒に弊社のCTO大谷が「キャリアの分岐点に立った時の話」や「中間管理職・マネジメント」をテーマにディスカッションしました。こちらの記事はその内容の一部を書き起こす形でご紹介しています。 後

こんにちは。 株式会社ZOZO NEXT にある ZOZO Research のApplied MLチーム所属の後藤です。社内の様々な課題を機械学習を活用して解決する仕事に取り組んでいます。 弊社（当時は株式会社ZOZOテクノロジーズ）では2019年1月より、ZOZO Researchと同志社大学 桂井研究室の共同研究を開始しました。本記事では、共同研究を行う際のポイントと、その成果を紹介します。 目次 目次 はじめに なぜ大学との共同研究を行うのか 共同研究を行う際のポイント 社内の喫緊の課題を研究テー

産業別 AI導入事例 コラムダイジェスト 2021.10.12 概　要 第三時AIブームに突入したと言われる近年、AI技術の活用が多くの産業で見られるようになってきました。DX実現の主要技術しても位置付けられるAIですが、具体的には各産業でどのような活用が進められているのでしょうか。これまで当コラムコーナーでは数多くのAI導入・活用事例を産業ごとに紹介していきました。今回は、その総まとめとして、各コラムのダイジェストをご紹介していきます。 目　次 ・ AI市場の動向 ・ 産業別AI導入コラムの紹介 　・

ウエディングパークのメディア運営チームでマネージャーをしている小山です。 この記事では私の経験からウエディングパークのマネージャーの仕事ややりがい、大切にしていることを主に学生の方に向けて紹介したいと思います！ プロフィール 2014年に新卒エンジニア2期生としてウエディングパークに入社し、サーバーサイドエンジニアとして「Wedding Park」の広告商品のアップデートやカップル向けのコンテンツ開発、姉妹サイトの運営など幅広く担当する機会に恵まれました！ 組織づくりやメンバーの成長を通してチームの技術力

線路は続く、未来へと。鉄道業界のAI活用 2021.9.5 概　要 一見、IT技術やデジタル技術との関わりが薄いと思われがちな鉄道業界ですが、実は、人々の行動履歴をはじめとしたデータの宝庫であることが言われてます。近年、鉄道利用者の安全性・利便性の向上やマーケティング利用、抜本的なコスト削減など、膨大なビッグデータをベースとしたAI活用がさまざまな形で進められています。今回のコラムでは、鉄道業界におけるAI活用方法や事例をご紹介していきます。 目　次 ・ 鉄道業界はデータ＆AI活用のパラダイス ・ AIは

つなげ。保険、AI、インシュアテック 2021.8.29 概　要 保険業界にAI活用の大きな波が訪れています。例えば、ビッグデータ解析を基にした細かな保険商品の開発や、ユーザーの満足度向上の取り組み、また、保険業務に関わるバックオフィス業務をAIで自動化するなどの活用も広がっています。今回のコラムでは、保険とテクノロジーを組み合わせた「インシュアテック」、とりわけAIの活用についてご紹介します。 目　次 ・ 話題の「インシュアテック」とは ・ 保険になぜAIが使われるのか ・ インシュアテックによって保険

変わる建設、変えるAI。建設DXの今とこれから 2021.4.14 概　要 機械学習やディープラーニングの技術進化により、第3次AIブームが到来していると言われています。一方で、AIとの親和性があり高いレベルで導入が進んでいる業種もあれば、現場レベルではまだほとんど浸透していない業種もあるのが実際です。建設業界では現在、大手ゼネコンなど一部企業によるAI投資が進められている段階であり、今後、AIによる業務改善や品質向上など、建設現場へのプラスの効果が期待されています。 今回のコラムでは、建設業界ならではの

Delta LakeとLakehouseプラットフォームによるデータウェアハウス設計 　こんにちは。ビッグデータ処理基盤の物理レイヤーから論理レイヤーの設計実装、データエンジニアやデータサイエンティストのタスク管理全般を担当している、Data/AI部門の 何でも屋 マネージャの @smdmts です。 　この記事は、弊社のデータ基盤の大部分を支えるDelta LakeとLakehouseプラットフォームによるデータウェアハウス設計の紹介です。 Databricks社が主体となり開発している Delta L

５Ｇの普及は、AIに何をもたらすのか 2020.12.28 概　要 ５Ｇを使った通信サービスが日本でもスタートし、これまで実現できなかったさまざまな技術やサービスへの活用が期待されています。実はこの５Ｇ、企業でのAI活用を考える際にも無視できない存在になりつつあります。このコラムでは、５Ｇの特徴やAIとの関係などについてご紹介していきます。 目　次 ・ ５Gの特徴 　・ 超高速・大容量 　・ 超低遅延 　・ 多数同時接続 ・ ５GがもたらすAIへの影響 　・ 膨大なデータ処理を可能にする技術要因 ・ ５G

Amazon EMRを一度も利用したことがなかったので、data-analytics-specialty試験の学習ついでに実際にさわりながら自分へのメモを兼ねて情報を残します。 Amazon EMRとは aws.amazon.com Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apache Hudi、Presto などのオープンソースのツールを 使用して膨大な量のデータを処理するための業界をリードするビッグデータのクラウドプラットフォーム との事で

AIとIoT、その密接な関係を知る 2020.12.22 概　要 「AI」「IoT」といった言葉もよく聞かれるようになりました。すでにAIやIoTを用いたさまざまなサービスが登場していますが、改めてAIとIoTにはどのような関係があるのでしょうか。このコラムでは、AIやIoTの概要やその関係性、実際の活用事例についてご紹介します。 目　次 ・ AIとは 　・ AIの定義 　・ 機械学習 ・ IoTとは 　・ IoTの経済効果 　・ IoTでできること ・ AIとIoTとの関係 　・ 5Gによるさらなる進化

AI精度に不可欠な評価基準の検討 2020.11.26 株式会社Laboro.AI　代表取締役CTO　藤原 弘将 概　要 AIは新しい技術を使って開発すれば良いというものではなく、精度・性能を正しく評価することが当然ながら必要になります。この際、不適切な評価基準でAIの性能を測ってしまうと、やはり意味のあるツールとして使えることはありません。異常検知を例に、「精度９割」 という評価基準について考えてみましょう。 （＊本コラムは、日刊工業新聞の連載『AI・ロボット転機予報part2』へ寄稿した内容を再編集し