はじめに こんにちは！初めまして、イノベーションセンターテクノロジー部門、Smart World 向けAI開発PJの藤原です。 我々は日々 Smart World の実現に向け、主に製造業向けのデータ分析、AIの研究開発を行なっております。 弊チームでは学会/論文投稿など積極的な学術活動も行なっており、IJCAI、KDD、CVPRなどのワークショップ採択されたり、最近ではAISTATSの本会議にも採択され ニュースリリース を出しました。 そうした学術活動の一環として、先日弊チームは技術調査 &

はじめに はじめまして、AIシステム２課のY.Nです。 今回は自然言語処理を行なうにあたり下処理ともいえる部分で有効な処理について、 トークナイザーと正規化から取り組んでみようかと思います。 背景 自然言語処理を行なう中でよくあるタスクとして、各文の特徴的な単語はどれにあたるのかというものがあります。 TF-IDFを使うにしろ、Word2Vecを使うにしろ、そこに渡す内容次第で最終的な内容が大きく変わる可能性もあります。 そこでそれらのツールに渡す前にできるだけきれいなものにできないかということで、 今回

こんにちは。 電通国際情報サービス (ISID) 金融ソリューション事業部の若本です。AIを活用した新規事業に取り組んでおり、業務では主に 自然言語処理 の実装に携わっていますが、今回は画像処理分野の記事になります。 私は趣味で ブレイクダンス を練習しているのですが、自分の練習動画を見ていると「この動きは最近癖になっているな」ですとか、「あの動きは最近していないな」といった気付きを得ることが多々あります。しかし、過去の動画をいちいち見返すのはかなり億劫な作業です。 そこで、 過去の自分の練習動画から同じ

お疲れさまです。XI本部、 AIトランスフォーメーションセンター の徳原 光です。 この記事で2回目の投稿になります。今回は所属センターで開発しているAI製品、 TexAIntelligence を使用して、 SNS での投稿に感情ラベルを付与したデー タセット である WRIMEデータセット ver.2をAIモデルに学習させた結果をまとめたいと思います。 感情分析とは？ 感情分析は NLP 、 自然言語処理 の一手法で文章に込められた感情をAIによって検出する技術です。 例えば、「お風呂の水漏れが治らな

AIが解き明かす、もう一つの“AI” = Animal Intelligence 2022.4.25 監　修 株式会社Laboro.AI　マーケティング・ディレクター　和田 崇 概　要 産業革命以降、大きく経済が成長した一方で多くの自然が失われ、今この瞬間にも100万種以上の動植物が絶滅の危機に瀕しています。そうした状況において動物のリサーチにAIが欠かせない存在になりつつあります。 これまでの調査と比べて生物にほぼ負担なく、人とは比べものにならない速さでデータを分析するAI。例えば、光の届かない海は私た

こんにちは。XI本部、 AIトランスフォーメーションセンター の徳原 光です。 日ごろの業務では、お客様から預かったデータの分析や、AIシステムの開発を担当しています。 実際にやっていることは、データ理解のために EDA （探索的データ分析）を実施したり、分析やAIモデル開発を行うためにデータのクリーニングを行ったり、いわゆるデータサイエンスのどろくさい部分がほとんどになります。 これらの作業は基本的にjupyter notebook上で行っています。jupyter notebookはAIやデータサイエン

プロダクトエンジニアリング3Uの二宮です。 LIFULLにはチームビルディングの制度があり、半年〜1年に一度、同じチームのメンバーで半日〜1日単位で交流の機会を設けています。内容も各部署内で決めることができ、多種多様な企画が行われています。クリエイターズブログでも、過去に「 エンジニアのためのチームビルディング！コードで語れ 頭を使って 謎を解け 」や「 独自企画「浅草BINGO鬼ごっこ」でチームビルディングしてみた！ 」などが紹介されています。 LIFULLでは新型コロナウイルスの流行をきっかけにリモー

エンジニアの島です。AI戦略室でバックエンドシステムの開発をしています。 本記事ではPrometheusを利用して、独自のメトリクスを計測することで監視を効率よく行えることを紹介します。 背景 チームで作っているもの 社内共通基盤の活用 効果的な監視で得られるもの 問題の予兆に気付けるようになる 問題の原因特定につながる 時系列での傾向を把握できる Prometheusとは 思想 メトリクスの公開 custom metricsを追加しよう Prometheusで監視しよう custom metricsで計

「人工痴能」は人工知能のレベルを上げるのか、下げるのか 2021.1.10 監修 株式会社Laboro.AI　マーケティングディレクター　和田 崇 概　要 AIによるオンラインサービスは、ここ数年で一気に身近なものになりました。便利な一方で、音声サービスの見当違いな受け答えが話題になったりもしていて、何かAIがきちんと処理できずにおかしな反応をした場合には、Artificial Intelligence（人工知能）に対して「Artificial Stupidity（人工痴能）」と呼ばれたりもしています。

G-gen の杉村です。Google Cloud 認定資格の1つである Professional Data Engineer 認定資格は、Google Cloud でのデータエンジニアリングやデータ分析に関する難関資格です。当記事では、試験の学習に役立つ情報を記載します。 はじめに 当記事の内容 想定読者 試験の難易度 推奨の勉強法 出題傾向 セキュリティとガバナンス 組織、IAM 個人情報の扱い VPC Service Controls BigQuery 基本的な知識 関連記事 外部テーブルと BigL

これは、 自然言語処理 Advent Calendar 2021 の20日目の記事です。 新卒2年目のエンジニア、吉成です。 普段はフォルシアのDXプラットフォーム部・技術研究所という2つの部署に所属し、web開発と自然言語処理の二足の草鞋を履いています。二兎を追う者は一兎をも得ずという言葉もありますが、今はひーひー言いながらも二兎を追えるエンジニアを目指しています。 ところで皆さん、依存構造解析してますか？ 依存構造解析は自然言語処理の実応用において重要な基礎解析の1つです。文中のどの単語（あるいは句）

これは、自然言語処理 Advent Calendar 2019の20日目の記事です。 新卒2年目のエンジニア、吉成です。 普段はフォルシアのDXプラットフォーム部・技術研究所という2つの部署に所属し、web開発と自然言語処理の二足の草鞋を履いています。 二兎を追う者は一兎をも得ずという言葉もありますが、今はひーひー言いながらも二兎を追えるエンジニアを目指しています。 ところで皆さん、依存構造解析してますか？ 依存構造解析は自然言語処理の実応用において重要な基礎解析の1つです。 文中のどの単語（あるいは句）

この記事は Enigmo Advent Calendar 2021 の15日目の記事です。 はじめに 寒さが身にしみる今日この頃、みなさん如何お過ごしでしょうか。 最近、○○エンジニアという肩書きがよく分からなくなってきたエンジニアの伊藤です。 アドベントカレンダー の時期になると年末になったんだなという実感が湧きますね。 今回は今年一番注力してやってきたMLOpsについて書いていこうかと思います。 はじめに なぜMLOpsなのか？ 全体的な流れ 調査 MLOpsの定義、目標の設定 エニグモにおけるMLO

画像中のRGB値から有彩色、無彩色を分類してみる これは、FORCIA Advent Calendar 2021の9日目の記事です。 こんにちは、第2旅行プラットフォーム部エンジニアの力石です。 近頃、AIが様々な分野で活躍する話を以前に増してよく聞くようになりました。 個人的にその中でも興味深いのは、AIが漫画や絵を創作するといった芸術分野やエンターテインメント分野への応用です。 こういったAIによる絵の創作では、画像をぼかしたり特定の色を抽出するような画像処理の技術や機械学習、深層学習などの技術が使わ

こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事 では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対