こんにちは。MAMADAYSバックエンドチームのsa9sha9です。最近Diablo3にハマりました。 MAMADAYSでは検索基盤としてElasticsearch(以下ES)を利用していますが、時たま再起動を実施したいケースがあります。 本記事では、ゼロダウンタイムでのESの再起動を実現するための注意点を実際のフローに沿ってまとめたいと思います。 MAMADAYSのアーキテクチャについては以前のTechBlogをご参照ください。 tech.every.tv おことわり 本記事でご紹介する手順については必

こんにちは、TURING株式会社でエンジニアをしている しおつか です。 この記事を読んでいただいている皆様の多くはTURINGって？そんな感じだと思います。 名前を知っていただいている方でも、最近Twitterとかで聞くけど結局なにやってるの？実際なにかやったの？という感じかもしれません。 TURINGは、2021年8月に創業した完全自動運転EVの製造・開発を目指す会社です。 この記事では、TURING最初のプロジェクト「Budapest」 についてお話しします。 構成は、 １. 概要 ２. 技術的アプ

こんにちは。ソフトウェアエンジニアの江良です。 普段は Web アプリケーションのコードをせっせと書いて暮らしているのですが、AI Lab の誕生に伴い、 機械学習 を専門とするエンジニアと協業する機会も増えてきました。 今回は、 機械学習 の研究開発プロジェクトで導入した Streamlit という フレームワーク について紹介しようと思います。 Streamlit とは Streamlit は Python で Web アプリケーションを作成するための フレームワーク です。 機械学習 エンジニアやデ

エンジニアの島です。AI戦略室でバックエンドシステムの開発をしています。 本記事ではPrometheusを利用して、独自のメトリクスを計測することで監視を効率よく行えることを紹介します。 背景 チームで作っているもの 社内共通基盤の活用 効果的な監視で得られるもの 問題の予兆に気付けるようになる 問題の原因特定につながる 時系列での傾向を把握できる Prometheusとは 思想 メトリクスの公開 custom metricsを追加しよう Prometheusで監視しよう custom metricsで計

はじめに 求人 検索エンジン のスタンバイでは全国の仕事情報から自分のニーズにあった最適な求人を探すことができます。 この記事では、スタンバイの検索の仕組みを紹介します。 検索エンジン の概要 一般的に 検索エンジン は複数のフェーズから成り立つシステムです。 以下の図は 検索エンジン を構成するフェーズを表しています。 検索エンジン には、大きく分けてデータの収集、データのインデクシング、検索の３つのフェーズがあります。 データの収集フェーズでは検索対象とするデータをさまざまなソースから集めてきます。ス

少し遅くなりましたが、あけましておめでとうございます。エブリーのCTO今井です。 早速ですが、2021年の振り返りと今年の抱負についてお話しできればと思います。 2021年の振り返り 2021年は開発本部に属する全開発部の部長が入れ替わり、 僕自身もDELISH KITCHEN開発部長となり、そして10月にはCTOに就任することとなりました。 会社としてもPMV（パーパス・ミッション・バリュー）を定めるなど、次のステップに向けて足場を整え、 深くしゃがんだ1年だったように思います。 個人としては、未知の領

AIベンダー選定術。生涯ともに、障害を乗り越える 2022.1.24 株式会社Laboro.AI　マーケティング・ディレクター　和田 崇 概　要 業務効率化や業務改善に向けて、あるいは新商品開発や新サービス開発のために新たな技術を導入してビジネス活用することは、どの時代であっても行われてきました。テクノロジーのタイプによっては自社での内製化を見越して導入を進られることもありますが、近年その導入が盛んになっているAIは専門的な知識・スキルが必要なケースが多く、AIベンダーの協力を得て導入を進めていくのが一般

はじめに 以前のデータ基盤 3つの問題解決と振り返り 問題1: データパイプラインの更新遅延 解決策 実装 振り返り 問題2: 分析チームへのクエリ修正依頼の増加 解決策 実装 振り返り 問題3: ETLパイプラインにおける加工処理の負債 解決策 実装 振り返り これからの品質に関する改善 はじめに 初めまして、タイミーのDRE (Data Reliability Engineering) チームの土川( @tvtg_24 )です。 本記事ではデータ品質の保守に着目してここ1年くらいで試行錯誤したことを振

IoBが拓く、身体とネットの新結合 2022.1.23 株式会社Laboro.AI　マーケティング・ディレクター　和田 崇 概　要 2021年頃から急速に注目を集めている戦略的テクノロジーのトレンドのひとつ「IoB」。“身体や振舞いのインターネット化”を意味し、人々の状態や行動をデータとして取得することを目指すIoBとは、どのような概念で、今後どのような活用が見込まれるのでしょうか。今回のコラムでは、IoBの概要や活用例、今後の進化について考えていきます。 目　次 ・ IoBとは 　・ 「Internet

検索基盤部の内田です。私たちは、約1年前よりヤフー株式会社と協力し、検索機能の改善に取り組んでいます。現在、ZOZOTOWNのおすすめ順検索に用いている、ランキング学習を利用した検索機能も、その取り組みの一部です。 本記事では、Elasticsearch上で、ランキング学習により構築した機械学習モデルを用いた検索を行うためのプラグイン「 Elasticsearch Learning to Rank 」の簡単な使い方を紹介します。また、このプラグインをZOZOTOWNに導入し、実際に運用して得られた知見をご

はじめに CTOの川口 ( id:dmnlk ) です。 これはBASE Advent Calendar25日目の記事です。僕は立候補してないのに勝手に日程が組み込まれてました。 BASE株式会社では積極的にエンジニア採用を行っております。 その中でよく質問を頂くのは「BASEに今から入社した場合にやることはあるのか？」というものです。 確かにサービスは成長し上場もしている企業で自分がやることはあるんだろうか、というのは僕も同様に疑問を持つだろうなとは思います。 ですので今回は話せる範囲ではありますが、今

こんにちは、人事総務グループの 廣島 です。 エニグモ で中途・新卒採用、採用広報などを担当しています。 エニグモ は「世界を変える、新しい流れを。」をミッションに、世界166ヶ国に900万人以上の会員を擁するソーシャルショッピングサイト「 BUYMA 」を運営しています。 今回は、エンジニア部署の部長小澤さんのインタビューをお届けします。 エンジニア組織や開発体制、 エニグモ のカルチャーなどについて伺いました。 ※この記事は Enigmo Advent Calendar 2021 の25日目の記事です

Amazon SageMaker Inference Recommenderとは？ aws.amazon.com aws.amazon.com docs.aws.amazon.com Amazon SageMakerにおいてリアルタイム推論を利用する場合、インスタンスタイプを選択します。MLOpsの中で悩ましいことの1つはこのインスタンスタイプの選択です。Amazon SageMakerはデータサイエンティストや機械学習エンジニアにとって便利な開発・実行環境でありますが、実際のところ各ジョブやエンドポイン

BASE Advent Calendar 2021 はじめに コスト考慮型学習とは Cost-Sensitive Learningの手法 コスト行列 閾値の調整による誤分類コストの反映 実際のデータセットを用いた例 まとめ 参考文献 はじめに この記事はBASE Advent Calendar 23日目の記事です。 こんにちは、DataStrategyチームの竹内です。 BASEではより良いサービスを提供するために色々なところで機械学習モデルが活用されています。 BASEに限らず、インターネット上のあらゆ

この記事は BASE Advent Calendar 2021 の22日目の記事です。 こんにちは！BASEでエンジニアをやっている大津( @cocoeyes02 )です。今回はiikanji-conference-toudanチームの取り組みについてご紹介します！ iikanji-conference-toudanチームとは？ iikanji-conference-toudanチームとは、BASEから技術イベント・カンファレンスへ登壇する人たちを応援するチームです。登壇を有志による属人的なものにするので