この記事は、2021年8月28日(土)に行われた オープンデベロッパーズカンファレンス(ODC)2021 Online での セミナー を記事化したものです。 はじめに 前回の記事 では、Collabora Onlineの概要や使うメリットを説明しました。それに続いて今回は、Collabora Onlineの構築方法や、開発コミュニティの体制などを紹介します。 システム要件 Collabora Onlineのシステム要件は条件によって違ってくるようですが、Nextcloudのビルトインを使うケースでは以下

検索エンジンチームの宮崎です。 今日は、Solr内部でも使用されている全文検索アルゴリズムの転置インデックスについて話をしようと思います。 転置インデックスの仕組みについてざっくり理解したい人の手助けになれば幸いです。 全文検索アルゴリズム 全文検索の方法として大まかに 「grep型」と「インデックス型」があります。 多くの検索エンジンや全文検索ライブラリでは、インデックス型が使われています。 これはgrep型が都度すべての文書を検索するのに対して、インデックス型はその名の通り索引を用いて効率的に検索を行

はじめに こんにちは。マイグレーションチームの藤本です。 ZOZOTOWNはオンプレミスとクラウドのハイブリッドで動いており、その内、オンプレミス側のアプリケーションはClassic ASPとストアドプロシージャの組み合わせで実装されています。 私たちのチームでは、そのClassic ASPとストアドプロシージャの廃止を目標に、まずは参照系の処理をWeb APIで置き換える作業をしています。この記事では、 Karate を使って参照系の処理を置き換えるWeb API（以後、 参照系API ）のE2Eテスト

はじめに はじめまして。 データストラテジストの田中です。普段は『DELISH KITCHEN』レシピ視聴実態の可視化やオーディエンス配信のレポート作成、サービス好意度の分析などの業務を行っています。 サービス好意度など定性的な要素が多い分析ではWEBアンケート調査のデータを活用していますが、WEBアンケート調査のローデータは質問内容がカラムとして横持ちで存在することが多いのが特徴です。 今回はデータベースでも扱いやすいよう「Apache Spark環境下で横持ちのデータを縦持ちにする」TIPSをお伝えし

こんにちは。クルーズ株式会社CTOの鈴木です。 2020年の7月よりCROOZ SHOPLIST株式会社の技術統括部長を兼務しており、日々システムと開発組織の業務改善に現場のエンジニアとともに取り組んでおります。 今回当社が運営しているファッション ECサイト 『SHOPLIST.com by CROOZ』にて絶賛格闘中のシステム品質改善の話を数回に分けてお話ししたいと思います。   SHOPLISTのシステムを改善しようとなったきっかけ 「今のSHOPLISTのシステムってゼロからリニューアルするといく

    はじめに 規模の大小を問わず、レガシー化したサイトには色々な課題が存在します。課題の根本的な改善のためにソースコードをゼロから書き直してリニューアル（以後、このことをフルリニューアルと呼称します）するということは、とても魅力的な一方でリスクもあります。フルリニューアルすなわちアンチパターンとされていることも多いですね。 ここでは「中規模程度のコミュニティサイトをフルリニューアル、すなわち一から全部作り直す」という選択をした背景や、その進め方について書いていきます。 なお、書きやすさのために筆者一人

こんにちは。 株式会社 ラク スで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（ @moomooya ）です。 ラク スの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「 開 （ か ） 発の 未 （ み ） 来に 先 （ せん ） 手をうつプロジェクト（通称：かみせんプロジェクト）」 改め 「技術推進プロジェクト」 というプロジェクトがありま

はじめに CloudWatch Logs に出力した Apache アクセスログ情報を、CloudWatch Logs Insight で解析する方法をまとめてみました。 parse コマンドの使い方も簡単に解説しているのでご参照ください! まだ、Apache アクセスログを CloudWatch Logs に出力していないという方は以下をご参照ください 【AmazonLinux2】【amazon-cloudwatch-agent】最速で Apache のアクセスログを CloudWatch Logs に

はじめに Apache のアクセスログを CloudWatch Logs に出力する手順をまとめてみました。 awslogs でなく、amazon-cloudwatch-agent の方です。 記事目安...10分 はじめに 前提条件 セットアップ EC2 インスタンスのセットアップ EC2 インスタンスのデプロイ (Condtional)SG へのインバウンドルール追加 CloudWatch Logs へのログ出力権限の追加 Apache のセットアップ amazon-cloudwatch-agent

Amazon EMRを一度も利用したことがなかったので、data-analytics-specialty試験の学習ついでに実際にさわりながら自分へのメモを兼ねて情報を残します。 Amazon EMRとは aws.amazon.com Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apache Hudi、Presto などのオープンソースのツールを 使用して膨大な量のデータを処理するための業界をリードするビッグデータのクラウドプラットフォーム との事で

はじめに 初めましてこんにちは！matsutairaです！ 今回は、普段何気なく利用している DNS サーバーというものにフォーカスし、実際にWebサーバー・ DNS サーバーの構築を通して DNS サーバーとは何なのかをざっくり学べる内容となっております。「 DNS サーバーってどんなもの？」「自分で DNS サーバーを構築してみたい！」という方々の力になれればと思います。 今回は初めて触る方向けの内容になっていますので、「 DNS サーバーの構築方法だけ知りたい！」という方は目次からジャンプしていただ

こんにちは、インフラエンジニアの綿引です。 CloudWatch Alarm で監視したいが、設定が面倒と感じる方も多いのではないでしょうか？ そこで今回は CloudWatch Alarm を AWS CloudFormation で作成したいと思います。 対象の方は以下のような方でしょうか。   CloudWatch Alarm を手動で作りたくない 監視の内製化を検討している   テンプレートファイルの作成 ではテンプレートファイルを作成していきます。 今回も yaml で作成し

MNTSQで検索エンジニアをしている溝口です。 MNTSQのテックブログの第二回目の投稿という、非常に栄誉ある役割を仰せつかって少し戸惑っています。 MNTSQでは 自然言語処理 を利用して容易に大量の契約書の検索をすることができるプロダクトを作っているのですが、データ(=契約書)の量が増えるにつれて同じ条件でも検索にヒットする結果の数は多くなっていきます。 その場合、検索結果の順序を検索条件に合致している順で並ぶように改善していくのですが、その前段階として扱っているデータ全体の傾向を掴みたくなることがあ

こんにちは、株式会社 ラク スで先行技術検証や、ビジネス部門に技術情報を提供する取り組みを行っている技術推進課に所属している鈴木（ @moomooya ）です。 ラク スの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「 開 （ か ） 発の 未 （ み ） 来に 先 （ せん ） 手をうつプロジェクト（通称：かみせんプロジェクト）」 改め 「技術推進プロジェクト」 というプロジェクトがあります。 2020年度は通年で

こんにちは、インフラエンジニアの綿引です。 Webサーバー側で接続元 IP を取得したかったけどよく見ると ELB やプロキシサーバの IP だった、、 という経験をされた方もいらっしゃるのではないでしょうか。 そこで今回は Apache と Nginx で接続元 IP を取得する方法を記載したいと思います。 対象の方は以下のような方でしょうか。 ELB などを使用して運用している 前段にプロキシサーバを配置している Apache の設定方法 環境 環境は以下で検証しております。 CentOS 7 Apa