データプラットフォーム
アイキャッチ はじめに リブセンスとデータ Livesense AnalyticsとLivesense Brain 2年前の課題意識 システムの課題 チームの課題 ここ2年で変えたこと 課題管理と地道な整理 採用技術の統一 Google AnalyticsとBigQueryの活用 今後2年でやりたいこと Redshi…
これは Livesense Advent Calendar 2023 DAY 20の記事です。 データ分析基盤で開発をしている晝間です。 マサカリが怖くてブログ執筆を避けてましたが、初めての記事投稿になります。 リブセンスのデータ基盤では、RDSからRedshiftへのデータ同期に、Digdag…
はじめに レビューに対する考え方 参考資料 Google Engineering Practices Documentation 30分でわかるFour Keysの基礎と重要性 DevOps 測定: 仕掛り制限 考え方 レビュイー レビュワー おわりに はじめに テクノロジカルマーケティング部データプラットフォ…
先月開催された人工知能学会全国大会で、紹介型マッチングアプリ[knew](https://knew.jp/)の満足度に関する発表をしてきたので、簡単に内容を紹介します。なお、発表タイトルは「提案型オンラインデーティングサービスにおける相手に対する満足度の因果探索…
データプラットフォームグループの毛利です。全社横断のデータ基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。LAではDWHとしてAWS Redshiftを採用しており、社内の誰でも利用できるようにしています。 今回はRedshiftのメタデータ*1を…
テクノロジカルマーケティング部データプラットフォームグループの池谷です。 社内の Web ログ基盤を、GA4 と BigQuery をベースとする構成に刷新したプロジェクトについてご紹介します。 なにをしたか 弊社には Livesense Analytics (以下 LA) という AWS …
これは LIVESENSE madeブログ 4月のお題 の参加記事です。 データプラットフォームグループの富士谷です。 ChatGPTのAPIの提供とポリシーの改変から、はや1ヶ月半くらい経ちました。弊社でも、ChatGPT（OpenAI API）を使った機能を開発し、転職会議や面接支…
リブセンスでデータエンジニアをしている富士谷です。 Software Designのデータベースに関連する特集記事を再構成した「データベース速攻入門 ～モデリングからSQLの書き方まで」が、2023年3月に発売されました。 gihyo.jp リブセンスがSoftware Design 2017…
これは Livesense Advent Calendar 2022 DAY 10 の記事です。 年末のお掃除捗っていますか？我が家では窓掃除にWV1が大活躍しています。 データエンジニアの毛利です。サービス横断のデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行って…
リブセンスで機械学習基盤の開発・運用をしている赤坂（yyyyskkk）です。 我々のチームでは今年の７月ごろにGKE Standard（以下Standardクラスタ）上に構築していた機械学習基盤をGKE Autopilot（以下Autopilotクラスタ）に移行しました。GKE Autopilotとは…
データプラットフォームグループの富士谷です。普段は弊社の機械学習基盤であるLivesense Brainの運用・開発を行っています。 機械学習基盤とは実際のところ、機械学習に関わる複雑な処理にも耐えられるバッチ処理・Webアプリケーション実行環境であり、Live…
データプラットフォームグループの富士谷です。主には、機械学習基盤Livesense Brainの開発や運用を行っています。 Goaで作ったAPIに対して、vegetaを使って、実際のアクセスを模倣した負荷テストと、net/http/pprofによるプロファイリングを最近行いました…
データプラットフォームグループ Livesense Brain チームの富士谷です。 機械学習基盤 Livesense Brain の開発・運用を行っています。 ここでは、Livesense Brain で開発するシステムのバージョニングの見直しと、 GitHub Actions を使ったタグ・リリース作…
Data Platform グループのリーダーの田中です。データ分析基盤 Livesense Analytics と機械学習基盤 Livesense Brain のプロジェクトマネジメント/アーキテクチャリングをしています。 今回は Livesense Brain における Kubernetes (k8s) manifest の管理方…
Livesense Advent Calendar 2021 の 3 日目を担当しますテクノロジカルマーケティング部の池谷です。 以前以下のような記事を書きましたが、今回はその続きです。 made.livesense.co.jp やったこと 私が所属するチームでは、 A/B テストの実施を補助する社内…
意思決定の基盤ともいえる A/B テストですが、社内において正しく使われているのか？という疑問がありました。そこで、A/B テスト勉強会を実施するとともに、そこで得た知見をガイドラインという形でまとめることにしました。
リブセンスではデータ分析基盤を内製しており、"Livesense Analytics"と呼ばれています。そんなデータ分析基盤における「便利カラム」にまつわる問題と、解決するためのアーキテクチャについて、'16新卒入社のエンジニアがお話しいたします。
開発合宿、やっていますか? Livesenseでは、仕事の一環で開発合宿をすることもあれば、有志で集まって週末に開発合宿をすることもあります。 これまで5回ほど有志で開発合宿を行ってきた経験を元に、開発合宿を成功させるためのノウハウをお話したいと思いま…
テスト・開発に使用するデータ生成の必要性 動作確認テストや開発時に使用するデータベースのデータ、どのように準備していますでしょうか？毎回手動で作成している、本番環境から持ってくる。これらは一番良くない例ですよね。 毎回手動で作成していては、…
