インフラストラクチャー
これは Livesense Advent Calendar 2024 DAY 5 の記事です。 バケット名を変更したいけど無理 大量データ移行 Terraformで構築する場合 IAMロール CloudWatch Logs ロケーション タスク ハマりポイント 課金に気をつけよう バケットの設定は引き継がれない …
はじめに 概要 移行したメール基盤について AWS移行における制約事項 設計 機能要件の整理 移行過渡期の構成 移行後の構成 AWS移行前の準備 AWS上でのプロビジョニング OSレイヤでのプロビジョニング AWS移行中の課題 細かな設定値の調整とスケジュール AWS…
はじめに カンファレンス概要 カンファレンス参加前の背景 参加理由 得た気づきと感想 SREとは何かの気づき SREからの組織論 計測への気づき 登壇以外での気づき 今後 はじめに 技術部インフラグループの鈴木です。SRE NEXT 2024に行ってきました。実はテッ…
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデ…
はじめに そもそもDMARCって何？ Googleの発表によってDMARC対応が必要に SaaSの検討 OSSの検討・選定 構成 動作 GmailからGoogle Driveへ格納する XMLをパースしてOpenSearchに格納する Google Driveからコンテナ内にダウンロードする パースと格納 可視化 …
こんにちは、かたいなかです。 2024年2月に長年の悲願だったマッハバイトのメインDBのAuroraへの移行を完遂しました！！！ この記事では、どのようにマッハバイトのAurora移行を進めていったかを記事として残します。 なお、この記事の中では結構レガシーな…
はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移…
はじめに イメージ 実行 フローチャート しんどいポイント VS インタラクティブな操作 APIからstdoutが取れるが、途中で切れる sudoでコマンド叩こうとするとttyがなくてエラーになったが… 実装 Issueへのコメントを実行トリガーにする 実行トリガーのコメン…
これは Livesense Advent Calendar 2023 DAY 24 の記事です。 リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクが大好きなおじさんです。 現在、リブセンスではオンプレミス環境からAWS環境への移行を進めています。移行が必要な対…
これは SRE Advent Calendar 2023 DAY 22 の記事です。 はじめに 自分しかわからないPR なぜ読まれなかったのか 実際のPR 設計という共通認識の重要性 経緯を残すと++ ちいさくてかわいいPR わかりやすいPRのTips 直したPR 終わりに はじめに リブセンスでイ…
これは Livesense Advent Calendar 2023 DAY 15 の記事です。 はじめに 転職ドラフト事業部でエンジニアをしている冨田です。 今回は転職ドラフトでバッチ処理を管理するために使っているecscheduleに v0.10.0 から追加されたpruneオプションを使おうとして…
これは Livesense Advent Calendar 2023 DAY 9 の記事です。 はじめに 今年やった案件 今年ハマった箇所と解決方法 セキュリティグループに穴空いてなかったけどバッチが正常終了したからテストOKにした ここから学んだこと secure属性あるcookieをhttpで通…
概要 オンプレNFSサーバー 移行対象アプリケーション 無停止マイグレーションの選択と段取り 双方向リアルタイム同期処理の自前実装 背景: AWS DataSyncの利用を断念 設計: 同期処理の構成要素と実装 初回のフル同期と同期漏れの確認 循環更新の防止 NFSから…
はじめに Mergeされるまでの経緯 PRを送るまで レビュー開始 関連したエラーを別PRでだす Mergeされる 感想 はじめに インフラGの鈴木です。連休は戸田競艇のメンチカツがめちゃくちゃ美味しいのに驚きました。 ところで、先日OSSに初めてPRを送ってMergeさ…
マッハバイトのAWS移行が進むにつれてECS Scheduled TaskやAWS Backupなどの利用が増え、TerraformにはAWS Cron式によるスケジュールの記載が増えてきました。ところがこのAWS Cron式、とてもミスしやすいのが悩みどころです。 このような事情から、プルリク…
移行の背景 どんなアプリケーションを移行したのか 移行後の構成 移行で直面した課題 認証・認可機構が複雑になっている 処理に時間がかかるエンドポイントがあり、ALBのIdle Timeoutのデフォルトでは足りなかった 非同期処理用のdelayed_jobのワーカーがバ…
はじめに CIの概要 出てきた課題と対策 ライブラリのtimeout値が固定値な上に短い ドキュメントにないパラメータがダマで増えた モニターのゾンビ化 想定したように設定が反映されずに手動で変更 YAMLのdiffツール(dyff)の自己主張が激しい 結局CI化するべき…
リブセンスの2チームにおいてWorking Out Loud(WOL)というコミュニケーションスタイルを実践してきました。このWOLでは、Slackの会話の中心となるチャンネルを1つに絞って、Twitterのような状態を作り上げています。EMという立場から、その経緯と経験、メリ…
まえがき こんにちは、インフラグループの yjszk です。 インフラグループでは、Amazon Inspectorで検出された脆弱性への対応を定期的に行っています。 ただ、脆弱性情報を収集して適切な対応を行うプロセスは手作業です。作業が面倒であり、トイルとなって…
Slackで少し凝った機能・・・例えば簡単な演算ツールを作ったり、ChatOpsを行おうとすると、コードを書いて動かしたくなることがあります。しかし、やりたい処理は簡単だったとしても、従来は、”書いたコードをどこで動かすか”に悩んだものです。 Pipedream…
まえがき こんにちは、インフラグループの yjszk です。 今回は、Cronitorというツールについてご紹介します。Cronitorはジョブの状態を簡単に管理することができるモニタリングサービスです。 このサービスは、Cronジョブの監視を行うことができ、提供され…
こんにちは、インフラストラクチャーグループのyjszkです。2月から入社しました。 リブセンスにはバッチをECSとEventBridge Ruleで動かしている実装があります。EventBridge Ruleがなかなかの曲者で、UTCでしか時間を指定できません。 UTCで指定されたルール…
こんにちは、かたいなかです。 『詳解システムパフォーマンス 第2版』の日本語版が2023/01/24についに発売されました！ www.oreilly.co.jp 私個人は原著で読んだのですが、他の人に強くおすすめしたくなるような内容でした。そこで、日本語版の発売に合わせ…
これは Livesense Advent Calendar 2022 DAY 21 の記事です。 リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクが大好きなおじさんです。 さて、リブセンスでは今年3月にオフィス移転を行いました。 オフィス移転に伴い開発環境のAW…
これは Livesense Advent Calendar 2022 DAY 18 の記事です。 はじめに こんにちは。リブセンスで人事をやっています、鶴田です。 (ﾟДﾟ) ﾎ? となった方も多いかもしれません（そうならない方が少ないかもしれない）。 ここはエンジニアブログ、なのに今回の…
AWSのサービスをちょっとだけ利用したいとき、aws-cliのインストールがだるいって思ったことはないでしょうか？私はあります。 そんなとき、どうするか？ ※ これはリブセンスAdvent Calendar 2022の7日目の記事です。
リブセンスでは創業当初から『越境』という言葉を大切にしており、自らの専門領域を広げるためのサポートとして、社内インターンと呼ばれる制度を用意しています。 横断部署のデータエンジニアがプロダクト直下での開発を体験したこともありますし、Webアプ…
こんにちは、かたいなかです。 最近、マイクロサービスアーキテクチャを採用した環境でプレビュー環境の実現方法についていくつかのパターンを比較し整理する機会がありました。 今回の記事では、プレビュー環境を構築するための要件をなるべく特定の技術に…
概要 旧redis gemの課題 増え続けるコマンドのサポート負荷 RESP2しか対応できていない 新redis-client / redis-cluster-client gemsによる解決 新規コマンド対応の柔軟化 RESP3のサポート その他の背景 redis-rbとしてGitHubのOrganizationを新規に作成した…
前書き リブセンス インフラエンジニアの中野(etsxxx)です。VPoEという肩書きのそいつと同一人物です。 言うまでもなく写真と本文にはあまり関係ありません。コロナ禍前の、弊社のオフィスでのモノレポ化の風景です。 写真のそれとは異なりますが、私はTeach…
