インフラストラクチャー
こんにちは、かたいなかです。 わたしが所属している技術部のインフラグループでは、インフラの構築運用作業以外にも、技術領域をまたいで腰を据えた調査が必要な調査や対応も行うことがあります。 最近も不可解な504エラーが発生しているのを発見し、調査を…
Postfix 3.9のリリースノートを解説しています。20年前に非推奨となった古いオプションの廃止や、HELO/EHLOの必須化によるセキュリティ強化、MongoDB対応の追加が特徴です。さらに認証前パイプライン禁止やSMTP smuggling対策など複数の攻撃防止策がデフォル…
はじめに Gmailの送信制限 Postfixの構築 前提条件 インストール 基本設定 Rspamdの構築 インストール 初期設定 DNSの設定 SPF DKIM DMARC PostfixとRspamdの連携 メール送信テスト コード例 実行 テスト結果 おわりに おまけ はじめに 技術部インフラグルー…
これは Livesense Advent Calendar 2024 DAY 24 の記事です。 リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクとランニングが好きなおじさんです。 先日、黒歴史最終処分場。でHDDを破壊したので、その時のことを書きます。 はじめ…
これは Livesense Advent Calendar 2024 DAY 19 の記事です。 はじめに 本記事で行わないこと 実装しようと思った背景 実装手順 タスク定義にバージョンタグを追加 GitHub Actionsからコミットハッシュをtask定義ファイルに渡す 実装結果 最後に 参考にした…
これは Livesense Advent Calendar 2024 DAY 5 の記事です。 バケット名を変更したいけど無理 大量データ移行 Terraformで構築する場合 IAMロール CloudWatch Logs ロケーション タスク ハマりポイント 課金に気をつけよう バケットの設定は引き継がれない …
はじめに 概要 移行したメール基盤について AWS移行における制約事項 設計 機能要件の整理 移行過渡期の構成 移行後の構成 AWS移行前の準備 AWS上でのプロビジョニング OSレイヤでのプロビジョニング AWS移行中の課題 細かな設定値の調整とスケジュール AWS…
はじめに カンファレンス概要 カンファレンス参加前の背景 参加理由 得た気づきと感想 SREとは何かの気づき SREからの組織論 計測への気づき 登壇以外での気づき 今後 はじめに 技術部インフラグループの鈴木です。SRE NEXT 2024に行ってきました。実はテッ…
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデ…
はじめに そもそもDMARCって何？ Googleの発表によってDMARC対応が必要に SaaSの検討 OSSの検討・選定 構成 動作 GmailからGoogle Driveへ格納する XMLをパースしてOpenSearchに格納する Google Driveからコンテナ内にダウンロードする パースと格納 可視化 …
こんにちは、かたいなかです。 2024年2月に長年の悲願だったマッハバイトのメインDBのAuroraへの移行を完遂しました！！！ この記事では、どのようにマッハバイトのAurora移行を進めていったかを記事として残します。 なお、この記事の中では結構レガシーな…
はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移…
はじめに イメージ 実行 フローチャート しんどいポイント VS インタラクティブな操作 APIからstdoutが取れるが、途中で切れる sudoでコマンド叩こうとするとttyがなくてエラーになったが… 実装 Issueへのコメントを実行トリガーにする 実行トリガーのコメン…
これは Livesense Advent Calendar 2023 DAY 24 の記事です。 リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクが大好きなおじさんです。 現在、リブセンスではオンプレミス環境からAWS環境への移行を進めています。移行が必要な対…
これは SRE Advent Calendar 2023 DAY 22 の記事です。 はじめに 自分しかわからないPR なぜ読まれなかったのか 実際のPR 設計という共通認識の重要性 経緯を残すと++ ちいさくてかわいいPR わかりやすいPRのTips 直したPR 終わりに はじめに リブセンスでイ…
これは Livesense Advent Calendar 2023 DAY 15 の記事です。 はじめに 転職ドラフト事業部でエンジニアをしている冨田です。 今回は転職ドラフトでバッチ処理を管理するために使っているecscheduleに v0.10.0 から追加されたpruneオプションを使おうとして…
これは Livesense Advent Calendar 2023 DAY 9 の記事です。 はじめに 今年やった案件 今年ハマった箇所と解決方法 セキュリティグループに穴空いてなかったけどバッチが正常終了したからテストOKにした ここから学んだこと secure属性あるcookieをhttpで通…
概要 オンプレNFSサーバー 移行対象アプリケーション 無停止マイグレーションの選択と段取り 双方向リアルタイム同期処理の自前実装 背景: AWS DataSyncの利用を断念 設計: 同期処理の構成要素と実装 初回のフル同期と同期漏れの確認 循環更新の防止 NFSから…
はじめに Mergeされるまでの経緯 PRを送るまで レビュー開始 関連したエラーを別PRでだす Mergeされる 感想 はじめに インフラGの鈴木です。連休は戸田競艇のメンチカツがめちゃくちゃ美味しいのに驚きました。 ところで、先日OSSに初めてPRを送ってMergeさ…
マッハバイトのAWS移行が進むにつれてECS Scheduled TaskやAWS Backupなどの利用が増え、TerraformにはAWS Cron式によるスケジュールの記載が増えてきました。ところがこのAWS Cron式、とてもミスしやすいのが悩みどころです。 このような事情から、プルリク…
移行の背景 どんなアプリケーションを移行したのか 移行後の構成 移行で直面した課題 認証・認可機構が複雑になっている 処理に時間がかかるエンドポイントがあり、ALBのIdle Timeoutのデフォルトでは足りなかった 非同期処理用のdelayed_jobのワーカーがバ…
はじめに CIの概要 出てきた課題と対策 ライブラリのtimeout値が固定値な上に短い ドキュメントにないパラメータがダマで増えた モニターのゾンビ化 想定したように設定が反映されずに手動で変更 YAMLのdiffツール(dyff)の自己主張が激しい 結局CI化するべき…
リブセンスの2チームにおいてWorking Out Loud(WOL)というコミュニケーションスタイルを実践してきました。このWOLでは、Slackの会話の中心となるチャンネルを1つに絞って、Twitterのような状態を作り上げています。EMという立場から、その経緯と経験、メリ…
まえがき こんにちは、インフラグループの yjszk です。 インフラグループでは、Amazon Inspectorで検出された脆弱性への対応を定期的に行っています。 ただ、脆弱性情報を収集して適切な対応を行うプロセスは手作業です。作業が面倒であり、トイルとなって…
Slackで少し凝った機能・・・例えば簡単な演算ツールを作ったり、ChatOpsを行おうとすると、コードを書いて動かしたくなることがあります。しかし、やりたい処理は簡単だったとしても、従来は、”書いたコードをどこで動かすか”に悩んだものです。 Pipedream…
まえがき こんにちは、インフラグループの yjszk です。 今回は、Cronitorというツールについてご紹介します。Cronitorはジョブの状態を簡単に管理することができるモニタリングサービスです。 このサービスは、Cronジョブの監視を行うことができ、提供され…
こんにちは、インフラストラクチャーグループのyjszkです。2月から入社しました。 リブセンスにはバッチをECSとEventBridge Ruleで動かしている実装があります。EventBridge Ruleがなかなかの曲者で、UTCでしか時間を指定できません。 UTCで指定されたルール…
こんにちは、かたいなかです。 『詳解システムパフォーマンス 第2版』の日本語版が2023/01/24についに発売されました！ www.oreilly.co.jp 私個人は原著で読んだのですが、他の人に強くおすすめしたくなるような内容でした。そこで、日本語版の発売に合わせ…
これは Livesense Advent Calendar 2022 DAY 21 の記事です。 リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクが大好きなおじさんです。 さて、リブセンスでは今年3月にオフィス移転を行いました。 オフィス移転に伴い開発環境のAW…
これは Livesense Advent Calendar 2022 DAY 18 の記事です。 はじめに こんにちは。リブセンスで人事をやっています、鶴田です。 (ﾟДﾟ) ﾎ? となった方も多いかもしれません（そうならない方が少ないかもしれない）。 ここはエンジニアブログ、なのに今回の…
