LIVESENSE made*

リブセンスのエンジニアやデザイナーの活動や注目していることをまとめたブログです。

MENU

ログ収集を効率的に行うために知っておきたい、イマドキのログ収集基盤ツール8選

創造開発部インフラグループです。 (中の人:水野、中西)

昨今、SaaS 系のインフラツールが台頭してきています。

リブセンスでもかつて nagios で行っていたサーバ監視は、mackerel へと置き換わっています。 自社で持つものを厳選し、出せるものは外に出していくことで Web 企業のインフラエンジニアとして注力したい箇所へリソースを割くためにもこの手の SaaS 系ツールには注目しています。知らないだけで便利なサービスは他にもあるだろうということでリサーチを開始しました。

今回は、数ある SaaS のツールの中でもログ収集系に絞ったまとめとなります。

続きを読む

プログラマーが「ネットワーク怪しくない?」と思った時に覚えておくと便利なことまとめ

インフラエンジニアの中西です。 最近プログラマーからこのような話を耳にします。

「ネットワークって難しい/よくわからない」

最近ではAWS,GCPをはじめとするクラウドサービスが充実しているのでWeb界隈のエンジニアはなおさら気にするシーンが少なくなったように思います。 今日は最低限これだけ覚えていたら有事の際にちょっとは役に立ちますよという話が出来たらなと思います。

続きを読む

後に回しがちな課題を打破するために僕達ができること

f:id:livesense-blog:20160421173050j:plain

創造開発部インフラグループの中西です。

普段はインフラエンジニアとして各メディアのインフラを管理しています。

最近はマネージャー業務に偏ってきており、試されるマネージャー2年目を迎えようとしています。

今回は、後回しにしがちな課題をいかに消化していくかについてお話出来ればと思います。

よろしくお願いします。

続きを読む

AWS Lambdaでアプリケーションログを処理する

こんにちは、技術開発グループの松原です。

AWSでログを処理するときは以下の方法が考えられるかと思います。

  1. CloudWatch LogsのデータをAmazon Elasticsearch Serviceにストリーミングする
  2. FluentdやLogstashを使ってログの収集、処理をする

Fluentdを利用する場合はAggregatorがあった方が、リトライやバッファリング、タグを追加したいなどの場合にAggregatorの設定を変更するだけですむなど利点が多いです。
ただし、サーバの台数が少ない場合はAggregatorを構築するほどでも無いと思う場合もあるかと思います。
そこで、今回は以下のような構成を試してみます*1

*1:IAM Roleの作成等の一部の手順は省略しています

続きを読む

定期的に実行する処理の基盤について考えてみる

こんにちは、技術開発グループの松原です。

定期的に実行する処理というと一般的にはWindows環境以外ではcronが思い浮かぶかと思います。 cronは手軽に設定、実行できる反面、サーバに入らないとログが確認できない、スケジュールが確認できない、cronの実行サーバがSPOFになりやすいなどの側面があるかと思います。 そこでcronと同じように定期的に処理を実行することができる出来るソフトウェアについて軽く調査をしてみました。

調査対象の選定の観点は以下の通りです。

  • 冗長化構成が取れそうなこと
  • cron同様にスケジューリングが可能なこと
  • Webから実行結果が見られること
続きを読む