hostsflowとElasticFlowでホストの通信をサンプリングする

仕事で、どのホストがどれくらいどこと通信してるのかを知る必要があり、同僚が以前検証していた、sFlowを最近触った。sFlowを利用すると通信を一定の間隔でサンプリングして、大体の通信先と量を知ることができる。ただそのデータをどう見るかが問題で、ElasticFlowを利用すると色々見える可できて便利そうだった。詳細はLINEのブログが詳しいです。

LINE ENGINGEERING

ElastiFlowによるインターネットトラフィックの可視化

https://engineering.linecorp.com/ja/blog/internet-traffic-by-elastiflow/

こんにちは、ネットワーク室サービスネットワークチームでアルバイトをしている中川稜です。LINEでは現在インターネットエッジルータのFlow情報を収集・分析・可視化するためのツールとしてElastiFlowを利用しています。今回はElastiFlowをどのように構築し、どのようにデータを可視化してい...

これをなんか雑にVMで検証する方法がないかなぁと思って調べていたのだが、hostsflowというものがあって、パッケージを入れるだけで、インストールしたホストで情報を吸い出せるようだった。

sflow.net

Host sFlow: Data Center Wide Server Performance Monitoring

https://sflow.net

パッケージをインストールして、下記のような設定を書くだけで、出力先のコレクターに情報を送ることができる。

% sudo cat /etc/hsflowd.conf
sflow {
     agent = ens3
     polling = 10
     sampling = 1000
     collector { ip=localhost  udpport=9995}
     pcap { dev = ens3 }
}

localhostのUDP:9995では下記のようなdocker-compose.ymlで起動したElasticFlowのコレクタープロセスが起動している。

version: '3'
services:
  # ElastiFlow Unified Flow Collector
  flow-collector:
    image: elastiflow/flow-collector:5.6.0
    container_name: flow-collector
    restart: 'unless-stopped'
    network_mode: 'host'
    volumes:
      - /etc/elastiflow:/etc/elastiflow
    environment:
      EF_FLOW_SERVER_UDP_IP: '0.0.0.0'
      EF_FLOW_SERVER_UDP_PORT: 9995
      EF_FLOW_OUTPUT_STDOUT_ENABLE: 'true'
      EF_FLOW_OUTPUT_STDOUT_FORMAT: 'json_pretty'

この設定は、標準出力にダンプしているだけなのだが、例えばElasticsearchやKafkaにデータを送ることができるので、色々分析可能になって便利そう。便利になった内容はどこかでいつか話す。

共有:

いいね: