NetFlow Analyzer中的数据存储
NetFlow Analyzer中的数据存储
这个文档说明NetFlow
Analyzer如何存储数据的，以及历史报表使用的数据类型。
NetFlow Analyzer接收并分析来自设备的流（flow）数据并保存在数据库中，用来给用提供流量分析和报表数据。NetFlow
Analyzer的灵活数据存储方式有利于在使用最小磁盘空间的情况下存储长期的数据，并能提供实时的报表。
NetFlow Analyzer存储的数据可以为用户提供：
1. 网络流量的故障排查
2. 容量规划
3. 历史报表
4. 计费
5. 趋势分析
6. 流量分析
NetFlow Analyzer存储2种类型的数据，原始数据和聚合数据。
原始数据存储：
原始数据是路由器接口导出的每一个Flow包，在数据库中存储为最原始形式的数据。因为原始数据记录的是来自设备的每一个包，将消耗大量的磁盘空间，所以可设置的最大保留时间为30天。原始数据的大小受接收的Flow包多少影响，为了方便计算，NetFlow Analyzer根据当前磁盘剩余空间，给出可存储原始数据天数的建议值。在产品界面中，打开“设置 – 流量分析 – 存储设置“中设置保留的时长。还可以设置在磁盘剩余空间不足某个百分比时发送告警通知，以及自动删除旧的原始数据。
原始数据用于“取证”报表和最近2小时的流量报表。原始数据提供接口级别的完整流量分析。
聚合数据：
NetFlow Analyzer在数据库中存储长期的聚合数据。保存原始数据的同时也同时进行数据的聚合。聚合数据保存每10分钟的前100个应用和会话记录。聚合数据用于降低磁盘消耗而不影响报表和性能。
聚合数据用于历史报表、容量规划和趋势分析。
下面详细说明数据聚合的机制。
应用数据的聚合机制：
数据会不断地汇聚成更大颗粒度（10分钟、1小时、6小时、24小时、周）的数据。每10分钟存储前100个应用记录的八位字节（octet）值。随着时间推移，10分钟数据汇聚成小时到小时数据表。例如在10:00到10:59之间，
NetFlow Analyzer存储每10分钟的前100个应用记录（10:00、10:10、10:20、10:30、10:40和10:50），存在10分钟表中。这个6个时间段的600个记录将汇聚成1小时（10:00）的前100个记录。
相同地，数据汇聚到6小时、12小时、24小时和周数据表中。所以最近的数据颗粒度为10分钟，超过92天的数据颗粒度为1周。10分钟数据表将在25小时后清空。数据是这样不断汇聚的：
l 10分钟汇聚数据存储25小时（旧数据将删除）
l 1小时汇聚数据存储45天
l 6小时汇聚数据存储63天
l 24小时汇聚数据存储92天
l 1周汇聚数据长期保留。
和应用数据一样，会话数据也是这样汇聚的。
应用、源、目的、会话和QoS报表周期超过2小时将使用汇聚数据。随着报表周期变大，数据颗粒度也变大。
1分钟流量数据存储：
除了原始数据和汇聚数据，
NetFlow Analyzer还存储1分钟流量数据，用于实时报表。流量数据的汇聚机制和应用数据是一样的。小于24小时的报表将使用1分钟颗粒度的数据。
1分钟数据可以在“设置 – 流量分析 – 存储设置”中配置。
参考：
Related Articles
【NFA】Cisco Catalyst 2960-X和4948E不支持netflow可用netflow-lite协议代替
注：NetFlow-Lite目前在Cisco Catalyst 2960-X和4948E上得到支持&这些命令在Cisco IOS 15.0(2)EX1中得到支持。 配置可参考： https://www.manageengine.com/products/netflow/help/configuring-cisco-29xx-and-49xx-series.htmlNetFlow Analyzer的数据大小查询
NetFlow Analyzer包括聚合数据、1分钟数据和原始数据等。按照下面的方法查看各种数据占用的磁盘空间大小。 1. 原始数据大小查询 SELECT relname as TableName, pg_size_pretty(pg_table_size(relid)) as TableSIZE,pg_size_pretty(pg_indexes_size(relid)) as IndexSIZE FROM pg_catalog.pg_stat_user_tables where ...【NFA】在NetFlow Analyzer中更新SNMP的步骤
NetFlow Analyzer通过在设备上配置SNMP来获取设备名称、接口名称和接口速度。 关联凭证位置： 并填选择您要展示的接口名类型 如果未生效，那么连接到数据库并执行下面的查询，在检查是否生效。 update netflow_interface set LINK_NAME=SNMP_DESCRIPTION; 如还未生效请在执行： update Netflow_interface set link_Name=SNMP_Description where router_id=URl中可查; ...NetFlow Analyzer为什么unknown_App类型的应用的端口显示*，如何查看端口号？
问题： 在资源清单页面，打开一个接口的视图，在“应用”页签下有unknown_App，但是这些应用的端口号显示为*，不能看到真正的端口号。 说明： NetFlow Analyzer流量计算基于可用的端口和协议映射，我们有大约10000个基于IANA的应用程序映射，您可以在Application / QoS映射下找到它。 如果您的网络上存在使用未在应用程序/ QoS映射下映射的端口和协议的流量，则将其归类为unknown_ app。您可以使用“show ...NetFlow磁盘空间计算
1. 历史数据 (聚合数据) 会话数据 = (507000 byte * 记录保留数 * 接口数 * 2 ) 源和目的数据 = 2* 58200 byte * 接口数 应用数据 = 2* 应用数 *接口数 * 100940 byte 记录保留数：默认100。可以在设置 -- 流量分析 -- 存储设置 -- 聚合数据 中修改。 历史数据 = 会话数据 + 源和目的数据 + 应用数据 2. 状态排行数据 ...