今天老师带大家了解大数据webshell系统的知识，接下来请大家做好相应笔记。也希望本文章带给大家很多有帮助的知识，课课家教育提醒大家：要仔细阅读哦~
fshell 基于机器学习的分布式webshell检测系统
1. 项目简介
该项目从web服务器日志、统计学分析、文件属性分析、静态特征检测以及文件fuzz hash的检测这5个维度对webshell进行了基于支持向量机(SVM)和决策树(DT)的监督学习的机器学习算法，从而分类出支持文件和恶意webshell。
通过在业务web server上安装agent，将采集到的数据定时/实时传输到Server端,经过对采集的元数据加工处理，形成机器学习算法可以处理的特征向量化数据。在机器学习模块将采用SVM和决策树进行机器学习，形成针对webshell的二分类，达到检测效果。
2. 项目整体架构
fshell系统逻辑架构
fshell 模块功能说明
fs_agent模块：fshell的agent模块，主要实现：(1)对web_log, statistics, file_attribute, danger_func, fuzz_hash元数据的采集，并发送到fs_server;(2)对server下发到agent配置信息进行更新;(3)读取server的文件读取指令，并将文件内容回传给server。
fs_server模块：fshell在Server端的数据通信模块，该模块采用TCP socket 长连接和短连接的方式，监听3个端口。与agent模块实现：元数据data_srv接收入库，配置更新下发，agent上文件读取回传三个功能。
fs_stand_srv模块：fshell的标准化srv模块，主要实现对已经入库的元数据进行特征向量化处理，使机器学习算法能够直接使用。
fs_kernel模块：fshell的机器学习算法的核心模块。该模块采用支持向量机(SVM)和决策树(DT)等算法对特征向量进行监督学习，从而实现webshell与正常文件的分类。
fs_manager模块：fshell的主控制模块。该模块实现：对agent配置管理;用户UI的管理;样本特征库的管理;机器学习检测模块相关配置以及结果的管理;以及其他预警通知、文件传输等的管理。
小知识：
数据价值
众所周知，企业数据本身就蕴藏着价值，但是将有用的数据与没有价值的数据进行区分看起来可能是一个棘手的问题。
显然，您所掌握的人员情况、工资表和客户记录对于企业的运转至关重要，但是其他数据也拥有转化为价值的力量。
一段记录人们如何在您的商店浏览购物的视频、人们在购买您的服务前后的所作所为、如何通过社交网络联系您的客户、是什么吸引合作伙伴加盟、客户如何付款以及供应商喜欢的收款方式……所有这些场景都提供了很多指向，将它们抽丝剥茧，透过特殊的棱镜观察，将其与其他数据集对照，或者以与众不同的方式分析解剖，就能让您的行事方式发生天翻地覆的转变。
但是屡见不鲜的是，很多公司仍然只是将信息简单堆在一起，仅将其当作为满足公司治理规则而必须要保存的信息加以处理，而不是将它们作为战略转变的工具。
毕竟，数据和人员是业务部门仅有的两笔无法被竞争对手复制的财富。在善用的人手中，好的数据是所有管理决策的基础，带来的是对客户的深入了解和竞争优势。数据是业务部门的生命线，必须让数据在决策和行动时无缝且安全地流到人们手中。
大数据应用所以，数据应该随时为决策提供依据。看看在政府公开道路和公共交通的使用信息这样看起来甚至有点晦涩的数据时会发生什么：这些数据来源为一些私营公司提供了巨大的价值，这些公司能够善用这些数据，创造满足潜在需求的新产品和服务。
企业需要向创造和取得数据方面的投入索取回报。
有效管理来自新旧来源的数据以及获取能够破解庞大数据集含义的工具只是等式的一部分，但是这种挑战不容低估。产生的数据在数量上持续膨胀;音频、视频和图像等富媒体需要新的方法来发现;电子邮件、IM、tweet和社交网络等合作和交流系统以非结构化文本的形式保存数据，必须用一种智能的方式来解读。
但是，应该将这种复杂性看成是一种机会而不是问题。处理方法正确时，产生的数据越多，结果就会越成熟可靠。传感器、GPS系统和社交数据的新世界将带来转变运营的惊人新视角和机会。请不要错过。
有些人会说，数据中蕴含的价值只能由专业人员来解读。但是泽字节经济并不只是数据科学家和高级开发员的天下。
#p#分页标题#e#
数据的价值在于将正确的信息在正确的时间交付到正确的人手中。未来将属于那些能够驾驭所拥有数据的公司，这些数据与公司自身的业务和客户相关，通过对数据的利用，发现新的洞见，帮助他们找出竞争优势。
数据机遇
自从有了IT部门，董事会就一直在要求信息管理专家提供洞察力。实际上，早在1951年，对预测小吃店蛋糕需求的诉求就催生了计算机的首次商业应用。自那以后，我们利用技术来识别趋势和制定战略战术的能力不断呈指数级日臻完善。
今天，商业智能 (使用数据模式看清曲线周围的一切) 稳居 CXO 们的重中之重。在理想的世界中，IT 是巨大的杠杆，改变了公司的影响力，带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场
小结：看过本文章之后，大家是不是有很多感悟。如果还想了解更多知识或者有什么问题，可登入课课家平台咨询，我们欢迎您的到来哦~
