从2011年至今，大数据概念火了五年，势头依然不减。从人人都在讲概念，到商业化应用典型案例出现，可以清晰地看到大数据在逐步落地。以Hadoop为代表的底层架构日趋成熟，处理数据的各项技术有了长足的进步，让大数据开始在各个领域发挥价值。
我们认为，大数据产业仍在初级阶段，商用价值仍未完整展现，市场前景一片广阔。一方面，国内企业IT投入占比低于全球平均标准，随着企业对信息化意识逐步提升，整个IT市场的蛋糕有望继续做大。
另一方面，企业客户将大量IT预算投入到云计算等基础设施建设上，随着基础设施逐渐成熟，企业会将更多预算投入到大数据、人工智能上，届时大数据企业将迎来新一波发展浪潮。
大数据技术逐步提升，对大数据产业划分也越来越细致。从基础设施到行业应用，各个赛道都涌现出大量创新公司，有些代表着最新的技术和应用，有些则是借助大数据概念炒作。
如何识别有前景的赛道、找出有价值的公司，成为市场新的关注点，这也是爱分析大数据行业图谱系列报告的主旨所在。
在发掘有价值的赛道之前，首先应该对行业进行划分，从大到小逐步锁定目标。从整个产业生态角度，大数据产业可以分为三层：
在上篇大数据行业图谱（一）中，爱分析介绍了大数据行业中的底层基础平台，本文是大数据系列第二篇——通用技术，主要是基于Hadoop等底层基础平台的处理数据技术，包括数据采集、数据处理、数据分析、数据可视化等。
从数据流转过程来看，底层基础平台主要解决了数据存储问题，而通用技术则解决了从数据采集到数据分析的问题，有些技术只解决其中某一环节，如数据采集、数据可视化，有些则同时覆盖多个环节，如广告监测同时覆盖数据采集、处理和分析。
从数据采集到数据分析，通用技术包罗万象
通用技术涉及到数据处理各个流程，上图中只是列出目前主要赛道。随着业务发展，更加细分的领域也开始冒出创新公司，如Kyligence专注于OLAP层数据分析，但这些细分赛道目前相对较小，单个赛道里面只有一两家成立时间很短的公司，因此尚未列入其中。
在通用技术这个赛道之下，细分领域主要分为两类：一类是传统领域借助大数据焕发新春，大数据技术发展推动这些业务进一步发展，提升处理效率；另一类是随着移动互联网的兴起，为互联网企业客户提供基于移动端数据服务。
文本挖掘主要应用于舆情监控方面，大数据公司收集互联网的各类文本信息，帮助企业更好地进行竞争分析、公关、用户调研等流程，如智慧星光、波森数据、清博大数据等。
网页爬虫技术很早就出现了，早期百度、Google等搜索引擎都在使用。随着大数据概念深入人心，数据价值被企业所重视，爬虫技术有了更加广阔的市场，八爪鱼这类提供爬虫技术的公司发展起来。
广告监测类公司主要服务品牌企业客户，为企业提供广告营销全流程的数据分析，让品牌客户了解其广告投放效率，更好地进行广告优化，这一领域秒针系统、AdMaster、TalkingData是领跑者。
BI商业智能公司与数据可视化公司，将报表等数据以图像等形式呈现，可视化更侧重于数据呈现，给企业客户更加清晰地展示，BI更侧重于人机互动，让业务人员可以更好地在图像上进行业务分析。
BI领域的有永洪科技和帆软，数据可视化领域的海智BDP、海云数据、数字冰雹相对领先。
日志分析在早期主要应用在信息安全领域，随着大数据技术发展，对日志数据处理更加迅速、精细，日志数据的价值被企业客户认可，其应用领域也逐步延展到公司业务领域，如反欺诈等。这个领域有一些传统安全公司在做，新公司主要有日志易和瀚思安信。
移动统计、用户行为分析等领域是随着移动互联网的兴起而得到快速发展的。移动互联网时代，移动端软件如雨后春笋般冒出，掘金者的出现，势必会出现一些为掘金者送水的人。
移动统计和用户行为分析均是为这些互联网公司提供服务，解决这些企业关心的客户数、转化率等问题。TalkingData和友盟+是移动统计领域的佼佼者，用户行为分析领域呈现出GrowingIO、神策数据和诸葛IO三足鼎立之势。
尽管各细分赛道的公司业务相差很大，但通用技术领域还是存在很多行业共性和未来趋势，这些现状和趋势有助于我们去判断通用技术类公司未来发展方向。
行业现状一：大数据概念逐渐落地，各领域在逐步细化
大数据概念兴起时，企业客户最先想到将数据收集存储起来，因此企业客户都在建立自己的数据中心等基础设施。数据存储之后，如何使用这些数据成为企业新的痛点。
数据可视化是让企业客户感受到数据价值的直接体现。但仅仅是可视化呈现是远远不够的，企业客户希望能够挖掘数据内在价值，于是数据分析领域逐步繁荣。
因此，伴随着大数据概念的逐步落地，通用技术领域的公司得以快速发展。同时这一领域逐步细化，衍生出大量专注于某一细分领域的公司。
以数据分析为例，早期主要是网站流量分析，百度统计、CNZZ等。移动互联网兴起之后，TalkingData、友盟等基于移动平台提供日活量等数据统计公司出现。
随着业务的发展，仅仅是用户数据统计已经不能满足企业的需要，企业开始关注用户的行为分析，希望可以进行更加精细化地分析，这时候GrowingIO、神策数据等公司出现。
据不完全统计，国内大数据公司有130多家，而国外大数据公司有7000多家。因此，尽管领域逐步细化，还是存在很多洼地，整个行业发展空间还很大。
行业现状二：提供工具型服务，模式更偏向SaaS
底层基础平台公司，多以项目制服务客户，人力依赖较重。通用技术类公司，更多是提供某一种工具类服务，更容易形成标准化产品，因此可复制性强，人力依赖相对较轻。
目前国内大型企业一般都实行预算制，服务大型企业时，形式上仍然为项目制，但交付时间相对较短，大数据公司仍然可以看做是输出产品而非人力。
因此，通用技术领域公司的业务模式更偏向SaaS，可以用SaaS类企业的核心指标去分析其运营效率。
因为是工具类服务，客单价一般不高，集中在几万至几十万之间，上百万的订单凤毛麟角。国外市场同样如此，Tableau客单价平均在8000美金，Splunk的客单价在5万美金左右。不过，国内大数据公司目前纷纷涉足传统企业级市场，客单价有望逐步提高。
行业现状三：开源社区兴起，互联网巨头入侵
近年，随着开源文化兴起，越来越多的技术开源，很多大数据相关技术的使用门槛逐步降低，如可视化领域的eCharts，日志分析领域的ElasticSearch，这些工具方便IT人员开发相应的数据技术产品。
与此同时，BAT等互联网巨头不断推出免费的大数据技术产品，如百度统计、友盟统计等，完全可以满足企业一般需求。
以上这些因素，使得大数据公司的技术优势逐步降低，仅仅依靠大数据技术已经很难建立起足够坚实的护城河。
垂直技术面临挑战，通用技术平台同样面临巨大冲击。2016年，跟随Google步伐，国内互联网巨头纷纷开放自己的大数据平台，阿里云开放“数加”平台，百度云开放“天算”，BAT已经形成中小企业的服务闭环。对大数据领域的创新公司而言，服务中小互联网企业这条路几乎被封死。
行业现状四：客群转向传统企业，集成商成强劲对手
对企业而言，接受大数据技术需要一段时间。互联网企业对新技术的接受速度，要远远快于传统企业，因此大数据创新公司早期客户多数为互联网企业。但随着业务不断开展，大数据公司发现互联网企业的付费意愿低于传统企业。
一方面，习惯了互联网免费红利后，互联网企业主更倾向于使用免费产品，相比之下，传统企业用户相对保守，对免费产品心存疑虑，付费购买产品的习惯从信息化时代延续至今。
另一方面，大型互联网公司技术实力强，更倾向于内部研发满足业务需要，不愿意使用外界产品，而传统企业更乐意接受外界产品。
基于以上两点，大数据公司将客户群体由线上互联网企业逐步转向传统企业，如TalkingData早期服务移动端企业，后期转向服务金融、地产等传统领域客户。
不过，传统企业服务市场盘踞着各类集成商，这些公司与客户关系非常密切，已形成了强大的行业壁垒，创新型大数据公司切入并不容易。
技术优势和原有客群逐步被蚕食，打开新市场又面临很大竞争。面对这种前有堵截、后有追兵的局面，大数据公司如何突围？
爱分析认为，具备以下特点的大数据公司更容易突围成功。
行业趋势一：业务垂直化，聚焦细分领域
尽管企业客户更希望得到一个整体解决方案，但对大数据公司而言，将业务聚焦在垂直领域更容易发展。
Tableau、Splunk早期都是聚焦可视化、日志分析细分领域，将产品打磨扎实，才向其他领域进行扩展，国内大数据公司应该更加专注一些，将某一领域做实。
专注单一领域，不盲目扩张，也有助于减少竞争，与更多企业合作。想切入传统企业市场，仅凭大数据公司的商务拓展能力远远不够，有些时候需要与集成商进行合作，借助集成商的渠道切入市场。
行业趋势二：向上层应用偏移，做厚利润空间
不管是开源社区，还是互联网巨头开放平台，输出的更多是技术能力，并不能直接解决企业需求。以Hadoop为例，尽管Hadoop社区技术已经相对成熟，但Cloudera这样的公司仍然有很大市场。
通用技术领域同样如此，对企业级客户来说，他们不关心使用什么样的技术，能够解决业务问题才是关键。
对大数据公司而言，继续向底层偏移，强化技术实力这条路会非常艰难，等同于以一己之力对抗整个社区。逐步偏向上层应用，开发具备行业属性的产品才是更好的选择。
这样做更贴近客户需求，客户付费意愿更强，同时客单价更高，利润空间更大。
行业趋势三：对接多方数据源，实现数据互联
通用技术公司在服务客户过程中，会积累大量数据，经过脱敏处理后，这些数据可以用于服务其他客户。
如TalkingData就在服务移动端中小企业过程中，积累了大量移动设备数据，将这些数据用于为线下金融类客户提供包括精准营销在内的多项服务。
目前大数据公司主要是以自身技术服务于客户的第一方数据源，随着业务发展，大数据公司慢慢会形成自己的第三方数据源，可以将第三方数据源与第一方数据源打通，实现数据互联，将大大增强大数据公司的竞争力。
除TalkingData之外，广告监测领域的秒针系统和AdMaster，可视化领域的海云数据，都在积极建立自己的数据库，将技术与数据结合，提供更贴近业务的服务。
广告监测领域机会最大，用户行为分析需要打开更大市场
尽管通用技术领域整体前景广阔，但各细分赛道情况或有不同，广告监测领域机会最大， 网页爬虫、文本挖掘领域机会不大。日志分析、用户行为分析领域的问题是发展空间有限，需要将业务开拓至新行业才有更大的机会。
广告监测领域机会最大，秒针系统、AdMaster占据前端广告曝光市场95%份额，形成双寡头局面，两家都在积极布局后端监测市场。此外，移动端TalkingData将中小企业一网打尽，为中小APP软件提供包括广告监测在内的多项运营服务。
同时，这些广告监测公司已经开始寻找数据变现路径，帮助企业客户建立第一方和第三方DMP，建立更紧密的合作关系。
BI商业智能与数据可视化领域，单纯提供BI与可视化工具，竞争力并不凸显。因为这类开源技术发展很好，开发成本较小，无法建立技术壁垒，需要向上层应用偏移，将技术与行业应用结合，形成业务壁垒。永洪科技、海云数据等公司都在积极对接业务，重点布局公安、电信等行业，加强客户黏性。
日志分析领域同样面临开源技术冲击，业内一类公司采取ElasticSearch技术，基于开源技术开发相应产品，竞争力有限。另一类公司自主研发底层技术，碰到的问题是如何在与开源社区竞争中保持技术领先性。
单纯是日志分析市场，空间有限，但随着物联网的发展，这类公司可将日志数据延伸到机器数据，在物联网领域发挥更大价值。
用户行为分析领域市场仍处于早期阶段，如果只服务于互联网客户，市场空间有限，竞争激烈，加上百度统计、友盟等分析平台，如何让企业付费是最大问题。这领域公司需要积极探索如何将业务转到传统企业级市场，拓宽发展空间。
网页爬虫、文本挖掘领域机会较小，一方面，百度、Google等搜索引擎公司技术积累远超于新兴企业，后者很难形成足够的技术壁垒，另一方面，通过这类技术采集到的数据价值非常有限，很难利用这类数据为传统企业提供价值。
至此，通用技术篇暂时告一段落，爱分析会持续关注该领域，不定期进行公司调研和提供行业洞见。
下一篇，将是大数据应用篇，大数据与垂直行业深度融合后将产生哪些机会？大数据在金融、电信、公安领域的典型应用案例有哪些？都会在应用篇中揭晓，欢迎各位读者持续关注。
