新智元编译

来源：J.P.Morgan

编译：张易 弗格森

　　【新智元导读】近日，微软 AI 首席科学家邓力加盟对冲基金公司 Citadel 再次引发了人们对于机器学习技术应用于金融投资领域的关注。J.P.摩根最新的280 页研究报告《大数据和 AI 策略——面向投资的机器学习和另类数据方法》，极为详尽地梳理、评述、预测了对冲基金和投资者使用机器学习技术利用、分析另类数据的现状与未来，对于一切关注这一新兴大趋势的人们、一切投资者都有重要的借鉴意义。我们节选介绍了这一长篇报告，并提供了报告的下载。

　　大数据，特别是另类数据集的构建和利用，已经极大地改变了投资领域的面貌。

　　对冲基金和其他经验丰富的投资者日益增加了对“另类数据”(alternative data)的消费。只要可能影响投资决策但又不属于市场统计数据和公司财报这类传统信息的数据都称为“另类数据”。

　　不过，如果没有内行的数据科学家，这类数据就难以使用，而且有时候并不可靠。对冲基金只是在最近才能获得卫星图像分析之类的数据，所以没有多少历史数据用来核实其价值。部分批评者认为，如此复杂的公司和经济分析方法的好处被夸大了。

　　就在前不久，微软AI首席科学家、IEEE Fellow 邓力离开微软，加盟对冲基金公司 Citadel，担任首席人工智能官（Chief Artificial-Intelligence Officer）。这条消息再次引发了人们对于 AI 技术、尤其是机器学习技术在金融投资领域应用的关注。

　　J.P.摩根最新的280 页研究报告《大数据和 AI 策略——面向投资的机器学习和另类数据方法》，极为详尽地梳理、评述、预测了对冲基金和投资者使用机器学习技术利用、分析另类数据的现状与未来，对于一切关注这一新兴大趋势的人们、一切投资者都有重要的借鉴意义。我们节选了这一长篇报告非常小的一部分介绍给读者朋友们，并提供了报告的下载。

　　另类数据的可用以及分析这些数据的新定量技术——机器学习，正在成为竞争优势的新来源

　　大数据和机器学习“革命”：目前，联网设备以电子方式获得了大多数的记录和观察。这原则上允许投资者实时访问广泛的市场相关数据。例如，可用于评估通货膨胀数百万项目的在线价格，可以实时估计销售量的商店访问和交易的客户数量，可以评估石油钻井平台或农业活动产量的卫星图像。历史上，类似的数据只能以低频率（例如每月CPI、每周钻机数量、美国农业部作物报告、零售销售报告和季度收入等）提供。鉴于可用的数据量，有经验的量化投资者在理论上可以接近获得实时的某公司特定的数据，而这些数据不能从传统的数据源获得。在实践中，有用的数据不容易获得，需要购买，需要组织和分析另类数据集以提取可交易信号。大型或非结构化数据集的分析通常使用机器学习来完成。在设计定量策略方面，成功应用机器学习技术需要一定的理论知识和很多实践经验。

　　在苦苦追寻 Alpha （对于非金融领域的读者，可以简单地将 Alpha 理解为超额回报）的过程中，基金经理越来越多地采用量化策略。另类数据的可用以及分析这些数据的新定量技术——机器学习，正在成为竞争优势的新来源。这种“数据的工业革命”旨在通过信息优势和发现新的不相关信号的能力来提供 Alpha。大数据信息优势来自手机、卫星、社交媒体等新技术创造的数据。大数据的信息优势与专家、行业网络甚至企业管理能力不直接相关，更多体现的是收集大量数据并实时分析数据的能力。在这方面，大数据有能力深刻改变投资环境，进一步将投资行业趋势从自由决定性转变为量化投资风格。

　　有三个趋势使大数据革命成为可能：

　　1）可用数据量的指数增加；

　　2）提高计算能力和数据存储容量的成本降低；

　　3）分析复杂数据集的机器学习方法取得了进展。

　　有许多经常使用的概念可以用于描述大数据，这里我们给出最简明的用来描述大数据的维度：

　　大数据有三个重要的特征维度：

　　体量：通过记录、公报、图表、文件等等收集并存储的数据的规模，大数据的“大”的下限正在持续升高；

　　速度：数据的发送和接收速度经常被作为大数据的显著特征。大数据能够批量传送；大数据的获取是实时的，或是接近实时的。

　　多样性：大数据经常具有多样性的形式——结构化的（如SQL 表格或 CSV 文件），半结构化的（如 JSON 或 HTML），非结构化的（如博客或视频信息）。

　　另类数据集的分类

　　在投资管理中，大数据革命的核心在于能够提供具有信息优势的数据资源。另类数据带来的优势可能是在于发现传统的信息源中没有包含的新信息，或者发现的是相同的信息，但是速度更快，时间更早。例如，矿井或者土地的卫星图片能够在媒体或者官方报告前，揭示供应短缺。

　　我们旨在提供大数据的框架或分类。首先，我们根据数据的生成方式对数据进行分类。然后，我们考虑的是数据集的属性，也就是与投资专业直接相关的，例如将数据集映射到资产类别或投资风格，alpha内容，数据质量，技术规格等。

　　我们首先在高水平上对数据来源进行分类，指出它们到底是由个人（如社交媒体帖子）生成，还是通过业务流程（如电子商务或信用卡交易数据）生成，或由传感器（比如卫星图片、雷达等等）生成。

　　上图展示了这一分类。这种一方法扩展了Kitchin（2015年）和联合国报告（2015年）在非财务文本中早期的尝试。虽然这种分类法在某种程度上只是理论上的，但是，在分析这三个类型的数据时，确实存在共同特征，分析方法和共同的挑战。例如，个人生成的数据通常是非结构化的文本格式，需要自然语言处理。传感器生成的数据往往是非结构化的，并且可能需要分析技术，例如计数对象，或消除天气/云从卫星图像的影响。许多商业上生成的数据集，如信用卡交易和公司的“废弃”数据都面临共同的法律和隐私问题。

转载请注明出处。