理论上应该是可行的，因为我们有全世界若干年的所有股票数据样本，同时还有各媒体记录的股票涨跌的同时期的世界上所发生的大事件。可以基于这些统计数据，建立一个模型，使用机器学习来计算未来时间的数据。
举两个数据有效应用的例子。
一是现在正流行的个人穿戴技术，用可穿戴技术、移动技术来连续的收集存储个人的数据，然后分析个人行为随时间变化的规律。往往在重大疾病前，个人行为的异常就能从记录的数据上看到。
再比如，：詹姆斯.西蒙斯（James Simons）。他几乎从不雇用华尔街的分析师，而是领导Medallion对冲基金会以电脑运算为主导，运用数学模型在全球各种市场上进行短线交易，传奇变身华尔街亿万富翁。
我们主要从两个方面来看，一是金融时序预测，二是舆情监测方式。InfoQ为您整理了开源架构和一系列的机器学习算法，我们可以自己动手来评估预测的有效性。对于炒股的技术宅来说，这是件非常有意思的事情。
开源架构
一个实时的股票分析系统不仅需要将影响股票价格的各种数据集合起来进行分析，还需要具有响应低延迟的特性，因而架构必须是高可伸缩、高扩展的。一方面随着时间的流逝，系统将存储越来越多的数据；另一方面数据处理应用程序必须能够通过添加更多的节点进行水平扩展以保持实时地响应速度。
来自于Pivotal公司的企业应用解决方案架构师William Markito最近在公司的博客上发表了题为《实时股票预测系统开源参考架构》的文章，介绍了一个通过开源技术实现实时股票分析系统的参考架构。虽然该架构关注于金融交易，但是也适用于其他行业的实时用例场景。William Markito首先从最顶层的视角，给出了一个高层架构图：
从最顶层的视角看，由预测模型驱动的最优化实时股票预测架构包含数据存储、模型训练、实时评估和采取行动四部分：
首先，进入系统的实时交易数据必须被捕获并存储，作为历史数据。
第二，系统必须能从数据的历史趋势中学习，识别出影响决定的模式和概率。
第三，系统需要能够实时地将新传入的交易数据与从历史数据中学到的模式和概率进行比较。
最后，系统还需要预测出输出并决定所要采取的行动。
之后，William又使用Spring XD （现称为Spring Cloud Data Flow，是一个统一并且可扩展的分布式系统，可用于数据抽取、实时分析、批量处理和数据导出场景）、Apache Geode （一个针对高可扩展应用程序的开源分布式内存数据库，目前正在孵化中）、Spark MLlib 、Apache HAWQ （一个Hadoop原生的大规模并行SQL分析引擎）以及Apache Hadoop™等开源组件对架构中的每一部分进行了细化：
如图所示，整个数据流包含6步，每一部分都是松耦合并且可以水平扩展的：
使用Spring XD读取并处理通过Yahoo! 金融Web服务API获取到的实时数据，然后通过Apache Geode 将数据存储在内存中。
使用 Apache Geode中的实时热数据，通过Spark MLib应用创建并训练模型，将新数据与历史模式进行比较。当然，也可以使用其他工具集创建模型，例如 Apache MADlib或者R。
将训练出的机器学习模型推送到部署好的应用程序上，同时更新 Apache Geode以便于进行实时预测和决策。
随着时间的推移，有一部分数据将变成冷数据，将这一部分数据从 Apache Geode移动到Apache HAWQ上并最终存储到Apache Hadoop™中。
周期性地基于整个历史数据集重新训练并更新机器学习模型。这一步让系统形成了一个闭环，当历史模式发生变化或者新的模式出现的时候，它会持续地更新和提升模型。
为了让读者能够在自己的笔记本上运行这一架构，William Markito还给出了一个更为简化的实现，该版本移除了长期的数据存储组件Apache HAWQ和Apache Hadoop™。
该解决方案中的每一个组件都责任明确，支持扩展并且能够在云环境中运行。那么除了架构之外，针对影响股票价格的不同因素，应该选择哪些算法来训练模型并预测股票价格趋势呢？
金融时序预测算法
在SlideShare上LargitData的CEO David Chiu介绍了如何通过隐马尔科夫模型（HMM）来预测股票价格，David Chiu认为股票的历史行为与当前行为具有一定的相似性，明天的股票价格可能会遵循过去的某种模式：
另外，在Vatsal H. Shah 的网站上还有一个文档介绍了Decision Stump 算法、线性回归、支持向量机、Boosting 算法和基于文本分析的方法在股票预测领域的应用，并对这些算法的预测结果进行了比较。
利用舆情监测
除此之外，与上市公司相关的新闻动态也会对股票价格造成影响，例如并购定增事项、公司领导人的离开等等，所以，甚至可以用Twitter来投资。
比如社交媒体数据公司Dataminr，主要客户集中在金融业、政界，包括“华尔街前五家超大型投资银行之中的三家，和一家估值150亿美元的股权避险基金公司”。对于股票交易来说，在新闻发布前获取的一手消息即意味着丰富的投资进账。
美国佩斯大学的博士生亚瑟.奥康纳（Arthur O’Connor）则利用公司如星巴克、可口可乐和耐克在社交媒体上的受欢迎程序，比较它们的股价。发现在社交媒体Twitter、Facebook上的粉丝数和股价密切相关，通过品牌的受欢迎程度，还可预测股价在10天、30天之后的上涨情况。
同时新加坡的数据科学家Lim Zhi Yuan在SlideShare上分享了一些自己的经验。Lim Zhi Yuan在该分享中研究了外部事件对于股票价格的影响，在分析时他分别通过线性模型和非线性模型两种方法进行了实验，线性模型采用了支持向量机（SVM）算法，非线性模型采用了深度神经网络模型。
只要有稳定在10%的回报率，哥们就大发啦！其实上面所讲的架构和模型不难做，我们也可以不断调整数据来源，数据量等等，不断的配置参数和权重，找出最能符合历史的曲线，以此建立预测未来的模型，从而得到最挣钱的方法。
与其哀叹股市熔断，技术宅们不如行动起来吧！
更多干货内容，敬请关注InfoQ［id：infoqchina］微信公众号
从70,000+小时工作量看，为什么你的项目总是延期？
案例分析丨Scala在挖财的应用实践
案例丨详解当当网的分布式作业框架elastic-job
2015年，你不愿错过的10篇技术好文
架构案例丨微信Android客户端架构演进之路