能嵌入JAVA代码被调用,又能进行数据计算的开源库,数据库类的有HSQLDB/Derby/H2等。这几个和SQLite的毛病一样,入库过程非常繁琐,要检查表名是否重复、建表结构、读文件、解析字段、插入记录、建索引等,而且没法处理不规则的文本和特殊数据源;至于近年来计算库逐渐被重视的功能--JSON计算,虽然内嵌数据库也是赶鸭子上架,但这几个还不如内嵌数据库。DataFrame类的计算库有Tablesaw/ Joinery/ Morpheus等,在多层JSON(半结构化数据)的读取和计算上,它们比数据库要方便多了,但二维结构化数据的计算又远不如数据库。

二维结构化数据和多层JSON的计算都足够强,又支持多种数据源,可处理不规则文本的嵌入式JAVA开源库,集算器SPL是个更好的选择。

JAVA调用SPL只需JDBC接口,基本看一遍就会。比如把tab分隔的文本文件Orders.txt按Client列顺序排序,按Amount列逆序排序:

…Class.forName("com.esproc.jdbc.InternalDriver");Connection connection =DriverManager.getConnection("jdbc:esproc:local://");Statement statement = connection.createStatement();Stringstr="=T(\"D:/Orders.txt\").sort(Client,- Amount)";ResultSet result = statement.executeQuery(str);…

一个T函数就相当于内嵌数据库入库那一整套过程,比那些内嵌的数据库方案要方便多了。

为了数据库程序员的方便,SPL也支持SQL语句,比如上面的排序可改写为:

str="$select* fromd:/Orders.txt orderbyClient, Amount desc"

再讲讲刚才的sort函数,这样的基本计算函数SPL有上百个,可以直接完成大多数常规计算。下面试举一些:

//条件查询str="=T(\"D:/Orders.txt\").select(Amount>1000 && Amount<=3000 && like(Client,\"*S*\"))";//分组汇总str ="=T(\"D:/Orders.txt\").groups(year(OrderDate);sum(Amount))";//关联str ="=join(T (\"D:/Orders.txt\"):O,SellerId; T(\"D:/data/Employees.txt\"):E,EId).new(O.OrderID,O.Client,O.SellerId,O.Amount,O.OrderDate, E.Name,E.Gender,E.Dept)";

处理过的数据还可以持久化为btx集文件,不仅计算性能高,而且体积更小。比如将两个同构的文本文件写在一个btx里,并去掉两者重复的行:

A B 1 =[T("d:/orders1.csv"), T("d:/orders2.csv")].merge@u() /对记录做并集 2 file("d:/fast.btx").export@b(A1) /写入集文件

之后就可以像普通文件那样使用:

str="=T(\"D:/fast.btx\").sort(Client,- Amount)"str="$select * from d:/fast.btx order by Client, Amount desc"

btx还可以预先进行有序化处理,从而获得更高计算性能,比如进行二分查找,详情参考官网。

为了降低耦合性,SPL算法可外置于JAVA代码。比如,找出销售额累计占到一半的前n个大客户,并按销售额从大到小排列。先将SPL脚本存为文件bigCustomer.dfx:

AB1 = T("D:/data/sales.csv").sort(amount:-1) 取数并逆序排序 2 =A1.cumulate(amount) 计算累计序列 3 =A2.m(-1)/2 最后的累计值即是总和 4 =A2.pselect(~>=A3) 超过一半的位置 5 =A1(to(A4)) 按位置取值

再在JAVA代码中以存储过程的方式调用脚本文件:

…Class.forName("com.esproc.jdbc.InternalDriver");Connection connection =DriverManager.getConnection("jdbc:esproc:local://");Statement statement = connection.createStatement();ResultSet result = statement.executeQuery("call bigCustomer ()");...

有些运算较复杂,比如涉及分组后计算、有序计算、集合计算,即使用存储过程也难以解决,更别说连存储过程都不支持的内嵌数据库了。 SPL提供了强大的语法和丰富的库函数,可以大幅简化复杂运算逻辑。 比如: 计算某支股票最长的连续上涨天数,SPL只需两行:

A B 1 =T("d:/AAPL.xlsx") 读Excel文件,首行为列名 2 =a=0,A1.max(a=if(price>price[-1],a+1,0)) 求最长连续上涨天数

有些运算代码较长,或有分支和循环,SPL提供了专用的IDE,可以方便地跟踪调试,观察每一步的计算结果

打开网易新闻 查看更多图片

对于不规则的文本, SPL同样可以处理。简单的比如以双竖线||为分隔符,可用如下SPL语句读取:

= file("D:/Orders.txt").import@t(;,"||")

复杂些的不规则的文本,参考 《未结构化文本的读写和解析处理》(底部原文中查看链接)

SPL支持多种数据源,除了文本文件,还有Excel、数据库、各类NoSQL、webService、restful等。比如:restful返回多层JSON,用来描述多个员工和员工的多个订单,需要查询出所有价格在500-2000,且客户名包含bro字样的订单。SPL代码如下:

A 1 =json(httpfile("http://127.0.0.1:6868/api/getEmpOrders").read()) 2 =A1.conj(Orders) 3 =A2.select(Amount>500 && Amount<=2000 && like@c(Client,"*bro*"))

集算器SPL是优秀的JAVA嵌入式开源计算库,在结构化计算方面比数据库更强,在多层数据的计算方面比Dataframe更方便,在多数据源支持方面更是全面超过两者。