要使用Tachyon内存文件系统,首先要使用TachyonFileSystemFactory得到一个Tachyon的操作客户端,通过客户端进行文件的读写操作。得到Client客户端的代码如下。
通过TachyonFileSystemFactory的get方法,返回一个TachyonFileSystem对象,通过该对象,对文件进行存储操作。接下来讲解Tachyon中对文件的存取操作。
1.创建文件
通过TachyonFileSystemFactory对象创建文件也是十分简单,就跟磁盘文件一样。首先通过TachyonURI创建一个Tachyon文件路径,并使用文件的输出流向文件写入数据。代码如下。
2.指定非默认值
在Tachyon所有的操作中,都有一个额外的选项可以用,它允许用户指定非默认的设置。比如可以通过这个选项设置非默认的数据块大小。代码如下。
3.I/O选项
Tachyon中使用了两种不同的存储类型:Tachyon管理的存储和底层存储。Tachyon管理的存储是分配给Tachyon Workers的内存、SSD和HDD,而底层存储是指被S3、HDFS和Swift等管理的存储资源。用户可以通过TachyonStorageType和UnderStorageType两个配置选项指定Tachyon本地存储和底层存储的合作方式。表6-1所示是TachyonStorageType和Un-derStorageType不同的组合方式。
表6-1 TachyonStorageType和UnderStorageType不同组合方式(www.xing528.com)
TachyonStorageType和UnderStorageType的不同组合,将产生出不同的读、写数据策略。
4.打开TachyonFile
在创建好Tachyon文件的前提下,可用通过open方法打开该Tachyon文件。open方法返回创建好的TachyonFile的引用。代码如下。
5.读取数据
Open方法打开Tachyon文件操作其实只返回一个TachyonFile的引用,要想得到文件中的内容,还需要得到该文件上的输入流,通过输入流读取TachyonFile文件中的内容。代码如下。
更多API的使用,请查看Tachyon(Alluxio)官方网站:http://www.alluxio.org。在了解了Tachyon基本的API使用之后,下面介绍Tachyon在Spark中的应用。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。