首页 理论教育 TachyonAPI的使用详解

TachyonAPI的使用详解

时间:2023-06-29 理论教育 版权反馈
【摘要】:接下来讲解Tachyon中对文件的存取操作。首先通过TachyonURI创建一个Tachyon文件路径,并使用文件的输出流向文件写入数据。open方法返回创建好的TachyonFile的引用。在了解了Tachyon基本的API使用之后,下面介绍Tachyon在Spark中的应用。

TachyonAPI的使用详解

要使用Tachyon内存文件系统,首先要使用TachyonFileSystemFactory得到一个Tachyon的操作客户端,通过客户端进行文件的读写操作。得到Client客户端的代码如下。

978-7-111-55442-4-Chapter06-58.jpg

通过TachyonFileSystemFactory的get方法,返回一个TachyonFileSystem对象,通过该对象,对文件进行存储操作。接下来讲解Tachyon中对文件的存取操作。

1.创建文件

通过TachyonFileSystemFactory对象创建文件也是十分简单,就跟磁盘文件一样。首先通过TachyonURI创建一个Tachyon文件路径,并使用文件的输出流向文件写入数据。代码如下。

978-7-111-55442-4-Chapter06-59.jpg

2.指定非默认值

在Tachyon所有的操作中,都有一个额外的选项可以用,它允许用户指定非默认的设置。比如可以通过这个选项设置非默认的数据块大小。代码如下。

978-7-111-55442-4-Chapter06-60.jpg

3.I/O选项

Tachyon中使用了两种不同的存储类型:Tachyon管理的存储和底层存储。Tachyon管理的存储是分配给Tachyon Workers的内存、SSD和HDD,而底层存储是指被S3、HDFS和Swift等管理的存储资源。用户可以通过TachyonStorageType和UnderStorageType两个配置选项指定Tachyon本地存储和底层存储的合作方式。表6-1所示是TachyonStorageType和Un-derStorageType不同的组合方式。

表6-1 TachyonStorageType和UnderStorageType不同组合方式(www.xing528.com)

978-7-111-55442-4-Chapter06-61.jpg

TachyonStorageType和UnderStorageType的不同组合,将产生出不同的读、写数据策略。

4.打开TachyonFile

在创建好Tachyon文件的前提下,可用通过open方法打开该Tachyon文件。open方法返回创建好的TachyonFile的引用。代码如下。

978-7-111-55442-4-Chapter06-62.jpg

5.读取数据

Open方法打开Tachyon文件操作其实只返回一个TachyonFile的引用,要想得到文件中的内容,还需要得到该文件上的输入流,通过输入流读取TachyonFile文件中的内容。代码如下。

978-7-111-55442-4-Chapter06-63.jpg

978-7-111-55442-4-Chapter06-64.jpg

更多API的使用,请查看Tachyon(Alluxio)官方网站:http://www.alluxio.org。在了解了Tachyon基本的API使用之后,下面介绍Tachyon在Spark中的应用。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈