java
共 1 篇文章
【转】java大数据处理(千万级别FTP下载)
千万级别只是个概念,代表数据量等于千万或者大于千万的数据 本分享不牵扯分布式采集存储之类的.是在一台机器上处理数据,如果数据量很大很大的话,可以考虑分布式处理,如果以后我有这方面的经验,会及时分享的. 1、程序采用的ftp工具, apache 的 commons-net-ftp-2.0.jar 2、千万级别ftp核心关键的部分--列目录到文件,只要是这块做好了,基本上性能就没有太大的问题了. 可以通过apache 发送ftp命令 "NLST" 的方式列目录到文件中去 # ftp列目录执行的命令 以环境变量的配置优先,不配置则使用默认的列目录方式 NLST # DS_LIST_CMD = NL…