使用RRCurl高效下载大文件

概述我看到许多使用RCurl下载二进制文件的例子就像这样： library("RCurl")curl = getCurlHandle()bfile=getBinaryURL ( "http://www.example.com/bfile.zip", curl= curl, progressfunction = function(down, up) { 我看到许多使用RCurl下载二进制文件的例子就像这样：

library("RCurl")curl = getCurlHandle()bfile=getBinaryURL (        "http://www.example.com/bfile.zip",curl= curl,progressfunction = function(down,up) {print(down)},noprogress = FALSE)writeBin(bfile,"bfile.zip")rm(curl,bfile)

如果下载量非常大,我认为最好将它并入存储介质,而不是将其全部存储在内存中.

在RCurl文档中,有一些例子可以通过块获取文件,并在下载文件时对它们进行 *** 作,但它们似乎全部引用为文本块.

你能给一个工作榜样吗？

UPDATE

用户建议对于二进制文件使用带有mode =’wb’选项的R本机下载文件.

在许多情况下,本地函数是一个可行的替代方案,但是有一些这种本机函数不适用的用例(https,cookie,表单等),这就是RCurl存在的原因.

解决方法 这是工作的例子：

library(RCurl)#f = Cfile("bfile.zip",mode="wb")curlPerform(url = "http://www.example.com/bfile.zip",writedata = f@ref)close(f)

它将直接下载到文件.返回的值将是(而不是下载的数据)请求的状态(0,如果没有发生错误).

提到Cfile在RCurl手册上有点简洁.希望将来会包括更多的细节/例子.

为了方便起见,将相同的代码作为函数打包(并使用进度条)：

bdown=function(url,file){    library('RCurl')    f = Cfile(file,mode="wb")    a = curlPerform(url = url,writedata = f@ref,noprogress=FALSE)    close(f)    return(a)}## ...and Now just give remote and local paths     ret = bdown("http://www.example.com/bfile.zip","path/to/bfile.zip")

总结

以上是内存溢出为你收集整理的使用R / RCurl高效下载大文件全部内容，希望文章能够帮你解决使用R / RCurl高效下载大文件所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。