在CC++中搜索大文件中的数据

概述我有一个日志文件,其格式为： DATE-TIME ### attribute1 ### attribute2 ###attribute3   我必须在此日志文件中搜索输入属性(从命令行输入)并输出与输入属性匹配的行. 一个天真的方法可能是这样的： scan the entire file line by linesearch for the attributeprint if found, 我有一个日志文件,其格式为：

DATE-TIME ### attribute1  ### attribute2 ###attribute3 

 

我必须在此日志文件中搜索输入属性(从命令行输入)并输出与输入属性匹配的行.
一个天真的方法可能是这样的：

scan the entire file line by linesearch for the attributeprint if found,else ignore.

这种方法很慢,因为它需要O(n)比较,其中n是可能非常大的行数.
另一种方法可能是使用散列表,但是为大文件保留这样的内存中散列表可能是不可能的.
那么,最可行的解决方案是什么？如何在各种属性上索引整个文件？

编辑：
日志文件可能大约是100K行,几乎就像linux上的系统日志文件一样.
在一次调用中,用户可以搜索多个属性,这些属性在第一个属性的搜索完成之前是未知的,就像交互式控制台一样.

谢谢,

解决方法 您可以通过仅在其中存储哈希值和文件偏移来减小哈希表的大小.如果属性仅具有固定的,相对较少的值,则您更有可能将整个哈希表适合内存.您为该属性的每个可能值分配一个ID,然后为每个ID值存储一个大的文件偏移列表.

当然,如果在程序的同一运行中,您执行多个不同的搜索,则哈希表才会有用.

显而易见的解决方案是将数据填充到数据库中,但我认为OP足够聪明,已经意识到已经并且有其他原因专门请求非数据库解决问题的方法.

总结

以上是内存溢出为你收集整理的在C/C++中搜索大文件中的数据全部内容，希望文章能够帮你解决在C/C++中搜索大文件中的数据所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。