我是一个 nodejs 新手,由于某种原因必须利用 nodejs 简单快速地写一个处理文件内容的小小 app 。我看过 nodejs documentation ,有些懵逼,所以偷个懒来 V 站问一下大家。。
目的是想读取一个包含超多行数的文件,并对每一行内容做一些操作。如果全部读取的话内存不够,打算用一个循环去读取文件内容,每次读 1000 行,对这 1000 行数据进行一些处理之后,删除原文件前 1000 行内容,保证下一次循环不重复读取内容。
有没有人能告诉我删除本地文件的前 1000 行在 nodejs 中该如何实现?
PS. 我试过 nodejs 的 readStream 模块去一行一行地读取。但是这个方法有一些小毛病,我不想考虑了。如果可以的话,能帮忙解决一下我问的上一个问题也可:请问如何使用 nodejs 的 readline 模块按行读取文件内容然后依次更新到 html 页面中?
PS 的 PS. 如果能用 shell script 做是超简单的,一个 sed -i '1,1000d' filename.txt 就搞定了,然而不得不用 nodejs。。
1
xcatliu 2017-04-05 18:48:02 +08:00 via iPhone
可以用 node 开子进程执行 shell ?
|
2
HanningWu OP @xcatliu 我需要在 Windows 下用 node-webkit 写 web app , Windows 下可以用 shell 子进程不?
|
3
viko16 2017-04-05 19:00:35 +08:00 via Android 1
|
4
xcatliu 2017-04-05 19:03:55 +08:00 via iPhone 1
|
6
123s 2017-04-05 19:11:57 +08:00 via Android
我怎么感觉方向不对
|
7
MicroPan 2017-04-05 19:19:51 +08:00 1
|
8
cxbig 2017-04-05 19:22:36 +08:00 via iPhone 1
这种事用 shell
linux: sed -i -n '1,1000d' your_file mac: sed -i '' -n '1,1000d' your_file |
10
HanningWu OP @xcatliu 这个 shelljs 看起来很棒啊,我对 shell script 很熟,如果能在 nodejs 里执行 shell script 就太好啦。我马上去试试,超感谢。
|
11
billlee 2017-04-05 20:15:53 +08:00
你这个思路不对啊。不可能从一个文件的头部删除一千行,能实现的方法都是把 1000 行后的内容写到新文件,然后用新文件覆盖掉旧文件
|
13
x7395759 2017-04-05 20:45:51 +08:00
哇, sheeljs ,现在这个 js 啊,真的搞事情。
|
14
newdongyuwei 2017-04-05 21:18:16 +08:00
如果“目的是想读取一个包含超多行数的文件,并对每一行内容做一些操作”,那无论你文件多大, nodejs 都可以轻松处理啊! nodejs 可以流式读取文件, see https://nodejs.org/dist/latest-v7.x/docs/api/fs.html#fs_fs_createreadstream_path_options 再参考这个 https://nodejs.org/dist/latest-v7.x/docs/api/stream.html#stream_class_stream_readable 监听 data 事件就可以处理目标数据了。
|
17
cxbig 2017-04-05 21:57:16 +08:00
@imxieke 我上面这个命令带上 -i 就直接删除该文件最前面的 1 千行
如果你要读指定行的话,可以用参数 p ,这命令直接输出到 stdout ,怎么接收看你了 sed -n '1001,2000p' your_file |
18
klesh 2017-04-05 23:26:16 +08:00 via Android
windows 下是没有原生 shell 的,参考 14 楼的方法现实些, readline 包也是可以的。
|
19
willakira 2017-04-06 00:03:29 +08:00
删掉原始文件出问题的时候真是会欲哭无泪,比较推荐 stream 读取然后写到新文件
|
20
HanningWu OP @newdongyuwei 我用了 readline 模块,用的是 html 页面中一个按钮(button)的 onclick 事件去触发这个基于 readline 模块的文件读取函数。但是我对每一行的处理包括一行修改 html 文件内容的命令。比如 html 页面中有个 <p id="status"><p>。我希望每读取一行之后就利用 document.getElementById("status").innerHTML = line 覆盖 id="status" 的段落原有内容为该行内容。但点击按钮之后,触发文件读取函数这时候页面卡住了,然后等函数运行结束,页面才恢复正常,于是我只看到了最后一行的显示内容。运气过程中“上一行内容被新的一行的内容覆盖”这个显示效果我就看不到了。
|
21
HanningWu OP @newdongyuwei 最终,是需要实现这样一个效果,示例代码: https://jsfiddle.net/09kuyn7v/ 。但不是像这个示例中那样,数据从数组中来,我需要的是从文件每一行读取出来,然后以同样的效果通过点击按钮显示到 html 的一个段落中去。
|
23
HanningWu OP @param 那不是双引号,是两个单引号,用来备份 -i 直接修改的文件。比如你利用 sed -i '.bak' '1,100d' filename.txt 命令去删除 filename.txt 的前 100 行,中端会先备份文件为 filename.txt.bak
|
25
HanningWu OP @newdongyuwei 那看是怎么“轻松处理”,我的确可以用 readStrem 来读文件,但是我遇到的问题是读取文件之后无法**动态地依次**显示到 html 页面中去!
|
26
cxbig 2017-04-06 16:55:30 +08:00
@param 那是两个单引号,这个参数是用来定义重命名后缀的, 23 楼已说明
当你想直接写回原文件的时候, Linux 只写 -i 就好, Mac 下必须要带空字符串当参数,不然报错 |
27
IJustmaogepao 2017-04-06 17:17:45 +08:00
我的想法是可以用 readFile 读出来,再用 split('\n')切割成数组,然后去掉前 1000 个元素。。
|
28
123s 2017-04-06 18:47:17 +08:00 via Android
@IJustmaogepao 发文件就坑了
|
29
123s 2017-04-06 18:47:27 +08:00 via Android
大文件
|
30
WXYOO1 2017-04-07 20:01:54 +08:00
推荐使用 line-reader 这个包 直接读行,前 1000 行不处理,后面开始写入新文件
``` var lineReader = require('line-reader'); lineReader.eachLine('file.txt', function(line, last) { console.log(line); }); ``` |