这是一个创建于 745 天前的主题，其中的信息可能已经有所发展或是发生改变。
例如：
读 InputStream 标准输出流，输出流东西很多
发现正常读取的时候 process 已经退出了
process.waitFor()方法 等待会导致缓冲区被填满，然后阻塞
思路是在 waitFor()前，异步地去读取输出流中的内容
但是不生效
简单代码 我写一块儿了 缩进比较恶心 主要是有什么好的解决思路吗？
Process process;
try {
process = runtime.exec(commands);
ThreadPools.LOG_COLLECT.execute(()->{
try (InputStream in = process.getInputStream();
BufferedReader br = new BufferedReader(new InputStreamReader(in))) {
String line;
File destfile = new File(...);
while ((line = br.readLine()) != null) {
FileUtils.writeStringToFile(destfile, line + "\n", StandardCharsets.UTF_8, true);
}
} catch (IOException e) {
//exception handler
}
});
process.waitFor();
} catch (IOException | InterruptedException e) {
//exception handler
}
 |
1
gzk329 OP 还有一个在这句 process = runtime.exec(commands);打一个断点就能正常获取输出流 全局或者线程断点都 OK 因为是单线程
不打断点 就拿不到输出流 |
 |
2
fengyiqiao 2022-11-09 10:26:39 +08:00
用 ProcessBuilder 重定向输出到文件
|
 |
3
Pantheoon 2022-11-09 10:31:51 +08:00
apache 有个封装了调用本地命令的类库可以试试
|
 |
4
tyrantlucifer 2022-11-09 10:50:45 +08:00
@Pantheoon #3 是哪个呀，能否指点一下？
|
|
5
Pantheoon 2022-11-09 11:01:15 +08:00  1
|
|
6
tyrantlucifer 2022-11-09 11:16:02 +08:00
@Pantheoon #5 感谢您，之前是我是自己封装了一个，但我总感觉有现成的可以用，今天又学到了新东西。
|
|
7
gzk329 OP @fengyiqiao java 中这些本质上都是一套吧 命令里边 1>file 或者是 processBuilder 里边重定向到文件都是 走的一套逻辑，都被缓冲区大小限制的，都不行。 命令直接在 bash 中是可以执行的
|
 |
9
senninha 2022-11-09 11:30:48 +08:00
可能是 stderr buffer 满了，stderr 也整个异步线程去读。
|
|
10
gzk329 OP 还有一个在这句 process = runtime.exec(commands); 之前加一个线程休眠 3s 也能解决问题？有人知道这可能是什么原因吗？是在这句之前，我的理解是命令还没有开始执行呢 先休眠三 s ，就可以执行之后的 process.waitfor 然后异步消费输出流那套逻辑了，这是为啥呀？
|
|
11
fengyiqiao 2022-11-09 11:32:36 +08:00
缓冲区是指主进程和子进程之间的缓冲区，1>file 和 ProcessBuilder 重定向不用这个缓冲区。你可以试一下
|
|
12
gzk329 OP @senninha 这个我也试过 能读到 error 流，我的这个命令是获取 spark 作业的聚合日志，error 输出告诉我找不到日志。
但我这个逻辑是在作业程序结束后才会执行的 所以不应该获取不到日志输出的。 然后我开始想的是在异步读输出前先休眠，或者直接循环读，读到有结果才停止，但是不生效。 |
|
13
gzk329 OP @fengyiqiao 我试过 读取来的日志文件是空的
|
 |
14
sunjiayao 2022-11-09 11:40:19 +08:00
直接 inputstream.transferTo 呢
|
|
15
fengyiqiao 2022-11-09 12:17:34 +08:00
@gzk329 那有可能你的输出全是 stderr ，而不是 stdout ，或者有别的问题。我之前用 ProcessBuilder 就是因为 Process 会阻塞
|
 |
16
xboxv 2022-11-09 13:06:56 +08:00
猜测是你的 command 的问题，command 对应的输出流没有正常的结束，导致读取阻塞。command 发出来看下
|
|
17
gzk329 OP @xboxv 我的 command 就很简单的一句
String[] commands = {BIN_BASH, "-c", "yarn logs -applicationId " + applicationId}; |
 |
18
fridaycatye 2022-11-09 13:36:22 +08:00
GobblerThread errorGobbler = new GobblerThread(process.getErrorStream(), "ERROR");
GobblerThread outputGobbler = new GobblerThread(process.getInputStream(), "OUTPUT"); 开 2 个线程把输出流读出来就行了 |
 |
19
Huelse 2022-11-09 13:44:46 +08:00
https://alexn.org/blog/2022/10/03/execute-shell-commands-in-java-scala-kotlin/#java
最近刚借鉴了类似实现跑 ffmpeg ，不过我是 scala ，最后没有采用他的实现 |
|
22
xboxv 2022-11-09 13:57:35 +08:00
@gzk329 命令应该没什么问题， 进程的输出有可能在错误流，process.getInputStream();改为 getErrorStream 试试
|
 |
23
aguesuka 2022-11-09 14:01:15 +08:00
sleep 三秒就正常的话, 感觉这段代码是能运行的, 而是执行的时机不对
|
 |
25
quicksand 2022-11-09 15:11:44 +08:00
我试了你的代码，读取一个 60M 的文本没任何异常
|
Select Language