StreamIterator.close函数手动关闭资源导致了线程阻塞

[borenchan]

需求背景

业务上需要支持提前中断AI流式输出

问题

1. appbuilder中没有提供类似中断的接口；
2. 使用close关闭资源时出现阻塞，影响了后续业务。

com.baidubce.appbuilder.base.utils.iterator.StreamIterator#close

public void close() {
        try {
            if (reader != null) {
                reader.close();   //这里阻塞，直到百度服务器输出结束关闭连接
            }
        } catch (Exception ignored) {
            // ignore
        } finally {
            try {
                if (resp != null) {
                    resp.close();
                }
            } catch (Exception ignored) {
                // ignore
            }
        }
    }

[borenchan]

@userpj

[zhangairku]

sdk这里的关闭是把接收关闭了，应该是只有关闭接收这个动作会同步阻塞，这就是关闭io流，会时间长到影响的业务吗？我有点不太理解，可以更详细的说说吗？

[borenchan]

@zhangairku
从目前的调式结果来看，如果模型输出过程中提前调用close函数，线程会阻塞直到百度服务器大模型输出结束，一般长达几十秒。这里建议先关闭请求 resp.close(); 先关闭缓冲区reader会导致线程阻塞，他或许依赖底层http连接的关闭。
我理解你说的关闭接收，本地不接收新的数据了，但是这不是真正的中断，百度服务器仍然在输出。

[zhangairku]

你说的问题是存在的，我在本地测试发现确实阻塞很长时间，但是在你提供的方案下，测试发现阻塞时间是差不多的，我们这里会尽快处理这个问题。