[Question]: ict_final 关于 Qwen3.5-4B 的 64k 和 128k 长文本输入问题

[drink-less-milktea]

1. 目前我们通过实验,qwen3.5-4B 即便在 910B4 四卡 TP=4 时，由于没有 chunked prefill，在对一次性的长文本输入（64k 或者 128k）进行 prefill 时会报错由于激活张量需要内存过多导致 OOM，实现 chunked_prefill 似乎是不得不做的事，目前通过解析源码可以看到在 Qwen3GatedDeltaNetBaseImpl 类中并不支持 chunked_prefill。赛题方是需要我们在实现 chunked_prefill 在 GDN 支持的同时进行性能优化吗？或者说是需要开启什么配置才能实现 qwen3.5-4B 的长上下文输入呢？
2. 赛题上写的单并发具体是指什么呢，单请求单 batch ，限不限定单卡呢？

[XuZhang99]

单卡可以跑64k+1k，启动命令如下：

#!/bin/bash
set -e

rm -rf core.*

source /usr/local/Ascend/ascend-toolkit/set_env.sh 
source /usr/local/Ascend/nnal/atb/set_env.sh
export ASCEND_RT_VISIBLE_DEVICES=15
export HCCL_IF_BASE_PORT=43432  # HCCL communication base port


MODEL_PATH="/export/home/models/Qwen3.5-4B"               # Model path
MASTER_NODE_ADDR="127.0.0.1:9748"                  # Master node address (must be globally consistent)
START_PORT=18000                                   # Service starting port
START_DEVICE=0                                     # Starting logical device number
LOG_DIR="log"                                      # Log directory
NNODES=1                                           # Number of nodes (current script launches 1 process)

mkdir -p $LOG_DIR

for (( i=0; i<$NNODES; i++ ))
do
  PORT=$((START_PORT + i))
  DEVICE=$((START_DEVICE + i))
  LOG_FILE="$LOG_DIR/node_$i.log"
  /export/home/xllm/build/xllm/core/server/xllm \
    --model $MODEL_PATH \
    --devices="npu:$DEVICE" \
    --port $PORT \
    --master_node_addr=$MASTER_NODE_ADDR \
    --nnodes=$NNODES \
    --max_memory_utilization=0.45 \
    --block_size=128 \
    --communication_backend="hccl" \
    --enable_prefix_cache=false \
    --enable_chunked_prefill=false \
    --enable_schedule_overlap=false \
    --max_tokens_per_batch=262144 \
    --node_rank=$i \ > $LOG_FILE 2>&1 &
done

[dinosaur666]

@XuZhang99 请问这个也是在910B4(32GB)显存条件下运行的么？我们之前单卡测试32k上下文，观察npu的资源占用率就已经非常极限了

[XuZhang99]

@XuZhang99 请问这个也是在910B4(32GB)显存条件下运行的么？我们之前单卡测试32k上下文，观察npu的资源占用率就已经非常极限了

我用的是64G显存的910B

[nengsidushane]

@XuZhang99请问这个也在910B4(32GB)显存条件下运行的么？我们之前单卡测试32k上下文，观察npu的资源占用率就已经非常极限了

也就是说，你们单卡32GB能够跑32k，但是无法跑64k是吗？

[dinosaur666]

@XuZhang99请问这个也在910B4(32GB)显存条件下运行的么？我们之前单卡测试32k上下文，观察npu的资源占用率就已经非常极限了

也就是说，你们单卡32GB能够跑32k，但是无法跑64k是吗？

目前而言是的

[nengsidushane]

@XuZhang99请问这个同时910B4(32GB)显存条件下运行的么？我们之前单卡测试32k上下文，观察npu的资源占用率就已经非常极限了

也就是说，你们单卡32GB就可以跑32k，但是跑不了64k是吗？

目前来说是的

那请问你们是直接使用test_xllm.py吗？有修改吗？我们源码都跑不起来，很奇怪

[drink-less-milktea]

@XuZhang99请问这个同时910B4(32GB)显存条件下运行的么？我们之前单卡测试32k上下文，观察npu的资源占用率就已经非常极限了

也就是说，你们单卡32GB就可以跑32k，但是跑不了64k是吗？

目前来说是的

那请问你们是直接使用test_xllm.py吗？有修改吗？我们源码都跑不起来，很奇怪

是的，我们只是修改了一些启动脚本的参数，test_xllm 没有修改

[nengsidushane]

@XuZhang99请问这个同时910B4(32GB)显存条件下运行的么？我们之前单卡测试32k上下文，观察npu的资源占用率就已经非常极限了

也就是说，你们单卡32GB就可以跑32k，但是跑不了64k是吗？

目前来说是的

那请问你们是直接使用test_xllm.py吗？有修改吗？我们都跑不起来，很奇怪

是修改的，我们只是修改了一些启动脚本的参数，test_xllm 没有

你们用的zsh？bash？命令也就是这种带反斜杠的吗？我们跑源码，报反斜杠不接受，然后改成一行的，就报解析json的错误，具体如下：
#1251

[xpluspro]

单卡可以跑64k+1k，启动命令如下：

#!/bin/bash
set -e

rm -rf core.*

source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh
export ASCEND_RT_VISIBLE_DEVICES=15
export HCCL_IF_BASE_PORT=43432 # HCCL communication base port

MODEL_PATH="/export/home/models/Qwen3.5-4B" # Model path
MASTER_NODE_ADDR="127.0.0.1:9748" # Master node address (must be globally consistent)
START_PORT=18000 # Service starting port
START_DEVICE=0 # Starting logical device number
LOG_DIR="log" # Log directory
NNODES=1 # Number of nodes (current script launches 1 process)

mkdir -p $LOG_DIR

for (( i=0; i<$NNODES; i++ ))
do
PORT=$((START_PORT + i))
DEVICE=$((START_DEVICE + i))
LOG_FILE="$LOG_DIR/node_$i.log"
/export/home/xllm/build/xllm/core/server/xllm
--model $MODEL_PATH
--devices="npu:$DEVICE"
--port $PORT
--master_node_addr=$MASTER_NODE_ADDR
--nnodes=$NNODES
--max_memory_utilization=0.45
--block_size=128
--communication_backend="hccl"
--enable_prefix_cache=false
--enable_chunked_prefill=false
--enable_schedule_overlap=false
--max_tokens_per_batch=262144
--node_rank=$i \ > $LOG_FILE 2>&1 &
done

能跑是指能正常发送64k input的请求然后得到1k的output吗，你们有用你们的测试脚本test_xllm.py试过吗

[XuZhang99]

单卡可以跑64k+1k，启动命令如下：
#!/bin/bash
set -e
rm -rf core.*
source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh
export ASCEND_RT_VISIBLE_DEVICES=15
export HCCL_IF_BASE_PORT=43432 # HCCL communication base port
MODEL_PATH="/export/home/models/Qwen3.5-4B" # Model path
MASTER_NODE_ADDR="127.0.0.1:9748" # Master node address (must be globally consistent)
START_PORT=18000 # Service starting port
START_DEVICE=0 # Starting logical device number
LOG_DIR="log" # Log directory
NNODES=1 # Number of nodes (current script launches 1 process)
mkdir -p $LOG_DIR
for (( i=0; i<$NNODES; i++ ))
do
PORT=$((START_PORT + i))
DEVICE=$((START_DEVICE + i))
LOG_FILE="$LOG_DIR/node_$i.log"
/export/home/xllm/build/xllm/core/server/xllm
--model $MODEL_PATH
--devices="npu:$DEVICE"
--port $PORT
--master_node_addr=$MASTER_NODE_ADDR
--nnodes=$NNODES
--max_memory_utilization=0.45
--block_size=128
--communication_backend="hccl"
--enable_prefix_cache=false
--enable_chunked_prefill=false
--enable_schedule_overlap=false
--max_tokens_per_batch=262144
--node_rank=$i \ > $LOG_FILE 2>&1 &
done

能跑是指能正常发送64k input的请求然后得到1k的output吗，你们有用你们的测试脚本test_xllm.py试过吗

就是用test_xllm.py测试的，单卡64G显存910B

[drink-less-milktea]

@XuZhang99请问这个同时910B4(32GB)显存条件下运行的么？我们之前单卡测试32k上下文，观察npu的资源占用率就已经非常极限了

也就是说，你们单卡32GB就可以跑32k，但是跑不了64k是吗？

目前来说是的

那请问你们是直接使用test_xllm.py吗？有修改吗？我们都跑不起来，很奇怪

是修改的，我们只是修改了一些启动脚本的参数，test_xllm 没有

你们用的zsh？bash？命令也就是这种带反斜杠的吗？我们跑源码，报反斜杠不接受，然后改成一行的，就报解析json的错误，具体如下： #1251

我们用的是 bash，我们的启动参数如下：

python /path/to/xllm/test_xllm.py
--backend xllm
--dataset-name random
--random-range-ratio 1
--num-prompts 1
--max-concurrency 1
--random-input-len 20000
--random-output-len 1024
--host 127.0.0.1
--port 18000
--dataset-path /path/to/ShareGPT_V3_unfiltered_cleaned_split.json
--model /path/to/Qwen3.5-4B

random-input-len 和 random-ouput-len 可以灵活修改

xllm 的启动脚本如下：
#!/bin/bash
set -e

rm -rf core.*

source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh
export ASCEND_RT_VISIBLE_DEVICES=4,5
export HCCL_IF_BASE_PORT=43432

MODEL_PATH="/path/to/Qwen3.5-4B"
MASTER_NODE_ADDR="127.0.0.1:9748"
START_PORT=18000
START_DEVICE=0
LOG_DIR="log"
NNODES=1

mkdir -p $LOG_DIR

for (( i=0; i<$NNODES; i++ ))
do
PORT=$((START_PORT + i))
DEVICE=$((START_DEVICE + i))
LOG_FILE="$LOG_DIR/node_$i.log"
/path/to/xllm/build/xllm/core/server/xllm
--model $MODEL_PATH
--devices="npu:$DEVICE"
--port $PORT
--master_node_addr=$MASTER_NODE_ADDR
--nnodes=$NNODES
--max_memory_utilization=0.59
--block_size=128
--communication_backend="hccl"
--enable_prefix_cache=false
--enable_chunked_prefill=false
--enable_schedule_overlap=false
--enable_shm=false
--max_tokens_per_batch=131072
--node_rank=$i > $LOG_FILE 2>&1 &
done