判断文件是否下载完成逻辑需要优化

[hoiliong]

目前遇到的问题是$accession.metadata.tsv下载失败, 但是生成了空的文件,
在下一步下载序列的时候, 有时候会通过-f $accession.metadata.tsv判断的,
由此跳过了未下载的文件,
metadata.tsv和序列没有必然联系, 建议改成判断序列目标文件是否存在

ps: 貌似文件下载成功还是失败, 程序返回值都是正常结束, 对外部脚本调用程序不太友好

[BioOmics]

感谢提出这个bug，目前已经将-f修复为了-s

if [[ -s ${accession}.metadata.csv/tsv ]]; then
    echo -e "\033[32mNote\033[0m: ${accession}.metadata.csv exists, skip downloading metadata for $accession"
else
    getGSAMetadata $accession # or getSRAMetadata $accession
    CheckFile $accession.metadata.csv/tsv 
fi

预计1天后，bioconda上会同步更新，届时可以使用v1.9.0

---

另外，metadata.tsv中包含了要下载的文件名，下载链接(有些没有)，MD5等重要的信息，
由于accession格式和名字千奇百怪，格式除了fq还可能有bam,vcf等等，
名字除了*_1.fastq.gz,_2.fastq.gz还可能有subreads.fastq.gz（HiFi）等等
因此，简单的办法就是直接去metadata.tsv里面抓取，以应对未来测序格式和名字再次变化的困扰

总而言之，metadata.tsv是下载序列信息的基础，也是必要的，不能没有。

不过，你的哪个accession下载时为空倒是可以发我看看，我看是否有优化的空间

---

iSeq在执行的时候遇到文件下载失败或者其他报错一般都会有exit 1的异常退出，外部脚本需要写代码捕获异常，如if [[ $? -eq 0 ]]; then....，否则bash脚本中嵌套的脚本即使exit 1异常退出，你自己的脚本由于没有捕获异常依旧会向下继续运行，而不会使整个脚本退出。如果你希望外层脚本在内层脚本任何命令失败时自动退出，除了捕获异常也可以使用 set -e。

当您遇到iSeq报错没有退出的情况，可以告诉我具体的命令和运行log，看是否我遗漏了一些。

[hoiliong]

感谢提出这个bug，目前已经将-f修复为了-s

if [[ -s ${accession}.metadata.csv/tsv ]]; then
echo -e "\033[32mNote\033[0m: ${accession}.metadata.csv exists, skip downloading metadata for $accession"
else
getGSAMetadata $accession # or getSRAMetadata $accession
CheckFile $accession.metadata.csv/tsv
fi
预计1天后，bioconda上会同步更新，届时可以使用v1.9.0

另外，metadata.tsv中包含了要下载的文件名，下载链接(有些没有)，MD5等重要的信息， 由于accession格式和名字千奇百怪，格式除了fq还可能有bam,vcf等等， 名字除了*_1.fastq.gz,__2.fastq.gz还可能有_subreads.fastq.gz（HiFi）等等 因此，简单的办法就是直接去metadata.tsv里面抓取，以应对未来测序格式和名字再次变化的困扰

总而言之，metadata.tsv是下载序列信息的基础，也是必要的，不能没有。

不过，你的哪个accession下载时为空倒是可以发我看看，我看是否有优化的空间

iSeq在执行的时候遇到文件下载失败或者其他报错一般都会有exit 1的异常退出，外部脚本需要写代码捕获异常，如if [[ $? -eq 0 ]]; then....，否则bash脚本中嵌套的脚本即使exit 1异常退出，你自己的脚本由于没有捕获异常依旧会向下继续运行，而不会使整个脚本退出。如果你希望外层脚本在内层脚本任何命令失败时自动退出，除了捕获异常也可以使用 set -e。

当您遇到iSeq报错没有退出的情况，可以告诉我具体的命令和运行log，看是否我遗漏了一些。

今天用最新版1.9.0测试的, 代码如下
parallel -j 1 --resume-failed --joblog parallel.log iSeq/bin/iseq -i {} -a -g -o result/{} -s 10 ::: SRR29321767 SRR29321646
下载完第一个任务的时候, 因为不好模拟任务下载失败场景, 手动kill第二个任务, iseq的第二个任务提示如下,
Session Stop (Error: User aborted session) SRR29321646 download failed, save Run ID in fail.log =======================SRR29321646 download finished=======================
上面提示基本符合预期, 但是parallel.log的结果如下:
Seq Host Starttime JobRuntime Send Receive Exitval Signal Command
1 : 1745372141.219 15.188 0 486 0 0 iSeq/bin/iseq -i SRR29321767 -a -g -o result/SRR29321767 -s 10
2 : 1745372156.943 11.210 0 430 0 0 iSeq/bin/iseq -i SRR29321646 -a -g -o result/SRR29321646 -s 10
Exitval退出值是0, 正常失败任务应该非0的, 再次执行上述parallel命令不会再下载失败文件

好像发现问题了, checkSRA函数没有像checkGSA函数在写fail.log后exit 1

[BioOmics]

谢谢

目前已经在此处(4d0170e)增加exit 1

[hoiliong]

谢谢

目前已经在此处(4d0170e)增加exit 1

我用最新代码测试了下, 还是有问题, 我上面提的地方应该不准确,
后边发现,

accession=SRR29321646
awk -vFS="\t" 'NR>1 {print $1}' $accession.metadata.tsv | while read SRR; do
    exit 4
done
echo 3

for SRR in $(sed 1d $accession.metadata.tsv | cut -f 1); do
   exit 2
done
echo 1

这段代码的实际输出是3, 所以导致错误任务返回值是0的代码是iseq的933行代码导致的,
后边的for循环不会有这种问题,
建议用for替代while, 或者换别的实现形式

[BioOmics]

再次感谢

您提出的这个问题确实很好，以前我没有考虑到while循环会开启一个子shell，而for不会，
因此，我将脚本中所有潜在的while都替换为了for循环: 3a095f5

您可以将最新的脚本替换，有类似的bug欢迎随时反馈，这些问题将在下个版本统一修改。

[BioOmics]

考虑到您的贡献，下次反馈时可以直接Pull requests，
以方便我们merge您的修改建议，
并将您加入到iSeq的Contributors列表中，用来在主页直接显示您的贡献

再次感谢😀