fix rst syntax in ddp_pipeline.py

Author: spongebob03

advanced_source/ddp_pipeline.py

@@ -1,6 +1,6 @@
 """
 분산 데이터 병렬 처리와 파이프라인 병렬화를 사용한 트랜스포머 모델 학습
-====================================================================================
+=======================================================================
 
 **Author**: `Pritam Damania <https://github.com/pritamdamania87>`_
   **번역**: `백선희 <https://github.com/spongebob03>`_
@@ -22,14 +22,14 @@
 
 ######################################################################
 # 모델 정의하기
-# ----------------
+# -------------
 #
 
 ######################################################################
 # ``PositionalEncoding`` 모듈은 시퀀스에서 토큰의 상대적, 절대 위치에 대한 
 # 일부 정보를 주입합니다.
 # 위치 인코딩은 임베딩과 같은 차원을 가지므로
-# 둘을 합칠 수 있습니다. 여기서, 주파수가 다른 ``sine``과 ``cosine`` 기능을
+# 둘을 합칠 수 있습니다. 여기서, 주파수가 다른 ``sine`` 과 ``cosine`` 기능을
 # 사용합니다.
 
 import sys
@@ -73,7 +73,7 @@ def forward(self, x):
 # `nn.TransformerEncoder <https://pytorch.org/docs/stable/generated/torch.nn.TransformerEncoder.html>`__ 계층(layer)에 포함됩니다.
 # `nn.TransformerEncoder <https://pytorch.org/docs/stable/generated/torch.nn.TransformerEncoder.html>`__ 는
 # `nn.TransformerEncoderLayer <https://pytorch.org/docs/stable/generated/torch.nn.TransformerEncoderLayer.html>`__ 의 ``nlayers`` 로 구성되어 있습니다.
-# 결과적으로, 우리는 ``nn.TransformerEncoder`` 에 중점을 두고 있으며
+# 결과적으로, ``nn.TransformerEncoder`` 에 중점을 두고 있으며
 # ``nn.TransformerEncoderLayer`` 의 절반은 한 GPU에 두고
 # 나머지 절반은 다른 GPU에 있도록 모델을 분할합니다. 이를 위해서 ``Encoder`` 와
 # ``Decoder`` 섹션을 분리된 모듈로 빼낸 다음, 원본 트랜스포머 모듈을
@@ -122,20 +122,20 @@ def forward(self, inp):
 
 ######################################################################
 # 학습을 위한 다중 프로세스 시작
-# -------------------------------------
+# ------------------------------
 #
 
 
 ######################################################################
 # 각자 두 개의 GPU에서 자체 파이프라인을 구동하는 두 가지 프로세스를 시작합니다.
-# ``run_worker``는 각 프로세스에 실행됩니다.
+# ``run_worker`` 는 각 프로세스에 실행됩니다.
 
 def run_worker(rank, world_size):
 
 
 ######################################################################
 # 데이터 로드하고 배치 만들기
-# -------------------
+# ---------------------------
 #
 
 
@@ -210,7 +210,7 @@ def batchify(data, bsz, rank, world_size, is_train=False):
 
 ######################################################################
 # 입력과 타겟 시퀀스를 생성하기 위한 함수들
-# ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+# ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 #
 
 
@@ -239,15 +239,15 @@ def get_batch(source, i):
 
 ######################################################################
 # 모델 규모와 파이프 초기화
-# -----------------------------------
+# -------------------------
 #
 
 
 ######################################################################
 # 파이프라인 병렬화를 활용한 대형 트랜스포머 모델 학습을 증명하기 위해,
 # 트랜스포머 계층 규모를 적절히 확장시킵니다. We use an embedding
 # 4096차원의 임베딩 벡터, 4096의 은닉 사이즈, 16개의 어텐션 헤드(attention head)와  총 8 개의 
-#  트랜스포머 계층 (``nn.TransformerEncoderLayer``)를 사용합니다. 이는 최대
+# 트랜스포머 계층 (``nn.TransformerEncoderLayer``)를 사용합니다. 이는 최대
 # **~1 억** 개의 파라미터를 갖는 모델을 생성합니다.
 #
 # `RPC 프레임워크 <https://pytorch.org/docs/stable/rpc.html>`__ 를 초기화해야 합니다.
@@ -434,7 +434,7 @@ def evaluate(eval_model, data_source):
 
 ######################################################################
 # 평가 데이터셋으로 모델 평가하기
-# -------------------------------------
+# -------------------------------
 #
 # 평가 데이터셋에서의 결과를 확인하기 위해 최고의 모델을 적용합니다.