Fix typo

Author: hadh93

intermediate_source/optimizer_step_in_backward_tutorial.py

@@ -8,7 +8,7 @@
 방법을 소개합니다. 모델이 있는 상황에서 메모리 부족(Out of Memory, OOM)
 오류를 방지하고 싶거나, GPU의 성능을 최대한 활용하고 싶은 경우 이 방법이 
 도움이 될 수 있습니다. (변화도가 메모리의 일부(partition)를 차지하고 있으며,
-변화도 누적(accumulation)이 필요하지 않은 경우라면 말입니다.)
+변화도 누적(accumulation)이 필요하지 않은 경우라면 말입니다)
 이 튜토리얼은 다음 내용을 다룹니다:
 
 1. 학습 또는 미세조정(finetuning) 루프 중 메모리를 차지하는 요소들,
@@ -23,7 +23,7 @@
    메모리 시각화를 제외하면 이 방법은 모든 장치에서 유사한 이점을 제공합니다.
 
 먼저 필요한 모듈과 모델을 import 하겠습니다. 여기에서는 torchvision의 비전 
-트랜스포머 모델을 사용하지만, 다른 모델로 대체해도 좋습니다.또 옵티마이저로 
+트랜스포머 모델을 사용하지만, 다른 모델로 대체해도 좋습니다. 또 옵티마이저로 
 ``torch.optim.Adam`` 을 사용하지만, 마찬가지로 다른 옵티마이저로 대체해도 
 됩니다.
 
@@ -99,8 +99,8 @@ def train(model, optimizer):
 # 
 # 모델 파라미터는 이미 학습 루프 이전에 메모리에 로드되었으므로,
 # 처음부터 가중치(weights)에 할당된 메모리 덩어리가 보입니다.
-# 순전파를 시작하면, 메모리는 활성화값을 위해 점차 할당됩니다.
-# 이 활성화값은 역전파 단계에서 변화도를 계산하기 위해 저장하는 tensor입니다.
+# 순전파를 시작하면, 메모리는 활성화 값을 위해 점차 할당됩니다.
+# 이 활성화 값은 역전파 단계에서 변화도를 계산하기 위해 저장하는 tensor입니다.
 # 역전파를 시작하면, 활성화 값이 점차 해제되면서 변화도가 차지하는 메모리가
 # 쌓이기 시작합니다.
 # 
@@ -120,10 +120,10 @@ def train(model, optimizer):
 # 사실, ``Adam(model.parameters(), foreach=False)`` 로 설정하면 옵티마이저 중간
 # 메모리인 마지막 1.2GB를 제거할 수 있는데, 이는 메모리 대신 실행 시간을 희생하는 
 # 방식입니다. 만약 이 ``foreach`` 최적화만으로도 충분히 필요한만큼 메모리가 절약되었다면
-# 잘 된 일이지만, 더 나은 방법에 대해 알고싶다면 이 튜토리얼을 계속 읽어보세요!
+# 잘된 일이지만, 더 나은 방법에 대해 알고 싶다면 이 튜토리얼을 계속 읽어보세요!
 # 
 # 이제 곧 소개할 방법을 사용한다면, ~1.2GB의 **변화도 메모리** 와 **옵티마이저 중간 
-# 단계 메모리** 가 필요없게 되어 최대 메모리 사용량을 낮출 수 있습니다.
+# 단계 메모리** 가 필요 없게 되어 최대 메모리 사용량을 낮출 수 있습니다.
 # 그렇다면, 새로운 최대 메모리 사용량은 얼마가 될까요?
 # 정답은 `다음` 스냅샷에서 공개됩니다.
 #
@@ -134,9 +134,9 @@ def train(model, optimizer):
 # 옵티마이저 단계를 역전파 과정에 합치는 이 방법은 *변화도* 메모리의 감소만을 목표로 
 # 합니다 (그리고 부수적으로 옵티마이저 중간 단계 메모리도 줄입니다). 
 # 따라서 변화도가 차지하는 메모리가 클수록, 메모리 절감 효과가 더욱 커집니다. 
-# 위의 예시에서 변화도는 메모리 총량의 20%를 차지하는데, 
-# 이는 꽤나 큰 비율이죠!
-# 그러나 경우에 따라 이러한 상황에 해당하지 않을 수 있습니다. 예를 들어, 이미 
+# 위의 예시에서 변화도는 메모리 총량의 20%를 차지하는데, 이는 꽤나 큰 비율이죠!
+#
+# 그러나 때에 따라 이러한 상황에 해당하지 않을 수 있습니다. 예를 들어, 이미 
 # 가중치가 매우 작다면 (LoRa 적용 등의 이유로), 변화도가 학습 루프에서 공간을 많이 
 # 차지하지 않을 것이고, 그렇다면 이 방법의 이점이 그다지 크지 않을 수 있습니다.
 # 이런 경우에는 먼저 활성화 체크포인팅, 분산 학습, 양자화, 배치 크기 축소와 같은