tegnike · tegnike · Apr 1, 2025 · Mar 11, 2025 · Mar 11, 2025 · Mar 13, 2025
diff --git a/.cursorrules b/.cursorrules
@@ -237,6 +237,16 @@ aituber-kit/
 - docs/license-faq_en.md
 - docs/license-faq_ko.md
 - docs/license-faq_zh.md
+
+## 音声関連ファイル
+- src/utils/voiceLanguage.ts
+- src/components/messageInputContainer.tsx
+- src/components/messageInput.tsx
+- src/hooks/useSilenceDetection.ts
+- src/hooks/useVoiceRecognition.ts
+- src/utils/audioProcessing.ts
+- src/utils/audioBufferManager.ts
+
 ---
 
 以上の内容を順守し、タスクを遂行してください。
diff --git a/.env.example b/.env.example
@@ -14,6 +14,10 @@
 # hi: ヒンディー語/Hindi, pl: ポーランド語/Polish, th: タイ語/Thai
 NEXT_PUBLIC_SELECT_LANGUAGE="en"
 
+# 英単語を日本語で読み上げる設定（true/false） /
+# Setting to read English words in Japanese (true/false)
+NEXT_PUBLIC_CHANGE_ENGLISH_TO_JAPANESE="false"
+
 # 背景画像のパス / Background image path
 NEXT_PUBLIC_BACKGROUND_IMAGE_PATH="/bg-c.png"
 
@@ -26,6 +30,11 @@ NEXT_PUBLIC_SHOW_CHARACTER_NAME="true"
 # 操作パネル表示設定（true/false） / Control panel display settings (true/false)
 NEXT_PUBLIC_SHOW_CONTROL_PANEL="true"
 
+# キャラクタープリセットメニュー表示設定（true/false） / 
+# Character preset menu display settings (true/false)
+
+NEXT_PUBLIC_SHOW_CHARACTER_PRESET_MENU=true
+
 # 紹介画面の表示設定（true/false） / Introduction screen display settings (true/false)
 NEXT_PUBLIC_SHOW_INTRODUCTION="true"
 
@@ -39,8 +48,19 @@ NEXT_PUBLIC_CHARACTER_NAME="ニケちゃん"
 # 使用するモデルタイプ（vrm または live2d） / Model type to use (vrm or live2d)
 NEXT_PUBLIC_MODEL_TYPE="vrm"
 
-# システムプロンプト / System prompt
-NEXT_PUBLIC_SYSTEM_PROMPT="あなたはニケという名前のAIアシスタントです。親しみやすく、明るい性格で話してください。適宜次のような感情タグを使って表情や声のトーンを変えてください。[neutral] - 通常の表情、[happy] - 嬉しい表情、[sad] - 悲しい表情、[angry] - 怒りの表情、[relaxed] - リラックスした表情"
+# カスタムプリセット名 / Custom preset name
+NEXT_PUBLIC_CUSTOM_PRESET_NAME1="Preset 1"
+NEXT_PUBLIC_CUSTOM_PRESET_NAME2="Preset 2"
+NEXT_PUBLIC_CUSTOM_PRESET_NAME3="Preset 3"
+NEXT_PUBLIC_CUSTOM_PRESET_NAME4="Preset 4"
+NEXT_PUBLIC_CUSTOM_PRESET_NAME5="Preset 5"
+
+# キャラクタープリセット / Character preset
+NEXT_PUBLIC_CHARACTER_PRESET1=""
+NEXT_PUBLIC_CHARACTER_PRESET2=""
+NEXT_PUBLIC_CHARACTER_PRESET3=""
+NEXT_PUBLIC_CHARACTER_PRESET4=""
+NEXT_PUBLIC_CHARACTER_PRESET5=""
 
 # 選択するVRMモデルのパス / Path to the selected VRM model
 NEXT_PUBLIC_SELECTED_VRM_PATH="/vrm/default.vrm"
@@ -56,6 +76,7 @@ NEXT_PUBLIC_HAPPY_EMOTIONS="Happy,Happy2"
 NEXT_PUBLIC_SAD_EMOTIONS="Sad,Sad2,Troubled"
 NEXT_PUBLIC_ANGRY_EMOTIONS="Angry,Focus"
 NEXT_PUBLIC_RELAXED_EMOTIONS="Relaxed"
+NEXT_PUBLIC_SURPRISED_EMOTIONS="Neutral"
 
 # Live2Dモーショングループ設定 / Live2D motion group settings
 NEXT_PUBLIC_IDLE_MOTION_GROUP="Idle"
@@ -64,14 +85,14 @@ NEXT_PUBLIC_HAPPY_MOTION_GROUP="Happy"
 NEXT_PUBLIC_SAD_MOTION_GROUP="Sad"
 NEXT_PUBLIC_ANGRY_MOTION_GROUP="Angry"
 NEXT_PUBLIC_RELAXED_MOTION_GROUP="Relaxed"
-
+NEXT_PUBLIC_SURPRISED_MOTION_GROUP="Neutral"
 #===============================================================================
 # AI設定 / AI Settings
 #===============================================================================
 
 # AIサービスの選択 / AI service selection
 # openai, anthropic, google, azure, groq, cohere, mistralai,
-# perplexity, fireworks, deepseek, localLlm, dify
+# perplexity, fireworks, deepseek, lmstudio, ollama, dify
 NEXT_PUBLIC_SELECT_AI_SERVICE="openai"
 
 # 選択するAIモデル名 / Selected AI model name
@@ -134,6 +155,13 @@ DIFY_API_KEY=""
 # Dify API URL
 DIFY_URL=""
 
+# カスタムAPI URL / Custom API URL
+NEXT_PUBLIC_CUSTOM_API_URL=""
+# カスタムAPIヘッダー / Custom API headers
+NEXT_PUBLIC_CUSTOM_API_HEADERS=""
+# カスタムAPIボディ / Custom API body
+NEXT_PUBLIC_CUSTOM_API_BODY=""
+
 #===============================================================================
 # リアルタイムAPI設定 / Realtime API Settings
 #===============================================================================
@@ -178,7 +206,7 @@ NEXT_PUBLIC_AUDIO_MODE_VOICE="alloy"
 NEXT_PUBLIC_EXTERNAL_LINKAGE_MODE="false"
 
 #===============================================================================
-# 音声設定 / Voice Settings
+# 合成音声設定 / Voice Settings
 #===============================================================================
 
 # 使用する音声合成エンジン / Voice synthesis engine to use
@@ -280,6 +308,32 @@ NEXT_PUBLIC_NIJIVOICE_EMOTIONAL_LEVEL="0.0"
 # 音声の長さ / Sound duration
 NEXT_PUBLIC_NIJIVOICE_SOUND_DURATION="1.0"
 
+#===============================================================================
+# 音声入力 / Speech Input Settings
+#===============================================================================
+
+# 音声認識モード（browser, whisper） / Speech recognition mode (browser, whisper)
+NEXT_PUBLIC_SPEECH_RECOGNITION_MODE=browser
+
+# 音声認識タイムアウト（秒） / Speech recognition timeout (seconds)
+NEXT_PUBLIC_INITIAL_SPEECH_TIMEOUT=5.0
+
+# 無音検出タイムアウト（秒） / Silence detection timeout (seconds)
+NEXT_PUBLIC_NO_SPEECH_TIMEOUT=2.0
+
+# 無音プログレスバー表示（true/false） / Show silence progress bar (true/false)
+NEXT_PUBLIC_SHOW_SILENCE_PROGRESS_BAR=true
+
+# 常時マイク入力モード（true/false） / Continuous microphone listening mode (true/false)
+NEXT_PUBLIC_CONTINUOUS_MIC_LISTENING_MODE=false
+
+# OpenAI APIキー（OpenAI TTSモード用） / OpenAI API key (for OpenAI TTS mode)
+NEXT_PUBLIC_OPENAI_KEY=
+
+# 文字起こしモデル（whisper-1, gpt-4o-transcribe, gpt-4o-mini-transcribe） /
+# Transcription model (whisper-1, gpt-4o-transcribe, gpt-4o-mini-transcribe)
+NEXT_PUBLIC_WHISPER_TRANSCRIPTION_MODEL=whisper-1
+
 #===============================================================================
 # YouTube設定 / YouTube Settings
 #===============================================================================
@@ -310,17 +364,18 @@ NEXT_PUBLIC_SLIDE_MODE="false"
 # Setting to use video as background (true/false)
 NEXT_PUBLIC_USE_VIDEO_AS_BACKGROUND="false"
 
-# 英単語を日本語で読み上げる設定（true/false） /
-# Setting to read English words in Japanese (true/false)
-NEXT_PUBLIC_CHANGE_ENGLISH_TO_JAPANESE="false"
-
 # タイムスタンプ含有設定（true/false） /
 # Setting to include timestamp in user message (true/false)
 NEXT_PUBLIC_INCLUDE_TIMESTAMP_IN_USER_MESSAGE="false"
 
-# 無音検出タイムアウト（秒） / No speech detection timeout (seconds)
-NEXT_PUBLIC_NO_SPEECH_TIMEOUT="2.0"
-
 # 外部指示受け付け有効化設定（true/false） /
 # Setting to enable external instruction reception (true/false)
 NEXT_PUBLIC_MESSAGE_RECEIVER_ENABLED="false"
+
+# プリセット質問表示設定（true/false） /
+# Setting to display preset questions (true/false)
+NEXT_PUBLIC_SHOW_PRESET_QUESTIONS=false
+
+# プリセット質問（カンマ区切りで複数指定可能） /
+# Preset questions (multiple can be specified with commas)
+NEXT_PUBLIC_PRESET_QUESTIONS=
diff --git a/.eslintrc.json b/.eslintrc.json
@@ -4,5 +4,10 @@
   "rules": {
     "prettier/prettier": "error"
   },
-  "ignorePatterns": ["public/scripts/*", "scripts/**", ".mypy_cache/**"]
+  "ignorePatterns": [
+    "public/scripts/*",
+    "scripts/**",
+    ".mypy_cache/**",
+    "website/**"
+  ]
 }
diff --git a/.github/workflows/locale-updater.yml b/.github/workflows/locale-updater.yml
@@ -1,7 +1,7 @@
 name: Locale Files Updater
 
 on:
-  pull_request:
+  pull_request_target:
     types: [opened, synchronize, reopened]
     branches:
       - develop
@@ -20,7 +20,8 @@ jobs:
         uses: actions/checkout@v3
         with:
           fetch-depth: 0 # 履歴を全て取得して差分比較に使用
-          ref: ${{ github.event.pull_request.head.ref }} # PRのブランチをチェックアウト
+          ref: ${{ github.head_ref || github.event.pull_request.head.ref }} # より堅牢なブランチ参照方法
+          repository: ${{ github.event.pull_request.head.repo.full_name }} # フォークリポジトリを明示的に指定
 
       - name: Set up Python
         uses: actions/setup-python@v4
@@ -52,4 +53,10 @@ jobs:
             exit 0
           fi
           git commit -m "update locale files"
-          git push origin ${{ github.event.pull_request.head.ref }}
+
+          # PRの場合はPRのブランチに、それ以外は現在のブランチにプッシュ
+          if [ -n "${{ github.head_ref }}" ]; then
+            git push origin HEAD:${{ github.head_ref }}
+          else
+            git push origin HEAD:${{ github.event.pull_request.head.ref }}
+          fi
diff --git a/README.md b/README.md
@@ -43,7 +43,10 @@
 
 ## 概要
 
-AITuberKitは、誰でも簡単にAIキャラクターとチャットできるWebアプリケーションを構築できるオープンソースのツールキットです。AIキャラクターとの対話機能とAITuber配信機能を中心に、様々な拡張機能を備えています。
+AITuberKitは、誰でも簡単にAIキャラクターとチャットできるWebアプリケーションを構築できるオープンソースのツールキットです。<br>
+豊富なAIサービス、キャラクターモデル、音声合成エンジンに対応し、高いカスタマイズ性を備えた対話機能とAITuber配信機能を中心に、様々な拡張モードを提供しています。
+
+<img src="./docs/images/architecture.svg" alt="AITuberKit Architecture">
 
 詳細な使用方法や設定方法については、[ドキュメントサイト](https://docs.aituberkit.com/)をご覧ください。
 
@@ -242,6 +245,18 @@ cp .env.example .env
   <a href="https://github.com/micchi99" title="micchi99">
     <img src="https://github.com/micchi99.png" width="40" height="40" alt="micchi99">
   </a>
+  <a href="https://github.com/nekomeowww" title="nekomeowww">
+    <img src="https://github.com/nekomeowww.png" width="40" height="40" alt="nekomeowww">
+  </a>
+  <a href="https://github.com/yfuku" title="yfuku">
+    <img src="https://github.com/yfuku.png" width="40" height="40" alt="yfuku">
+  </a>
+  <a href="https://x.com/8484ff_42" title="8484ff_42">
+    <img src="https://pbs.twimg.com/profile_images/1869378029786656768/m_K1Cjqx_normal.jpg" width="40" height="40" alt="8484ff_42">
+  </a>
+  <a href="https://github.com/sher1ock-jp" title="sher1ock-jp">
+    <img src="https://github.com/sher1ock-jp.png" width="40" height="40" alt="sher1ock-jp">
+  </a>
 </p>
 
 他、プライベートスポンサー 複数名

diff --git a/docs/README_en.md b/docs/README_en.md
@@ -44,6 +44,9 @@
 ## Overview
 
 AITuberKit is an open-source toolkit that allows anyone to easily build a web application for chatting with AI characters. It features various extensions centered around interaction with AI characters and AITuber streaming functionality.
+It supports a wide range of AI services, character models, and voice synthesis engines, with high customization options centered around dialogue and AITuber streaming functionality.
+
+<img src="./images/architecture_en.svg" alt="AITuberKit Architecture">
 
 For detailed usage and configuration instructions, please visit the [Documentation Site](https://docs.aituberkit.com/en/).
 
@@ -242,6 +245,18 @@ Your support greatly contributes to the development and improvement of AITuberKi
   <a href="https://github.com/micchi99" title="micchi99">
     <img src="https://github.com/micchi99.png" width="40" height="40" alt="micchi99">
   </a>
+  <a href="https://github.com/nekomeowww" title="nekomeowww">
+    <img src="https://github.com/nekomeowww.png" width="40" height="40" alt="nekomeowww">
+  </a>
+  <a href="https://github.com/yfuku" title="yfuku">
+    <img src="https://github.com/yfuku.png" width="40" height="40" alt="yfuku">
+  </a>
+  <a href="https://x.com/8484ff_42" title="8484ff_42">
+    <img src="https://pbs.twimg.com/profile_images/1869378029786656768/m_K1Cjqx_normal.jpg" width="40" height="40" alt="8484ff_42">
+  </a>
+  <a href="https://github.com/sher1ock-jp" title="sher1ock-jp">
+    <img src="https://github.com/sher1ock-jp.png" width="40" height="40" alt="sher1ock-jp">
+  </a>
 </p>
 
 Plus multiple private sponsors

diff --git a/docs/README_ko.md b/docs/README_ko.md
@@ -43,7 +43,10 @@
 
 ## 개요
 
-AITuberKit은 누구나 쉽게 AI 캐릭터와 채팅할 수 있는 웹 애플리케이션을 구축할 수 있는 오픈소스 툴킷입니다. AI 캐릭터와의 대화 기능과 AITuber 방송 기능을 중심으로 다양한 확장 기능을 제공합니다.
+AITuberKit은 누구나 쉽게 AI 캐릭터와 채팅할 수 있는 웹 애플리케이션을 구축할 수 있는 오픈소스 툴킷입니다.<br>
+다양한 AI 서비스, 캐릭터 모델, 음성 합성 엔진을 지원하며, 높은 커스터마이징 기능을 갖춘 대화 기능과 AITuber 방송 기능을 중심으로 다양한 확장 모드를 제공합니다.
+
+<img src="./images/architecture_en.svg" alt="AITuberKit Architecture">
 
 자세한 사용 방법과 설정 방법은 [문서 사이트](https://docs.aituberkit.com/en/)를 참조해 주시기 바랍니다.
 
@@ -242,6 +245,18 @@ cp .env.example .env
   <a href="https://github.com/micchi99" title="micchi99">
     <img src="https://github.com/micchi99.png" width="40" height="40" alt="micchi99">
   </a>
+  <a href="https://github.com/nekomeowww" title="nekomeowww">
+    <img src="https://github.com/nekomeowww.png" width="40" height="40" alt="nekomeowww">
+  </a>
+  <a href="https://github.com/yfuku" title="yfuku">
+    <img src="https://github.com/yfuku.png" width="40" height="40" alt="yfuku">
+  </a>
+  <a href="https://x.com/8484ff_42" title="8484ff_42">
+    <img src="https://pbs.twimg.com/profile_images/1869378029786656768/m_K1Cjqx_normal.jpg" width="40" height="40" alt="8484ff_42">
+  </a>
+  <a href="https://github.com/sher1ock-jp" title="sher1ock-jp">
+    <img src="https://github.com/sher1ock-jp.png" width="40" height="40" alt="sher1ock-jp">
+  </a>
 </p>
 
 기타 프라이빗 스폰서 다수

diff --git a/docs/README_pl.md b/docs/README_pl.md
@@ -43,7 +43,10 @@
 
 ## Przegląd
 
-AITuberKit to zestaw narzędzi open source, który pozwala każdemu łatwo stworzyć aplikację internetową do czatowania z postaciami AI. Oferuje różne funkcje rozszerzające, koncentrując się na interakcji z postaciami AI i funkcjach streamingu AITuber.
+AITuberKit to zestaw narzędzi open source, który pozwala każdemu łatwo zbudować aplikację internetową do czatowania z postaciami AI.<br>
+Obsługuje różnorodne usługi AI, modele postaci i silniki syntezy mowy, oferując różne tryby rozszerzeń, koncentrując się na funkcjach dialogowych i streamingowych AITuber z wysokim stopniem personalizacji.
+
+<img src="./images/architecture_en.svg" alt="AITuberKit Architecture">
 
 Szczegółowe instrukcje użytkowania i konfiguracji można znaleźć w [dokumentacji](https://docs.aituberkit.com/en/).
 
@@ -242,6 +245,18 @@ Twoje wsparcie znacząco przyczyni się do rozwoju i ulepszania AITuberKit.
   <a href="https://github.com/micchi99" title="micchi99">
     <img src="https://github.com/micchi99.png" width="40" height="40" alt="micchi99">
   </a>
+  <a href="https://github.com/nekomeowww" title="nekomeowww">
+    <img src="https://github.com/nekomeowww.png" width="40" height="40" alt="nekomeowww">
+  </a>
+  <a href="https://github.com/yfuku" title="yfuku">
+    <img src="https://github.com/yfuku.png" width="40" height="40" alt="yfuku">
+  </a>
+  <a href="https://x.com/8484ff_42" title="8484ff_42">
+    <img src="https://pbs.twimg.com/profile_images/1869378029786656768/m_K1Cjqx_normal.jpg" width="40" height="40" alt="8484ff_42">
+  </a>
+  <a href="https://github.com/sher1ock-jp" title="sher1ock-jp">
+    <img src="https://github.com/sher1ock-jp.png" width="40" height="40" alt="sher1ock-jp">
+  </a>
 </p>
 
 Plus kilku prywatnych sponsorów

diff --git a/docs/README_zh.md b/docs/README_zh.md
@@ -43,7 +43,10 @@
 
 ## 概述
 
-AITuberKit是一个开源工具包，允许任何人轻松构建可与AI角色聊天的Web应用程序。它围绕AI角色交互功能和AITuber直播功能提供各种扩展功能。
+AITuberKit是一个开源工具包，任何人都可以轻松构建能与AI角色聊天的Web应用程序。<br>
+它支持丰富的AI服务、角色模型和语音合成引擎，提供高度可定制的对话功能和AITuber直播功能，以及各种扩展模式。
+
+<img src="./images/architecture_en.svg" alt="AITuberKit Architecture">
 
 有关详细使用方法和配置说明，请访问[文档网站](https://docs.aituberkit.com/zh/)。
 
@@ -242,6 +245,18 @@ cp .env.example .env
   <a href="https://github.com/micchi99" title="micchi99">
     <img src="https://github.com/micchi99.png" width="40" height="40" alt="micchi99">
   </a>
+  <a href="https://github.com/nekomeowww" title="nekomeowww">
+    <img src="https://github.com/nekomeowww.png" width="40" height="40" alt="nekomeowww">
+  </a>
+  <a href="https://github.com/yfuku" title="yfuku">
+    <img src="https://github.com/yfuku.png" width="40" height="40" alt="yfuku">
+  </a>
+  <a href="https://x.com/8484ff_42" title="8484ff_42">
+    <img src="https://pbs.twimg.com/profile_images/1869378029786656768/m_K1Cjqx_normal.jpg" width="40" height="40" alt="8484ff_42">
+  </a>
+  <a href="https://github.com/sher1ock-jp" title="sher1ock-jp">
+    <img src="https://github.com/sher1ock-jp.png" width="40" height="40" alt="sher1ock-jp">
+  </a>
 </p>
 
 此外还有多位私人赞助者

diff --git a/docs/character_model_licence.md b/docs/character_model_licence.md
@@ -16,7 +16,13 @@
 
 ## 著作権
 
-これらのVRMモデルおよびLive2Dモデルの著作権は、各モデルの制作者に帰属します。
+### VRMモデル
+
+VRMモデルの著作権は開発者に帰属します。ただし、著作人格権は各モデルの制作者に帰属します。
+
+### Live2Dモデル
+
+Live2Dモデルの著作権は、モデルの制作者に帰属します。
 
 ## 許可される利用
 
@@ -26,12 +32,16 @@
 
 ## 禁止される利用
 
-- 商業目的での使用、販売、またはレンタル（事前の書面による許可がない場合）
+以下の行為は原則として禁止されますが、VRMモデルについては開発者の事前の許諾を得ることで、部分的に許可される可能性があります：
+
+- 商業目的での使用、販売、またはレンタル
 - モデルの改変や派生作品の作成とそれらの配布
 - 第三者に対する再配布
 - 本リポジトリやモデルの所有者の名誉や信用を毀損する方法での使用
 - 公序良俗に反する方法での使用
 
+なお、Live2Dモデルについては、上記の禁止事項は一切の例外なく適用されます。
+
 ## 免責事項
 
 これらのVRMモデルおよびLive2Dモデルは「現状有姿」で提供され、特定の目的への適合性、非侵害性の保証はありません。モデル使用によって生じたいかなる損害に対しても、リポジトリの所有者は一切の責任を負いません。