各プロバイダーの利用LLMを増やす、マルチモーダル対応も増やす

[tegnike]

対応手順

1. Vercel AI SDKの各プロバイダーのページから利用可能モデルを確認する。
2. 利用可能モデルをこのイシューに列挙する
3. さらにマルチモーダルが利用可能なモデルは更に別途列挙する
4. コードを修正する
5. コードを修正する時、現在マルチモーダルはプロバイダー単位で決められているのを、モデル単位にすることに注意する

https://ai-sdk.dev/providers/ai-sdk-providers

注意

• GoogleはGoogle Generative AIのことを指す。
• 対象は以下のLLMである。

- OpenAI
- Anthropic
- Google Gemini
- Azure OpenAI
- xAI
- Groq
- Cohere
- Mistral AI
- Perplexity
- Fireworks
- DeepSeek
- OpenRouter

[devin-ai-integration]

各プロバイダーの利用可能モデルとマルチモーダル対応調査

OpenAI

利用可能モデル

• chatgpt-4o-latest
• gpt-4o-mini-2024-07-18
• gpt-4o-2024-11-20
• gpt-4.5-preview-2025-02-27
• gpt-4.1-nano-2025-04-14
• gpt-4.1-mini-2025-04-14
• gpt-4.1-2025-04-14
• gpt-4o-audio-preview-2024-10-01
• gpt-4o-audio-preview-2024-12-17
• gpt-4o-mini-audio-preview-2024-12-17
• gpt-4o-realtime-preview-2024-10-01
• gpt-4o-realtime-preview-2024-12-17
• gpt-4o-mini-realtime-preview-2024-12-17
• gpt-4o-transcribe
• gpt-4o-mini-transcribe
• gpt-4o-mini-tts

マルチモーダル対応モデル

• chatgpt-4o-latest (テキスト、画像入力対応)
• gpt-4o-mini-2024-07-18 (テキスト、画像入力対応)
• gpt-4o-2024-11-20 (テキスト、画像入力対応)
• gpt-4.5-preview-2025-02-27 (テキスト、画像入力対応)
• gpt-4.1-nano-2025-04-14 (テキスト、画像入力対応)
• gpt-4.1-mini-2025-04-14 (テキスト、画像入力対応)
• gpt-4.1-2025-04-14 (テキスト、画像入力対応)

Anthropic

利用可能モデル

• claude-3-opus-20240229
• claude-3-7-sonnet-20250219
• claude-3-5-sonnet-20241022
• claude-3-5-haiku-20241022

マルチモーダル対応モデル

• claude-3-opus-20240229 (テキスト、画像入力対応)
• claude-3-7-sonnet-20250219 (テキスト、画像入力対応)
• claude-3-5-sonnet-20241022 (テキスト、画像入力対応)
• claude-3-5-haiku-20241022 (テキスト、画像入力対応)

Google Gemini

利用可能モデル

• gemini-2.5-pro-preview-05-06
• gemini-2.5-flash-preview-04-17
• gemini-2.5-pro-exp-03-25
• gemini-2.0-flash
• gemini-1.5-flash-latest
• gemini-1.5-flash-8b-latest
• gemini-1.5-pro-latest

マルチモーダル対応モデル

• gemini-2.5-pro-preview-05-06 (テキスト、画像、音声、ビデオ入力対応)
• gemini-2.5-flash-preview-04-17 (テキスト、画像、音声、ビデオ入力対応)
• gemini-2.5-pro-exp-03-25 (テキスト、画像、音声、ビデオ入力対応)
• gemini-2.0-flash (テキスト、画像、音声入力対応)
• gemini-1.5-flash-latest (テキスト、画像、音声入力対応)
• gemini-1.5-flash-8b-latest (テキスト、画像、音声入力対応)
• gemini-1.5-pro-latest (テキスト、画像、音声入力対応)

Mistral AI

利用可能モデル

• mistral-large-latest (mistral-large-2411)
• pixtral-large-latest (pixtral-large-2411)
• mistral-medium-latest (mistral-medium-2505)
• mistral-small-latest (mistral-small-2503)
• devstral-small-latest (devstral-small-2505)
• ministral-3b-latest (ministral-3b-2410)
• ministral-8b-latest (ministral-8b-2410)
• open-mistral-nemo
• codestral-latest (codestral-2501)
• mistral-embed
• pixtral-12b-2409

マルチモーダル対応モデル

• pixtral-large-latest (テキスト、画像入力対応)
• mistral-medium-latest (テキスト、画像入力対応)
• pixtral-12b-2409 (テキスト、画像入力対応)

xAI

利用可能モデル

• grok-3
• grok-3-fast
• grok-3-mini
• grok-3-mini-fast
• grok-2-1212
• grok-2-vision-1212
• grok-beta

マルチモーダル対応モデル

• grok-2-vision-1212 (テキスト、画像入力対応)

残りのプロバイダーについては調査中です。

[devin-ai-integration]

Groq

利用可能モデル

• llama-3.1-8b-instant
• llama-3.1-70b-versatile
• llama-3.1-405b
• llama3-8b-8192
• llama3-70b-8192
• mixtral-8x7b-32768
• gemma-7b-it
• meta-llama/llama-guard-4-12b

マルチモーダル対応モデル

• 現在のところ、Groqのモデルはテキスト入力のみに対応しています

Cohere

利用可能モデル

• command-r
• command-r-plus
• command-light
• command
• command-nightly
• command-r-preview
• command-r-plus-preview
• command-light-preview
• command-r-nightly
• embed-english-v3.0
• embed-multilingual-v3.0
• embed-english-light-v3.0
• embed-multilingual-light-v3.0
• rerank-english-v3.0
• rerank-multilingual-v3.0
• aya-23-8k

マルチモーダル対応モデル

• aya-23-8k (テキスト、画像入力対応)

Perplexity

利用可能モデル

• sonar-small-online
• sonar-medium-online
• sonar-small-chat
• sonar-medium-chat
• sonar-large-chat
• sonar-small-online-2312
• sonar-medium-online-2312
• sonar-small-chat-2312
• sonar-medium-chat-2312
• sonar-large-chat-2312
• sonar-pro
• sonar
• sonar-deep-research
• sonar-reasoning-pro
• sonar-reasoning
• r1-1776

マルチモーダル対応モデル

• sonar-small-online (テキスト、画像入力対応)
• sonar-medium-online (テキスト、画像入力対応)
• sonar-small-chat (テキスト、画像入力対応)
• sonar-medium-chat (テキスト、画像入力対応)
• sonar-large-chat (テキスト、画像入力対応)

Fireworks

利用可能モデル

• accounts/fireworks/models/firefunction-v2
• accounts/fireworks/models/firefunction-v1
• accounts/fireworks/models/mixtral-8x22b-instruct
• accounts/fireworks/models/mixtral-8x7b-instruct
• accounts/fireworks/models/llama-v3-70b-instruct
• accounts/fireworks/models/llama-v3-8b-instruct
• accounts/fireworks/models/llama-v3p1-405b-instruct
• accounts/fireworks/models/llama-v3p1-70b-instruct
• accounts/fireworks/models/llama-v3p1-8b-instruct
• accounts/fireworks/models/yi-1.5-34b-chat
• accounts/fireworks/models/yi-1.5-9b-chat

マルチモーダル対応モデル

• accounts/fireworks/models/yi-vl-34b-chat (テキスト、画像入力対応)
• accounts/fireworks/models/llava-v1.6-34b-chat (テキスト、画像入力対応)

DeepSeek

利用可能モデル

• deepseek-chat
• deepseek-coder
• deepseek-math
• deepseek-vl

マルチモーダル対応モデル

• deepseek-vl (テキスト、画像入力対応)

OpenRouter

利用可能モデル

OpenRouterは多数のモデルへのアクセスを提供するプロキシサービスで、以下のようなモデルが利用可能です：

• anthropic/claude-3-opus
• anthropic/claude-3-sonnet
• anthropic/claude-3-haiku
• google/gemini-pro
• google/gemini-1.5-pro
• meta-llama/llama-3-70b-instruct
• meta-llama/llama-3-8b-instruct
• mistralai/mistral-large
• mistralai/mistral-medium
• mistralai/mistral-small
• perplexity/sonar-small-chat
• perplexity/sonar-medium-chat
• perplexity/sonar-large-chat

マルチモーダル対応モデル

• anthropic/claude-3-opus (テキスト、画像入力対応)
• anthropic/claude-3-sonnet (テキスト、画像入力対応)
• anthropic/claude-3-haiku (テキスト、画像入力対応)
• google/gemini-pro (テキスト、画像入力対応)
• google/gemini-1.5-pro (テキスト、画像、音声、ビデオ入力対応)
• perplexity/sonar-small-chat (テキスト、画像入力対応)
• perplexity/sonar-medium-chat (テキスト、画像入力対応)
• perplexity/sonar-large-chat (テキスト、画像入力対応)

Azure OpenAI

利用可能モデル

• gpt-4o
• gpt-4o-mini
• gpt-4
• gpt-4-32k
• gpt-4-turbo
• gpt-3.5-turbo
• gpt-3.5-turbo-16k
• text-embedding-ada-002
• text-embedding-3-small
• text-embedding-3-large
• dall-e-3
• whisper-1

マルチモーダル対応モデル

• gpt-4o (テキスト、画像入力対応)
• gpt-4o-mini (テキスト、画像入力対応)
• gpt-4-vision (テキスト、画像入力対応)

調査結果まとめ

現在のマルチモーダル対応状況

現在のコードでは、マルチモーダル対応は以下のプロバイダーに限定されています：

export const multiModalAIServices: AIService[] = [
  'openai',
  'anthropic',
  'google',
  'azure',
];

拡張すべきマルチモーダル対応プロバイダー

調査の結果、以下のプロバイダーもマルチモーダル機能を持つモデルを提供しています：

• Mistral AI (pixtral-large-latest, mistral-medium-latest)
• xAI (grok-2-vision-1212)
• Cohere (aya-23-8k)
• Perplexity (sonar-small-online, sonar-medium-online, sonar-large-chat)
• Fireworks (yi-vl-34b-chat, llava-v1.6-34b-chat)
• DeepSeek (deepseek-vl)

推奨される変更

1. マルチモーダル対応をプロバイダー単位からモデル単位に変更する
2. 上記の追加プロバイダーのマルチモーダル対応モデルを追加する
3. 各プロバイダーの最新モデルを追加する