Courses
Pythonで学ぶ画像処理
4時間
56.8K
ビジョン・ランゲージ・モデル（VLMs）は、AIシステムが画像とテキストの両方を理解・推論できるようにすることで、産業界を急速に変革しています。従来のコンピュータビジョンモデルとは異なり、最新のVLMは複雑な画像を解釈し、視覚コンテンツに関する詳細な質問に答え、埋め込みテキストを含む動画や文書の処理まで可能です。
この特性により、医療診断、自動品質管理、そして速度よりも精度が重視される機微な用途で極めて有用です。
本ブログでは、2026年の主要なビジョン・ランゲージ・モデル（オープンソースとプロプライエタリの両方）をレビューします。各モデルの独自機能を紹介し、その後、性能とベンチマーク結果を提示します。開発者や研究者向けに、すぐに試せるサンプルコードも掲載しています。
これらのモデルの基礎をさらに学びたい場合は、Image Processing in Python スキルトラックをご覧ください。
1. Gemini 2.5 Pro
Gemini 2.5 Pro はGoogleの最先端AIモデルで、現在、視覚およびコーディングタスクの両方でLMArenaとWebDevArenaのリーダーボードをリードしています。テキスト、画像、音声、動画にまたがる複雑な推論と理解のために設計されています。
ビジョン・ランゲージ機能の観点では、Open LLMリーダーボードでもトップクラスのモデルです。Gemini 2.5 Proは画像や動画を解釈し、文脈に即した詳細な説明を生成しつつ、視覚コンテンツに関連する質問にも回答できます。
出典: Google Gemini
Gemini 2.5 Proは、gemini.google.com/app のGeminiウェブアプリ、またはGoogle AI Studioを通じて無料で利用できます。
開発者向けには、Gemini API、Vertex AI、公式Python SDKからも利用可能で、独自のアプリケーションやワークフローにビジョン・ランゲージ機能を容易に統合できます。
使用例:
from google.genai import types
with open('path/to/image.jpg', 'rb') as f:
image_bytes = f.read()
response = client.models.generate_content(
model='gemini-2.5-pro',
contents=[
types.Part.from_bytes(
data=image_bytes,
mime_type='image/jpeg',
),
'Explain the image.'
]
)
print(response.text)2. InternVL3-78B
InternVL3は高度なマルチモーダル大規模言語モデル（MLLM）群で、前世代のInternVL 2.5を上回ります。マルチモーダルな知覚と推論に優れ、ツール使用、GUIエージェント、産業用画像解析、3Dビジョン認識などの機能が強化されています。
とりわけInternVL3-78Bは、ビジョンコンポーネントにInternViT-6B-448px-V2_5、言語コンポーネントにQwen2.5-72Bを採用しています。総パラメータは784.1億で、MMMUベンチマークで72.2を達成し、オープンソースMLLMの新たなSOTAを樹立しました。商用の最先端モデルとも競合する性能です。
出典: OpenGVLab/InternVL3-78B · Hugging Face
使用例:
# pip install lmdeploy>=0.7.3
from lmdeploy import pipeline, TurbomindEngineConfig, ChatTemplateConfig
from lmdeploy.vl import load_image
model = 'OpenGVLab/InternVL3-78B'
image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
pipe = pipeline(model, backend_config=TurbomindEngineConfig(session_len=16384, tp=4), chat_template_config=ChatTemplateConfig(model_name='internvl2_5'))
response = pipe(('Explain the image.', image))
print(response.text)3. Ovis2-34B
Ovis2はAIDC-AIが開発したマルチモーダル大規模言語モデル（MLLM）のシリーズで、視覚とテキストの埋め込みを効果的に整合させるよう設計されています。特にOvis2-34Bは、ビジョンエンコーダとしてaimv2-1B-patch14-448、言語モデルとしてQwen2.5-32B-Instructを採用し、総パラメータは340億です。最大コンテキスト長は32,768トークン、演算精度はbfloat16を使用して効率的に処理します。
Ovis2-34Bは各種ベンチマークで強力な性能を示し、以下の結果を達成しています。
- MMBench-V1.1: 86.6%
- MMStar: 69.2%
- MMMUval: 66.7%
- MathVista: 76.1%
- MMVet: 77.1%
- VideoMME: 字幕ありで75.6%
出典: AIDC-AI/Ovis2-34B · Hugging Face
使用例:
import torch
from PIL import Image
from transformers import AutoModelForCausalLM
# load model
model = AutoModelForCausalLM.from_pretrained("AIDC-AI/Ovis2-34B",
torch_dtype=torch.bfloat16,
multimodal_max_length=32768,
trust_remote_code=True).cuda()
text_tokenizer = model.get_text_tokenizer()
visual_tokenizer = model.get_visual_tokenizer()
# single-image input
image_path = '/data/images/example_1.jpg'
images = [Image.open(image_path)]
max_partition = 9
text = 'Describe the image.'
query = f'<image>\n{text}'
# format conversation
prompt, input_ids, pixel_values = model.preprocess_inputs(query, images, max_partition=max_partition)
attention_mask = torch.ne(input_ids, text_tokenizer.pad_token_id)
input_ids = input_ids.unsqueeze(0).to(device=model.device)
attention_mask = attention_mask.unsqueeze(0).to(device=model.device)
if pixel_values is not None:
pixel_values = pixel_values.to(dtype=visual_tokenizer.dtype, device=visual_tokenizer.device)
pixel_values = [pixel_values]
# generate output
with torch.inference_mode():
gen_kwargs = dict(
max_new_tokens=1024,
do_sample=False,
top_p=None,
top_k=None,
temperature=None,
repetition_penalty=None,
eos_token_id=model.generation_config.eos_token_id,
pad_token_id=text_tokenizer.pad_token_id,
use_cache=True
)
output_ids = model.generate(input_ids, pixel_values=pixel_values, attention_mask=attention_mask, **gen_kwargs)[0]
output = text_tokenizer.decode(output_ids, skip_special_tokens=True)
print(f'Output:\n{output}')4. Qwen2.5-VL-72B-Instruct
Qwen2.5-VL-72B-Instruct はQwenファミリーのマルチモーダル大規模言語モデル（MLLM）で、視覚情報とテキスト情報の双方を理解・処理するよう設計されています。多くのオープンソースMLLMが本モデルを基盤としており、QwenシリーズがAI研究の前進に大きな役割を果たしていることを示しています。
Qwen2.5-VL-72B-Instructは、画像・動画理解やエージェント機能を含む多様なベンチマークで高い性能を示します。MMMUvalで70.2、MathVista_MINIで74.8、MMStarで70.8を記録しています。
出典: Qwen/Qwen2.5-VL-72B-Instruct · Hugging Face
使用例:
# pip install qwen-vl-utils[decord]==0.0.8
from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
# default: Load the model on the available device(s)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
"Qwen/Qwen2.5-VL-72B-Instruct", torch_dtype="auto", device_map="auto"
)
# default processer
processor = AutoProcessor.from_pretrained("Qwen2.5-VL-72B-Instruct")
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
},
{"type": "text", "text": "Describe this image."},
],
}
]
# Preparation for inference
text = processor.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
text=[text],
images=image_inputs,
videos=video_inputs,
padding=True,
return_tensors="pt",
)
inputs = inputs.to("cuda")
# Inference: Generation of the output
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)5. o3 Latest
OpenAIのo3 は新しい推論モデルで、アプリケーションにおいてより高い知性、低コスト、効率的なトークン使用を実現します。高度な推論能力を重視する新世代モデルを代表します。
このモデルは、数学、科学、コーディング、視覚的推論のタスクで新たな標準を打ち立てました。各種ビジョン系ベンチマークにおいて、o4-minやo1を上回り、o3 Proと同等の性能を示します。
出典: Introducing OpenAI o3 and o4-mini | OpenAI
使用例:
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="o3-2025-04-16",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "what's in this image?"},
{
"type": "input_image",
"image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
},
],
}],
)
print(response.output_text)6. GPT 4.1 (2025-04-14)
GPT-4.1 は非推論型モデルの新ファミリーで、GPT-4.1、GPT-4.1 Mini、GPT-4.1 Nanoを含みます。各種ベンチマークで、前世代のGPT-4oおよびGPT-4o Miniを上回りました。
GPT-4.1は強力なビジョン機能を維持しつつ、グラフや図表、視覚的数学の解析が改善されています。物体カウント、視覚質問応答、各種OCR（光学式文字認識）などのタスクで優れています。
出典: Introducing GPT-4.1 in the API | OpenAI
使用例:
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-4.1-2025-04-14",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "what's in this image?"},
{
"type": "input_image",
"image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
},
],
}],
)
print(response.output_text)7. Claude Sonnet 4
AnthropicはClaudeモデルの次世代版である Claude 4 Opus と Claude 4 Sonnet を発表しました。これらのモデルは、コーディング、高度な推論、AI機能において新たな基準を打ち立てることを目指しています。
画像理解に関する機能も強化されており、画像を基にコードを生成したり情報を提供したりできます。本質的にはコーディングモデルですが、マルチモーダル機能も備え、さまざまなファイル形式を理解できます。
以下の比較表を見ると、Claude 4は、特に可視化推論と視覚質問応答において、OpenAIのGPT-3モデルを除くすべてのトップモデルを上回っています。
出典: Introducing Claude 4 \ Anthropic
使用例:
import anthropic
client = anthropic.Anthropic()
message = client.messages.create(
model="claude-sonnet-4-20250514",
max_tokens=1024,
messages=[
{
"role": "user",
"content": [
{
"type": "image",
"source": {
"type": "url",
"url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg",
},
},
{
"type": "text",
"text": "Describe this image."
}
],
}
],
)
print(message)8. Kimi-VL-A3B-Thinking-2506
Kimi-VL-A3B-Thinking-2506は、マルチモーダルAIの大きな前進を示すオープンソースモデルです。マルチモーダル推論ベンチマークで優れ、MathVisionで56.9、MathVistaで80.1、MMMU-Proで46.3、MMMUで64.0という高い精度を達成し、平均で「思考長」を20%短縮しています。
推論能力に加えて、2506版は一般的な視覚認識と理解も強化されています。MMBench-EN-v1.1（84.4）、MMStar（70.4）、RealWorldQA（70.0）、MMVet（78.4）といったベンチマークで、非思考型モデルに匹敵、あるいは上回る性能を示します。
出典: MoonshotAI/Kimi-VL: Kimi-VL
使用例:
from transformers import AutoProcessor
from vllm import LLM, SamplingParams
model_path = "moonshotai/Kimi-VL-A3B-Thinking-2506"
llm = LLM(
model_path,
trust_remote_code=True,
max_num_seqs=8,
max_model_len=131072,
limit_mm_per_prompt={"image": 256}
)
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)
sampling_params = SamplingParams(max_tokens=32768, temperature=0.8)
import requests
from PIL import Image
def extract_thinking_and_summary(text: str, bot: str = "◁think▷", eot: str = "◁/think▷") -> str:
if bot in text and eot not in text:
return ""
if eot in text:
return text[text.index(bot) + len(bot):text.index(eot)].strip(), text[text.index(eot) + len(eot) :].strip()
return "", text
OUTPUT_FORMAT = "--------Thinking--------\n{thinking}\n\n--------Summary--------\n{summary}"
url = "https://huggingface.co/spaces/moonshotai/Kimi-VL-A3B-Thinking/resolve/main/images/demo6.jpeg"
image = Image.open(requests.get(url,stream=True).raw)
messages = [
{"role": "user", "content": [{"type": "image", "image": ""}, {"type": "text", "text": "What kind of cat is this? Answer with one word."}]}
]
text = processor.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = llm.generate([{"prompt": text, "multi_modal_data": {"image": image}}], sampling_params=sampling_params)
generated_text = outputs[0].outputs[0].text
thinking, summary = extract_thinking_and_summary(generated_text)
print(OUTPUT_FORMAT.format(thinking=thinking, summary=summary))9. Gemma-3-27b-it
Gemma 3 はGoogleが開発したマルチモーダルAIモデル群で、テキストと画像入力を処理し、テキスト出力を生成できます。1B、4B、12B、27Bの各サイズがあり、ハードウェアや性能要件に応じて選択できます。
最大の27B版であるGemma 3 27Bは、人間の嗜好評価で、Llama 3-405BやDeepSeek-V3といったより大規模なモデルをも上回る優れた結果を示しています。
これらのモデルは各種ベンチマークで強力な能力を発揮します。特にマルチモーダルタスクで優れ、COCOcap（116）、DocVQA（85.6）、MMMU（56.1）、VQAv2（72.9）などで高得点を記録しています。
使用例:
# pip install accelerate
from transformers import AutoProcessor, Gemma3ForConditionalGeneration
from PIL import Image
import requests
import torch
model_id = "google/gemma-3-27b-it"
model = Gemma3ForConditionalGeneration.from_pretrained(
model_id, device_map="auto"
).eval()
processor = AutoProcessor.from_pretrained(model_id)
messages = [
{
"role": "system",
"content": [{"type": "text", "text": "You are a helpful assistant."}]
},
{
"role": "user",
"content": [
{"type": "image", "image": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"},
{"type": "text", "text": "Describe this image in detail."}
]
}
]
inputs = processor.apply_chat_template(
messages, add_generation_prompt=True, tokenize=True,
return_dict=True, return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)
input_len = inputs["input_ids"].shape[-1]
with torch.inference_mode():
generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)
generation = generation[0][input_len:]
decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)10. Llama-3.2-90B-Vision-Instruct
Llama 3.2 90B Vision Instructモデルは、Metaが開発した高度なマルチモーダル大規模言語モデルです。視覚認識、画像推論、キャプション生成などのタスク向けに設計されています。
Llama 3.2 90B Vision Instructは、テキスト専用のLlama 3.1を基盤に、別途学習されたビジョンアダプタを組み合わせることで、画像とテキストの両方を入力として処理し、精確なテキスト出力を生成します。
大規模に学習されており、Llama 3.2 90B Visionモデルには885万GPU時間が必要でした。VQAv2（73.6）、Text VQA（73.5）、DocVQA（70.7）などのベンチマークで卓越した性能を示します。
出典: llama-models
使用例:
import requests
import torch
from PIL import Image
from transformers import MllamaForConditionalGeneration, AutoProcessor
model_id = "meta-llama/Llama-3.2-90B-Vision-Instruct"
model = MllamaForConditionalGeneration.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
processor = AutoProcessor.from_pretrained(model_id)
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
image = Image.open(requests.get(url, stream=True).raw)
messages = [
{"role": "user", "content": [
{"type": "image"},
{"type": "text", "text": "If I had to write a haiku for this one, it would be: "}
]}
]
input_text = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(
image,
input_text,
add_special_tokens=False,
return_tensors="pt",
).to(model.device)
output = model.generate(**inputs, max_new_tokens=30)
print(processor.decode(output[0]))グラフを用いた視覚的推論は、Metaの最新モデル Muse Spark の得意分野でもあります。
まとめ
ビジョン・ランゲージ・モデルは、視覚情報とテキスト情報の両方との向き合い方を根本から変え、幅広い産業分野で目覚ましい精度と柔軟性をもたらしています。コンピュータビジョンと自然言語処理をシームレスに融合し、高度な物体検出から直感的なビジュアルアシスタントまで、新たな応用を可能にします。
プライバシーとセキュリティを最優先する用途であれば、オープンソースのビジョン・ランゲージ・モデルの活用を強くおすすめします。ローカル実行によりデータを完全に制御でき、機微な環境に最適です。オープンソースのVLMは適応性も高く、数百件のサンプルでの微調整でも、ニーズに合わせた優れた成果を得られることが多いです。
一方、プロプライエタリモデルは、最先端機能へ信頼性が高く費用対効果の高いアクセスを提供します。高精度であり、数行のコードでワークフローに統合できるため、深いAI専門知識のないチームでも導入しやすいのが特長です。
ビジョン・ランゲージ・モデルについてさらに学びたい方は、以下のリソースをご覧ください。
- Image Processing in Python: 画像の操作、解析、特徴抽出など、必須の画像処理テクニックを実践的に学びます。
- Deep Learning for Images with PyTorch: 畳み込みニューラルネットワーク（CNN）、転移学習、カスタムビジョンモデル開発を実践的に学びます。
- Natural Language Processing in Python: 書籍、レビューサイト、オンライン記事などからのテキストデータの処理と分析を学ぶスキルトラックで、NLPとコンピュータビジョンを組み合わせたマルチモーダル応用に不可欠です。