专题:GPU
共17篇相关文章

如何让 Kubernetes 驾驭每一块 GPU 加速卡?
AI 算力基础设施深度系列(三):GPU 与异构算力——让 Kubernetes 驾驭每一块加速卡 本文是《AI 算力基础设施深度系列》第 3 篇,共 6 篇。 系列目录:① 容器与 K8S 基础 → ② K8S 底层原理 → ③ GPU...

WebKit Inside: GPU 进程如何调试?
最新的iOS WebKit源码,无法正常调试GPU进程。 如果运行iOS WebKit源码,Attach GPU进程进入断点,GPU进程会立马退出。 通过查看WebKit源码,配置文件UnifiedWebPreferences.yaml中有...

如何利用GPU解码渲染技术打造高效视频会议系统?
现在,使用视频会议系统远程协同办公、沟通交流,已经非常普遍了。如果我们要开发自己的视频会议系统,那么,GPU解码渲染技术是不可缺少的。这是为什么了?...

哪些GPU的OpenCL子组支持洗牌操作?
目录NvidiaIntelAMD ROCmAMD PALHSAILQualcommon AdrenoCLVK参见 子组(Sub-group)自 OpenCL 2.0 正式引入,是工作组(Work-group)内部更小的执行单位,通常直接映...

IndexTTS音频克隆功能如何实现疑问?
本来详细介绍了开源语音生成项目index-tts在纯windows环境及WSL下的安装使用说明,其中在WSL下能通过GPU加速,实现高速语音生成。...

CUDA编程初探,如何深入掌握其核心技巧与奥秘?
本文从cuda历史引入,并重点介绍了cuda编程涉及到的关键概念,并给出了一个最简示例程序,基于该程序介绍了相关cuda调试工具的使用方法及侧重点!...

NVIDIA系统级性能分析工具Nsight Systems如何从入门到精通?
本文首先对NVIDIA GPU程序系统级性能分析工具Nsight Systems进行简单的介绍,然后说明了工具适用平台及安装,最后通过cuda-samples示例程序的分析,说明了如何在实际应用中使用该功能强大的工具。...

如何全面掌握NVIDIA Nsight Compute进行Kernel级性能分析的入门技巧?
本文较为全面的说明了Nsight Compute工具的使用方法,以及Report各个页面信息的详细含义,能帮助用户快速的掌握Compute工具的初步使用方法!...

DeepSeek-V3.2如何实现推理性能提升161%的优化秘诀?
相比于未优化的 vLLM 基线,经过针对性调优的 DeepSeek-V3.2 在 NVIDIA H200 集群上实现了 57.8% 至 153.6% 的吞吐量提升。...

GPUStack开源GPU集群管理器,专为大模型打造,正式发布了吗?
经过 Seal 研发团队几个月来持续的开发和测试,我们满怀期待及热情地发布新的产品 GPUStack,GPUStack 是一个用于运行 LLM(大型语言模型)的开源 GPU 集群管理器。尽管如今大语言模型作为公共的云上服务已经被广泛推广并在...

如何在裸机、Docker、K8s等环境中使用GPU搭建GPU环境?
本文主要分享在不同环境,例如裸机、Docker 和 Kubernetes 等环境中如何使用 GPU。 跳转阅读原文:GPU 环境搭建指南:如何在裸机、Docker、K8s 等环境中使用 GPU 1. 概述 仅以比较常见的 NVIDIA GP...

如何通过vLLM实现大模型的高效推理?
本文主要分享如何使用 vLLM 实现大模型推理服务。 1. 概述 大模型推理有多种方式比如 最基础的 HuggingFace Transformers TGI vLLM Triton + TensorRT-LLM ......

如何在K8S中通过nvidia device plugin源码Pod以使用GPU?
本文主要分析了在 K8s 中创建一个 Pod 并申请 GPU 资源,最终该 Pod 时怎么能够使用 GPU 的,具体的实现原理,以及 device plugin、nvidia-container-toolkit 相关源码分析。 1.概述 在...

NVIDIA Time Slicing的GPU共享方案,你真的完全搞懂了吗?
本文主要分享 GPU 共享方案,包括如何安装、配置以及使用,最后通过分析源码了 TImeSlicing 的具体实现。通过配置 TImeSlicing 可以实现 Pod 共享一块物理 GPU,以提升资源利用率。 1.为什么需要 GPU 共享、...

如何将 HAMi 开源 vGPU 方案实现 GPU 细粒度切分?
本文主要分享一个开源的 GPU 虚拟化方案:HAMi,包括如何安装、配置以及使用。 相比于上一篇分享的 TimeSlicing 方案,HAMi 除了 GPU 共享之外还可以实现 GPU core、memory 得限制,保证共享同一 GPU...
