DeepSeek
DeepSeek，全称杭州深度求索人工智能基础技术研究有限公司。DeepSeek 是一家创新型科技公司，成立于2023年7月17日，使用数据蒸馏技术，得到更为精炼、有用的数据。由知名私募巨头幻方量化孕育而生，专注于开发先进的大语言模型（LLM）和相关技术。
2024年1月5日，发布DeepSeek LLM（深度求索的第一个大模型）。1月25日，发布DeepSeek-Coder。2月5日，发布DeepSeekMath。3月11日，发布DeepSeek-VL。5月7日，发布DeepSeek-V2。6月17日，发布DeepSeek-Coder-V2。9月5日，更新 API 支持文档，宣布合并 DeepSeek Coder V2 和 DeepSeek V2 Chat ，推出 DeepSeek V2.5。12月13日，发布DeepSeek-VL2。12月26日晚，正式上线DeepSeek-V3首个版本并同步开源。2025年1月31日，英伟达宣布DeepSeek-R1模型登陆NVIDIANIM。同一时段内，亚马逊和微软也接入DeepSeek-R1模型。英伟达称，DeepSeek-R1是最先进的大语言模型。2月5日消息，DeepSeek-R1、V3、Coder 等系列模型，已陆续上线国家超算互联网平台。2月6日消息，澳大利亚政府以所谓“担心安全风险”为由，已禁止在所有政府设备中使用DeepSeek。2月8日，DeepSeek正式登陆苏州，并在苏州市公共算力服务平台上完成部署上线，为用户提供开箱即用的软硬件一体服务。
主要产品
2024年1月5日，发布DeepSeek LLM，这是深度求索的第一个大模型。DeepSeek LLM包含670亿参数，从零开始在一个包含2万亿token的数据集上进行了训练，数据集涵盖中英文。全部开源DeepSeek LLM 7B/67B Base和DeepSeek LLM 7B/67B Chat，供研究社区使用。DeepSeek LLM 67B Base在推理、编码、数学和中文理解等方面超越了Llama2 70B Base。DeepSeek LLM 67B Chat在编码和数学方面表现出色。它还展现了显著的泛化能力，在匈牙利国家高中考试中取得了65分的成绩。当然，它还精通中文：DeepSeek LLM 67B Chat在中文表现上超越了GPT-3.5。
2024年1月25日，发布DeepSeek-Coder，DeepSeek Coder由一系列代码语言模型组成，每个模型均从零开始在2万亿token上训练，数据集包含87%的代码和13%的中英文自然语言。代码模型尺寸从1B到33B版本不等。每个模型通过在项目级代码语料库上进行预训练，采用16K的窗口大小和额外的填空任务，以支持项目级代码补全和填充。DeepSeek Coder在多种编程语言和各种基准测试中达到了开源代码模型的最先进性能。
2024年2月5日，发布DeepSeekMath，DeepSeekMath以DeepSeek-Coder-v1.5 7B为基础，继续在从Common Crawl中提取的数学相关token以及自然语言和代码数据上进行预训练，训练规模达5000亿token。DeepSeekMath 7B在竞赛级MATH基准测试中取得了51.7%的优异成绩，且未依赖外部工具包和投票技术，接近Gemini-Ultra和GPT-4的性能水平。
2024年3月11日，发布DeepSeek-VL，DeepSeek-VL是一个开源的视觉-语言（VL）模型，采用了混合视觉编码器，能够在固定的token预算内高效处理高分辨率图像（1024 x 1024），同时保持相对较低的计算开销。这一设计确保了模型在各种视觉任务中捕捉关键语义和细节信息的能力。DeepSeek-VL系列（包括1.3B和7B模型）在相同模型尺寸下，在广泛的视觉-语言基准测试中达到了最先进或可竞争的性能。
2024年5月7日，发布第二代开源Mixture-of-Experts（MoE）模型——DeepSeek-V2。DeepSeek-V2是一个强大的混合专家（MoE）语言模型，以经济高效的训练和推理为特点。它包含2360亿个总参数，其中每个token激活210亿个参数。与DeepSeek 67B相比，DeepSeek-V2不仅实现了更强的性能，同时还节省了42.5%的训练成本，将KV缓存减少了93.3%，并将最大生成吞吐量提升至5.76倍。在一个包含8.1万亿token的多样化且高质量的语料库上对DeepSeek-V2进行了预训练。在完成全面的预训练后，通过监督微调（SFT）和强化学习（RL）进一步释放了模型的潜力。评估结果验证了方法的有效性，DeepSeek-V2在标准基准测试和开放式生成评估中均取得了显著的表现。DeepSeek V2模型因在中文综合能力评测中的出色表现，且以极低的推理成本引发行业关注，被称为“AI界的拼多多”。
