自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

科技很有意思

是观点,还是故事?关注科技、互联网圈各种技术热点、八卦。

  • 博客(555)
  • 收藏
  • 关注

原创 Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统

Hologres 推出 Serverless 型可从零开始低成本启动 OLAP 系统建设。

2025-07-29 17:55:40 931

原创 【跨国数仓迁移最佳实践3】资源消耗减少50%!解析跨国数仓迁移至MaxCompute背后的性能优化技术

在 GoTerra 项目从 BigQuery 迁移至 MaxCompute‌ 的过程中,‌针对业务脚本复杂性高、增量功能叠加挑战大、极限交付时间窗口的问题,团队摒弃传统“粗放式”优化策略,转而建立“数据驱动、分层治理”的优化框架,将有限资源投入关键瓶颈点。

2025-07-29 16:30:13 931 1

原创 [VLDB 2025]面向云计算平台的多模态慢查询根因排序

近日,由阿里云计算平台大数据基础工程技术团队主导,华东师范大学数据科学与工程学院、丹麦奥尔堡大学合作的论文《RCRank: Multimodal Ranking of Root Causes of Slow Queries in Cloud Database Systems》被数据库领域顶会 VLDB 2025接收。

2025-07-29 13:23:17 616

原创 数据开发再提速!DataWorks正式接入Qwen3-Coder

阿里云一站式智能大数据开发治理平台 DataWorks 正式接入 Qwen3-Coder 模型。用户通过 DataWorks Copilot 智能助手即可调用该模型,通过自然语言交互完成多种代码操作,实现数据开发、数据分析的快速实现。

2025-07-29 11:09:20 800

原创 [VLDB 2025]面向Flink集群巡检的交叉对比学习异常检测

近日,由阿里云计算平台大数据基础工程技术团队主导,华东师范大学数据科学与工程学院合作的论文《Noise Matters: Cross Contrastive Learning for Flink Anomaly Detection》被数据库领域顶会 VLDB 2025接收。论文从新的视角分析 Flink 平台的热点机器问题。实现了基于神经网络的热点机器异常检测,与 SOTA 异常检测算法相比平均提升 F1 score 12.1%。

2025-07-28 10:12:53 1014

原创 Post-Training on PAI (5): PAI-EasyDistill, PAI 自研大模型蒸馏框架

针对大模型推理服务中“高计算量、长时延”场景下同步推理的弊端,阿里云人工智能平台 PAI 推出了一套基于独立的队列服务异步推理框架,解决了异步推理的负载均衡、实例异常时任务重分配等问题,确保请求不丢失、实例不过载。

2025-07-25 17:58:46 744

原创 【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Coder模型

本文介绍如何在阿里云人工智能平台 PAI 的 Model Gallery 中一键部署 Qwen3-Coder 模型,并尝试了在 Qwen Code 工具中,使用部署的模型进行 Agentic 编程任务。

2025-07-25 15:34:11 999

原创 基于模型蒸馏的大模型文案生成最佳实践

针对大语言模型在文案生成中存在的计算资源消耗大、部署难等问题,本文介绍如何借助 EasyDistill 算法框架及 PAI 产品,通过部署教师大语言模型,构建 SFT 训练数据和 DPO 训练数据等模型蒸馏技术实现高效的大模型文案生成,以及通过 SFT 算法蒸馏训练学生模型,进而用 DPO 算法继续优化,以在保持文案生成质量接近原大模型的同时,降低资源需求与成本,提升效率,推动业务可持续增长。

2025-07-25 10:57:25 936

原创 Post-Training on PAI (5): PAI-EasyDistill, PAI 自研大模型蒸馏框架

阿里云人工智能平台 PAI 推出自研大模型蒸馏框架——easydistill,具备数据合成、基础和进阶蒸馏训练多种功能模块,在简化大型语言模型的知识蒸馏过程,助力参数量更小但性能卓越的大模型的实际应用。

2025-07-24 13:26:39 988

原创 阿里云ODPS十五周年重磅升级发布:为AI而生的数据平台

十五年深耕,ODPS 正式迈入 AI Native 时代,ODPS 将再次进化,成为为AI而生的数据平台。

2025-07-23 14:59:36 886

原创 训练效率提升100%!阿里云后训练全栈解决方案发布实录

阿里云大数据 AI 平台重磅发布大模型后训练解决方案,通过全栈 AI 能力,为企业提供从算力到平台的“后训练”一体化支撑。围绕“数据-训练-推理-AI应用”的全生命周期,凭借稳定、高效、全能的产品特性,让企业从容面对大模型后训练阶段复杂的系统性工程挑战。

2025-07-23 14:01:44 830

原创 【新模型速递】PAI-Model Gallery云上一键部署Kimi K2模型

近日,月之暗面正式发布并开源 Kimi K2 模型,Kimi K2是具备更强代码能力、更擅长通用 Agent 任务的 MoE 架构基础模型,总参数 1T,在代码、Agent、数学推理任务上能力领先。

2025-07-21 14:51:42 684

原创 【跨国数仓迁移最佳实践2】MaxCompute SQL执行引擎对复杂类型处理全面重构,保障客户从BigQuery平滑迁移

MaxCompute SQL 执行引擎对复杂类型处理进行了全面重构,整体支持复杂类型列式的内存存储结构,对各个算子进行深度适配优化,整体处理性能实现质的飞跃,部分场景提升超10倍,基本追平 Bigquery 对复杂类型的计算处理性能,且在某些场景实现性能超越,最终保障了 GoTerra 项目海量作业的平滑迁移,同时大幅节省计算资源。

2025-07-21 10:25:56 864

原创 云上AI推理平台全掌握 (4):大模型分发加速

为应对大模型服务突发流量场景,阿里云人工智能平台 PAI 推理服务 PAI-EAS 提供本地目录内存缓存(Memory Cache)的大模型分发加速功能,有效解决大量请求接入情况下的推理延迟。PAI-EAS 大模型分发加速功能,零代码即可轻松完成配置。

2025-07-18 16:36:34 860

原创 【ICML2025】大模型训练性能4倍提升!阿里云PAI团队研究成果ChunkFlow中选

近日,阿里云 PAI 团队、通义实验室与中国科学院大学前沿交叉科学学院合作在机器学习顶级会议 ICML 2025 上发表题为 Efficient Long Context Fine-tuning with Chunk Flow 的论文。

2025-07-17 15:55:24 791

原创 Post-Training on PAI (4):模型微调SFT、DPO、GRPO

阿里云人工智能平台 PAI 提供了完整的模型微调产品能力,支持 监督微调(SFT)、偏好对齐(DPO)、强化学习微调(GRPO) 等业界常用模型微调训练方式。根据客户需求及代码能力层级,分别提供了 PAI-Model Gallery 一键微调、PAI-DSW Notebook 编程微调、PAI-DLC 容器化任务微调的全套产品功能。

2025-07-17 10:29:30 774

原创 跨国数仓迁移背后的统一存储格式创新-Append Delta Table

本文将从底层存储格式差异与重构的技术角度,深入解析GoTerra在历时9个月的复杂迁移过程中,MaxCompute在底层存储格式上做出的一系列技术演进与创新改造。

2025-07-16 10:28:27 1025

原创 阿里云 EMR Serverless Spark:面向 Data+AI 的高性能 Lakehouse 产品

EMR Serverless Spark 是一款面向 Data+AI 的高性能 Lakehouse 产品。它为企业提供了一站式的数据平台服务,包括任务开发、调试、调度和运维等,极大地简化了数据处理和模型训练的全流程。

2025-07-15 16:52:26 740

原创 NL2SQL 再创佳绩!阿里云论文中选 SIGMOD 2025

当地时间6月22-27日,顶级国际会议SIGMOD 2025 在德国柏林正式召开。在本次会议中,阿里云带来主题演讲分享“随心搜索:阿里云AI搜索算法趋势”,与全球顶尖专家们共同交流阿里云AI搜索的演变、技术支撑和未来演变。

2025-07-15 11:38:05 647

原创 云上AI推理平台全掌握 (3):服务接入与全球调度

阿里云人工智能平台 PAI 平台推出的全球化的服务接入矩阵,为 LLM 服务量身打造了专业且灵活的服务接入方案,正重新定义 AI 服务的高可用接入标准——从单地域 VPC 安全隔离到跨洲际毫秒级调度,让客户的推理服务在任何网络环境下都能实现「接入即最优」。

2025-07-14 18:21:01 936

原创 如何在 Elasticsearch 中构建你的智能 AI 助手?

本文将带你探索一种全新的思路:如何基于 Elasticsearch 快速构建一个具备自然语言理解能力、异常检测和安全威胁识别能力的智能运维 AI 助手 。

2025-07-14 13:44:42 669

原创 Post-Training on PAI (3): 自研高性能强化学习框架PAI-ChatLearn

人工智能平台 PAI 推出了高性能一体化强化学习框架 PAI-Chatlearn,从框架层面解决强化学习在计算性能和易用性方面的挑战。

2025-07-11 17:53:08 605

原创 数据 + 模型 驱动 AI Native 应用发展

随着AI技术从生成式AI(GenAI)向自主代理AI(AgenticAI)演进,企业面临构建数据与模型深度融合的AINative应用的新机遇。

2025-07-10 17:39:32 623

原创 OpenSearch 视频 RAG 实践

视频RAG技术通过结合多模态检索与生成能力,实现基于视频内容的智能问答。

2025-07-10 14:40:45 959

原创 ODPS 15周年开发者活动|征文+动手实践双赛道开启,参与活动赢定制好礼!

阿里云ODPS(MaxCompute)15周年征文活动开启!

2025-07-09 17:05:13 425

原创 Flink Forward Asia 2025 主旨演讲精彩回顾

FlinkForwardAsia2025大会在新加坡召开,聚焦实时数据与AI的融合。

2025-07-09 13:51:34 824

原创 10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案

阿里云推出智能驾驶数据预处理解决方案,通过PAI、MaxCompute等技术栈实现流批一体处理,数据包处理效率提升10倍,推理任务提速1倍。该方案支持百万级任务调度,已应用于80%以上中国车企,成功解决传统方案在效率、扩展性等方面的问题。典型案例显示,某车企实现5万clips/天的处理能力,效率提升2-3倍。方案基于DataWorks、MaxCompute等核心产品构建,提供高性能全链路AI工程化平台。

2025-07-08 16:35:38 975

原创 Post-Training on PAI (2):Ray on PAI,云上一键提交强化学习

PAI 全新推出任务类型 Ray on PAI,模型训练服务 PAI-DLC 已集成 Ray,用户可将 Ray 框架的训练脚本直接提交至 PAI-DLC 进行训练,免部署免运维。整体训练过程一键提交实现上手 0 成本,还可享受 PAI 平台高效调度、自愈及企业级管理能力 。

2025-07-07 18:19:00 807

原创 AI搜索 MCP最佳实践

MCP核心优势:标准化协议:打破工具与模型壁垒,跨平台无缝调用; 降低复杂度:解耦工具开发与模型调用,告别硬编码模式。加速AI落地;全生命周期服务,快速集成工具链,提升效率。

2025-07-04 16:13:48 916

原创 [云上玩转Qwen3系列之四]PAI-LangStudio x AI搜索开放平台 x ElasticSearch: 构建AI Search RAG全栈应用

本文介绍如何利用PAI-LangStudio和Qwen3构建基于xElasticSearch的AISearchRAG智能检索应用。通过混合检索技术(全文+向量)与Qwen3模型结合,实现自然语言精准查询。主要步骤包括:创建模型服务连接、配置Elasticsearch数据库、建立知识库索引,以及部署应用流。该方案有效解决了大模型的领域局限和信息滞后问题,提升检索准确率80%,支持100+语言处理,可快速构建专业领域的智能搜索系统。开发者可基于模板进行二次开发,满足不同场景需求。

2025-07-02 19:41:00 982

原创 DistillQwen-ThoughtY:通过变长思维链蒸馏,全面提升模型推理能力!

阿里云PAI团队基于EasyDistill框架推出DistillQwen-ThoughtY系列推理模型,通过变长思维链蒸馏技术显著提升小模型推理能力。该系列采用Qwen3底座和DeepSeek-R1-0528教师模型,结合最新构建的36.5万条高质量OmniThought-0528数据集(标注认知难度和推理冗余度),在数学、代码等任务上超越前代模型。实验表明,DistillQwen-ThoughtY-32B在多项基准测试中表现优异(如AIME得分90.0)。

2025-07-01 19:55:33 1022

原创 云上AI推理平台全掌握 (1): PAI-EAS LLM服务一键压测

阿里云PAI-EAS为LLM推理服务提供专业压测方案,支持固定并发、请求速率和极限吞吐测试等多种模式。系统可自动生成TTFT、TPOT等核心指标数据,帮助用户评估服务性能。压测报告涵盖基本信息、配置、结果和监控,支持公共数据集或自定义数据测试。通过控制台即可快速创建压测任务,实时监控并获取完整报告,为AI推理服务性能优化提供全链路支持。本系列还将深入解析云上AI推理平台技术架构与行业应用,助力企业释放大模型价值。

2025-07-01 10:29:54 1106

原创 MaxCompute x 聚水潭:基于近实时数仓解决方案构建统一增全量一体化数据链路

聚水潭采用阿里云MaxCompute近实时数仓解决方案,有效解决电商ERP系统面临的增量数据处理难题。通过PKDeltaTable表格式,实现了增全量数据一体化管理,订单明细链路数据处理效率提升200%,更新周期从3小时缩短至30分钟,计算资源消耗降低56%。结合DeletionVector优化技术,核心SQL任务性能提升42%,资源消耗再降21%。该方案不仅简化了数据处理流程,还支持更长周期数据更新需求,为聚水潭88,400家客户提供更高效的数据服务,未来将进一步提升数据实时性和交互分析能力。

2025-06-30 16:29:14 1041

原创 Post-Training on PAI (1):一文览尽开源强化学习框架在PAI平台的应用

阿里云PAI-DLC平台整合主流强化学习开源框架(如Cosmos-RL、Ray、VeRL),优化大模型Post-Training阶段的性能与稳定性。Cosmos-RL通过异步异构部署实现2-3倍训练效率提升;Ray提供分布式计算支持,PAI简化其部署与故障恢复;VeRL结合PyTorch生态强化对齐训练。PAI-DLC具备万卡调度、智能容错等能力,降低开发门槛,提升算力利用率。开源框架与云平台的结合,加速强化学习在对话、决策等场景的产业落地,推动AGI发展。

2025-06-27 16:16:32 1062

原创 PAI-TurboX: 面向自动驾驶的训练推理加速框架

PAI-TurboX为自动驾驶模型训练与推理提供全栈加速方案,通过系统级优化(CPU亲和性/内存管理)、数据侧创新(高效DataLoader/智能样本分组)和模型侧改进(算子优化/设备重映射)三大维度,显著提升BEVFusion等主流模型的训练效率(最高缩短58.5%时间)。该方案有效解决了数据预处理瓶颈与多模态模型复杂度带来的性能挑战,并计划通过Remote Dataloader等新技术进一步释放GPU算力潜力。

2025-06-25 16:34:58 864

原创 【新模型速递】PAI-Model Gallery云上一键部署MiniMax-M1模型

MiniMax公司推出革命性大语言模型MiniMax-M1,采用混合专家架构和闪电注意力机制,支持百万级token上下文处理,计算效率达DeepSeekR1的4倍。该456B参数模型需8*96G显存,阿里云PAI平台已提供零代码部署方案,包含API调用和Web交互功能。PAI-ModelGallery同步接入多款热门模型,如优化版DeepSeek-R1,实现吞吐提升492%、时延降低86%的显著性能突破。

2025-06-23 14:55:03 557

原创 PAI推理重磅发布模型权重服务,大幅降低冷启动与扩容时长

阿里云PAI推出模型权重服务,大幅提升大语言模型部署效率。针对700GB+规模LLM加载耗时问题,该服务采用分布式缓存、RDMA传输、智能预取等技术,实现冷启动和扩容时间显著降低。实测显示,Qwen3-8B模型冷启动时间从235秒降至24秒(降幅89.8%),扩容时长缩至5.7秒(降幅97.6%)。该方案通过内存共享、智能分片等创新,使带宽利用率提升60%+,集群部署效率提升10倍,有效破解超大规模模型部署瓶颈。

2025-06-20 16:28:19 751

原创 DistilQwen-ThoughtX蒸馏模型在PAI-ModelGallery的训练、评测、压缩及部署实践

DistilQwen-ThoughtX 系列蒸馏模型,结合创新的变长思维链推理技术,根据任务难度自适应调整推理步骤,避免传统思维链方法的“过度思考”,大幅度提升推理场景下的模型能力。 DistilQwen-ThoughtX-32B 推理能力更是超越同尺寸 DeepSeek 官方蒸馏模型。通过 PAI-ModelGallery,可一站式零代码完成 DistilQwen-ThoughtX 系列模型的训练、评测、压缩和部署。

2025-06-13 14:17:45 613

原创 从MaxCompute到Milvus:通过DataWorks进行数据同步,实现海量数据高效相似性检索

阿里云Milvus向量检索服务与MaxCompute结合,通过DataWorks实现结构化数据高效向量化同步。该方案支持电商行为分析、医疗知识库构建等AI应用场景,提供从MaxCompute到Milvus的离线同步全流程操作指南,包括数据源配置、任务设置和结果验证。关键优势在于整合MaxCompute的大数据计算能力和Milvus的高效向量检索,解决企业智能化转型中的数据迁移挑战。

2025-06-11 18:27:09 583

原创 一体系数据平台的进化:基于阿里云 EMR Serverless Spark的持续演进

一体系汽配供应链平台因传统大数据平台瓶颈,与阿里云合作,基于 EMR Serverless Spark 构建云原生数据平台。其结合 DataWorks、StarRocks 打造 Lakehouse 架构,历经五阶段演进。迁移后技术、业务收益显著,为 AI 融合奠定数字化基础。

2025-06-10 17:55:36 1345

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除