开源大数据平台 E-MapReduce-最新-阿里云开发者社区-阿里云

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
本文介绍如何利用EMR Serverless Ray框架优化具身智能数据生产管线，覆盖从原始Ego视频接入、多阶段重建（标定、手部估计、身份关联等）到训练就绪数据交付的全流程；实测表明该方案显著提升重建精度（绝对定位误差降低60%）、综合准确率（提升近三倍）及处理效率（耗时缩短约40%），并支持跨阶段并行与自适应模型调度，满足量产级数据集持续演进的工程需求。
Daft 算子市场公测来了！开箱即用的 AI 算子，覆盖 视频 / 图片 / 文本 / 音频 四大场景，搭配 Qwen3.7 大模型，零成本跑通 AI 数据处理全流程。 以训练一个能理解厨房操作的智能机器人为例，我们通常需要采集数千小时由人类佩戴摄像头拍摄的操作视频。然而，当这些视频被解码后，往往会膨胀为数亿张图像帧。更棘手的是，原始数据中充斥着静止画面、模糊镜头和无效空帧等海量“噪音”。如何从这些冗余信息中高效提取出高质量训练样本，已成为多模态技术发展的核心瓶颈。 本次实战将带您深入这一典型场景，借助 Daft 算子市场，一步步拆解并跑通从视频抽帧、数据清洗到高质量样本提取的完整链路。
Stella 2.2 面向 AI 时代的数据基础设施，打通“多模态数据处理—向量化与理解—多路检索—分析消费”的完整闭环。无论数据沉淀在 Paimon 湖表，还是 StarRocks 存算分离内表，都可以在统一 SQL 入口下组合结构化分析、全文检索、向量检索与 AI Function，服务智能驾驶、具身智能、内容与商品理解、企业知识库和 RAG 等场景。
阿里云 EMR Serverless Spark + Ray 双引擎构建全模态数据处理的新基建，通过极致内核优化和统一数据、算力底座，彻底打通了大数据工程与 AI 模型训练的割裂。结合 RayData、Daft、Data-Juicer 等多模态引擎，以及 CPFS、OSS 等高性能存储生态，阿里云正在为全球的 AI 开发者提供一套最具竞争力的数据新基建。
StarRocks 全模态能力旨在打通内容理解、混合检索与业务分析的断点，支持结构化、半结构化和非结构化数据在同一条 SQL 链路中完成特征化、多条件检索（含结构化过滤、全文匹配与向量相似度）及后续 Join、聚合与指标计算，通过多模态处理、内表、Paimon 和 Lance 四类技术路径适配不同数据位置、规模与查询需求，消除多系统间的数据复制与结果搬运。
StarRocks 全面支持 Paimon 2.0，将多模态原始数据、派生特征、向量索引与业务指标统一纳管于同一湖表，并通过一套 SQL 执行架构原生融合列式扫描、标量/向量/全文检索、稀疏回捞及关联分析，支撑智能驾驶、具身智能、广告与游戏等场景下的混合查询与训练数据准备。
本文介绍如何基于 EMR Serverless StarRocks 构建统一的多模态电商搜索系统，通过内置 AI Function 实现图搜图与文搜图场景的一体化处理：利用 Object Table 直接挂载 OSS 图片，结合 HNSW/IVFPQ 向量索引与结构化字段联合查询，将图片/文本向量化、ANN 检索、业务过滤（价格、库存、类目等）全部收敛至单条 SQL，消除多系统割裂与数据延迟问题，显著提升搜索实时性、准确性和工程效率。
阿里云EMR Serverless StarRocks实现全文、标量、向量三路原生融合检索，支持在Paimon/Iceberg/Lance等开放湖格式上通过一条SQL完成关键词匹配、条件过滤与语义相似联合召回，并内置RRF重排、In-Filter深度优化及列级回写能力，显著提升召回率与执行效率；相比传统多系统架构，成本降低60%，数据全程不出湖，适用于自动驾驶Corner Case挖掘、RAG增强、电商搜索等多模态场景。
阿里云EMR Serverless StarRocks Skills正式发布，面向Agent提供SQL开发、慢查询诊断、建表设计、数据导入、实例运维与弹性扩缩容六大能力，通过starrocks-assistant和starrocks-manage两大Skill封装StarRocks最佳实践与实时集群状态，实现从“生成建议”到“自动执行”的跃迁，已兼容Qoder、Claude Code、DataWorks Data Agent等主流AI客户端，标志着EMR从业界领先大数据基座全面迈入Agentic时代。
本文介绍了如何利用 StarRocks AI Function 在数据库内原生实现金融文本的端到端智能分析，涵盖情感分析、工单分类、合同要素抽取、PII 脱敏等核心场景，通过异步非阻塞架构、SQL 谓词下推、LRU 缓存与三层限流等技术创新，在保障数据不出库的前提下，显著提升处理并发性、降低延迟与 Token 成本，并满足金融级安全合规要求。
StarRocks 已构建覆盖结构化、半结构化与非结构化数据的全模态能力，支持向量检索、混合检索（结构化条件+全文+语义相似度）及多模态联合分析，通过内表、Paimon湖表、Lance接入和多模态处理四条路径，统一实现对象理解、特征化、多维检索与业务关联分析，适用于基础模型训练、智能驾驶、具身智能、短剧生产与游戏IP管理等复杂AI场景。
本文介绍了阿里云EMR Daft与Qoder协同实现智驾数据处理Pipeline的一站式解决方案，通过自然语言描述需求即可自动生成并运行分布式多模态作业，覆盖OSS视频读取、场景切分、关键帧提取、多维度标签生成、Embedding计算及结果写入Paimon数据湖的完整链路，显著降低工程复杂度，提升数据资产构建效率。
本文介绍了阿里云EMR Serverless Spark AI Function在多模态处理上的能力升级与智驾场景落地实践，涵盖图片理解（aiquery）和向量化（aiembeddingmultimodal）两大核心函数的多种调用模式，支持URI路径、二进制流及readfiles直读等灵活输入方式，并可对接百炼或PAI-EAS实现快速验证与企业级安全推理；通过智驾环岛识别与特种车辆检测案例，验证了其在高分辨率图像秒级结构化分析、长尾场景泛化及自动化数据清洗方面的实际效能。
阿里云EMR Serverless Spark正式发布Agent Skill，支持通过自然语言完成工作空间创建、Spark作业提交与监控、弹性资源扩缩容及交互式SQL查询等核心运维操作，覆盖从基础设施配置到任务调度的全链路管理；该Skill已实现与RAM授权、DLF元数据、OSS存储及Kyuubi服务的深度集成，并规划接入智能告警、成本优化与故障诊断能力，推动数据运维从被动响应迈向主动协同。
本文介绍了在阿里云EMR Serverless Ray上部署Qwen3.5系列模型并实现高吞吐批量推理的完整实践，涵盖基于Ray Serve LLM的模型服务构建、通过Ray Data aiquery进行声明式批量推理、关键参数调优及结果落库等环节，验证了该方案在离线标注、RAG生成和模型评估等场景下的高效性与弹性扩展能力。
本文详细介绍了基于 Daft 构建的多模态视频理解流水线，涵盖从远程视频按需抽帧、智能采样、黑边裁剪与 OSS 落盘，到大模型批量打标生成结构化标签的全链路实践；重点阐述了三项核心性能优化——读取时的关键帧定位下推、采样过程中的无用帧跳过、以及多线程并行解码，并通过实测验证其叠加效果，最终实现 TB 级视频数据高效转化为可检索分析的结构化语义信息。
本文介绍了在阿里云EMR Serverless Spark上通过Daft引擎的AI Function（aiquery、aiembedding、aiembeddingmultimodal）将大模型调用与多模态向量化无缝集成到DataFrame处理链路中的实践方案，解决了传统方式中链路割裂、多模态难统一、并发对齐复杂及模型服务配置繁琐等核心痛点，实现像操作普通列一样完成AI推理与向量化。
EMR Serverless Spark 基于 DLF Global Index 实现标量与向量联合索引，通过原生 vectorsearch 函数与标准 SQL WHERE 子句协同执行，支持一条 SQL 完成“语义相似+结构化条件”的混合检索；该能力覆盖智能驾驶长尾场景挖掘、多模态搜索、RAG增强及离线向量批处理等典型场景，具备零门槛SQL接入、索引全自动托管、存算分离按需计费及3倍性能提升等核心优势。
Spark 4.0 通过引入 VARIANT 半结构化数据类型、原生 SQL UDF 和增强的 PySpark 生态，显著提升了湖仓一体架构下的查询性能、SQL 表达能力与 Python 工程效率；阿里云 EMR Serverless Spark 已全面支持该版本，企业可开箱即用这些能力，无需运维集群或处理兼容性问题，加速数据处理升级。
针对自动驾驶海量图像挖掘难题，团队基于阿里云 EMR Serverless StarRocks 构建全链路解决方案。通过 Object Table 挂载 OSS 原图，利用 AI Function 在库内完成场景理解、结构化打标及向量化，将非结构化数据转化为统一 Schema 资产。借助标量过滤与向量相似度融合的 SQL 混合检索，实现长尾场景精准圈选与标签回写。该方案消除跨系统数据搬运，显著提升数据挖掘效率与模型迭代闭环速度，实现“推理即查询”。
针对淘天集团秒级分析需求，构建基于Fluss、Paimon与StarRocks的湖流一体架构。Flusss承载秒级实时数据，Paimon沉淀分钟及历史数据，StarRocks通过Union Read统一查询，实现数据自动同步与口径一致。相比传统Kafka+Flink链路，新方案消除实时孤岛，降低80以上消费成本，提升50%开发效率。阿里云EMR Serverless StarRocks通过Native读取等增强，进一步简化运维，实现低成本、高性能的秒级实时OLAP分析。
EMR Serverless Spark AI Function 已在智驾、具身智能等行业广泛落地。随着数据规模增长，如何控制由模型推理与Spark计算资源构成的双重成本愈发关键。本文深入解析并发控制等执行机制，并重点介绍两大降本手段：一是通过感知AI Function的查询优化减少模型调用量；二是利用Batch File异步批量推理降低单价并释放等待期资源。两者适用场景各异且可叠加使用，助力企业实现高效降本。
EMR StarRocks Stella 2.2.0 多模态数据处理与检索能力重磅发布！揭秘文本、图片、视频的统一向量化与多模态理解，实战演示具身行业训练数据圈选全流程，从向量化标注到模型训练准备，助力智能驾驶、RAG等场景落地，理论+实操一站式掌握！
8月14日，阿里云在北京举办“Agentic Lakehouse”技术活动，聚焦开源大数据生态如何支撑AI Agent全生命周期。
针对消费金融多模态数据（语音、图片、文本）处理难、风险识别滞后及系统割裂痛点，方案基于阿里云 EMR Serverless StarRocks，利用 AI Function实现“推理即查询”。通过标准SQL直接在库内调用大模型，完成OSS文件映射、VLM/ASR识别、情感意图打标、向量生成及内外舆情交叉印证。该方案将非结构化数据转化为可计算资产，实现全量工单自动质检与实时高危预警。相比传统链路，显著降低工程复杂度与成本，提升合规效率，确保数据不出库，为金融风控提供高效、安全的多模态闭环解决方案。
针对大模型语料清洗中文本去重面临的性能瓶颈，某企业迁移至阿里云emr serverless spark后实现突破。新方案通过minhash-lsh内置函数将算法下沉引擎层，减少40%代码量；结合fusion engine向量化加速与shuffle优化，消除python udf跨进程开销并解决数据倾斜问题。实测去重性能提升4倍，任务耗时从天级降至小时级，且实现零shuffle失败与免运维。该实践验证了serverless架构在pb级数据预处理中的高效性与稳定性，显著加速模型迭代并降低计算成本。
钛动科技针对DSP广告业务9.6PB数据规模及多场景SLA差异，将原StarRocks All-in-One架构重构为三条差异化链路：NRR链路利用DLF Paimon存储低频数据，降低60%成本；BT链路依托EMR Serverless StarRocks主键表，实现2分钟新鲜度及P99<5ms在线点查；CT链路负责数据归并。通过解耦实时点查与BI物化视图，该方案在保障故障隔离的同时，兼顾了低成本、高性能与高稳定性，实现了阿里云大数据产品栈的高效协同。
阿里云 EMR Serverless Spark 引入 Ray 分布式计算框架与 Daft 高性能数据引擎，为用户提供了一套开箱即用、免运维且极致高效的多模态数据处理基础设施。
StarRocks x Fluss x Paimon 湖流一体方案通过将 Apache Fluss（面向分析场景的实时流存储）与 Apache Paimon（高性能湖格式表）深度融合，以 StarRocks 作为统一查询入口，构建了一套具备秒级新鲜度、十倍成本降低、一份数据一次查询的全新实时数据引擎。本文将介绍该方案的核心架构、技术优势、查询模式以及在阿里云 EMR Serverless StarRocks 上的产品化落地。
阿里云 EMR Serverless StarRocks 在统一数据、一致语义和系统级优化之上，构建了面向 AI Data、AI Agent 和多模态应用的下一代湖仓架构。
优路教育大数据团队携手阿里云，基于实时计算 Flink + EMR Serverless StarRocks + DLF(Paimon) 构建了全链路实时数据服务平台，从学员画像、营销筛选到题库关联查询，实现了从“分钟级延迟”到“秒级响应”的质变，为成人教育行业的数据化转型提供了标杆实践。
2026年OpenClaw+QQ机器人保姆级教程：7步完成