陈福豪

小鹏汽车

• 搭建了一个实时自动驾驶数据处理平台，为国内和海外的采集车辆和用户车辆提供全方位的数据处理服务。处理包括图片、视频、激光雷达和CAN总线等多种类型的数据，每天平均处理超过60TB的数据，并保证处理时间低于12小时。该平台能够高效地接入、清洗、过滤、脱敏等处理来自多个数据源(汽车+机器马)、传感器、场景的数据，确保下游能够迅速获取准确、合规的数据。致力于为用户提供高效、可靠的数据处理解决方案
• 采集车数据是为感知团队提供冷启动数据，以建立基础模型。而用户车则通过远程释放车辆中的触发程序，当车辆遇到corner cases或NGP(自动导航辅助驾驶)失效并需要用户接管时，会记录触发事件以记录当时的现场情况。这些事件包括图片、视频、激光雷达、CAN总线、文本日志以及车辆模型输出的DDS数据结果，这些数据将被记录并发送至云服务器。在云端，数据处理平台将这些数据注入到模拟系统中，以供感知团队还原和理解场景。有助于解决感知模型的长尾效应，对于KPI的改善非常有帮助
• 构建了基于虚幻引擎(UE)的仿真数据云端生成pipeline，针对特殊corner cases快速生成大量相关数据集，对真实采集数据进行补充，提高模型KPI，降低采集成本
• 建立了公司内首个图像和视频数据的脱敏系统(云端+车端)，并将其应用于国内与海外的数据采集任务。该系统在保护用户隐私方面发挥了重要作用，确保敏感数据得到适当的处理和保护(1专利，公司质量奖)
• 通过CDC技术聚合各个业务系统的数据，包括数据管道、地图POI、标注平台、全栈测试管理等，能够兼容多种数据类型。对聚合的数据进行分析和精炼，为用户提供有价值的数据
• 承担部分数据流架构设计、数据质量和成本优化。作为技术负责人，负责交付项目，协调团队资源并减少技术债务
• Keywords: 自动驾驶大数据处理

Grab

• 通过接入司机和骑手的实时位置数据，建立了覆盖东南亚100多个城市的实时地理交通流平台。为公司的打车和外卖核心业务提供实时路况，助力最佳路线，预计到达时间ETA，计费预测服务
• 对实时交通计算系统进行了重构，将每个组件进行模块化并分离，建立了快速接入第三方地图数据的能力(如googleMap，hereMap，skMap)，并基于Kubernetes实现了整个持续交付流程
• 通过源模块化将离线数据与实时计算解耦，降低系统复杂性与运维成本，实现了实时车辆GPS数据聚合和水印计算，从而提高ETA准确性和计费合理性
• Keywords: 交通流大数据计算

腾讯

• 引入了自动化分片与索引的分层分裂，提升了游戏日志检索平台30%日志索引速度，让用户数据能够更快速地流动
• 设计了一套统一接口框架，实现了游戏数据在不同数据库组件中的路由、迁移、分层、扩缩容、监控、故障恢复，降低了用户使用门槛
• 构建了一套多数据库组件的管理系统，提高了数据库管理自动化运维效率
• 开源了一个相对独立，完整的es自动化监控dashboard
• Keywords: 游戏大数据存储

京东

• 设计了一个广告智能出价平台，引入了多点触控归因MTA模型和置信区间，解决了不同维度的广告数据稀疏问题，帮助广告主一键式智能投放广告。提升了广告平台中间页和外部页5% ROI(1专利，公司金项目奖)
• 实现了一套多维度的估价系统，帮助广告主在不同渠道实现自动差异化出价，精细化其广告预算分配
• 构建了一套对接微信社交用户的商品检索系统，达到了每月千万GMV并吸引新用户
• Keywords: 广告大数据检索