从2018年AIOT产业布局的角度来看,主要有以下主要趋势:
边缘计算不断得到强调,存储和计算的布局从云端回到边缘;
AI不断强调,整个行业从强调物联网连接到人工智能授权;
该行业已提上日程,各种行业解决方案不断被提出并开始下降,整体解决方案需求远高于纯算法要求。
据雷锋网(公众号:雷锋)介绍,5月24日,在高通人工智能创新论坛上,高通公布了与中科创达(创通联达)的深入合作,两者都通过了最新的终端方面。 AI商业技术将发布最先进的AI开发套件—— TurboX AI Developer Kit; 10月24日,TurboX AI Kit将正式推出,中科创达将围绕开发套件收集全球开发人员活动的算法和应用程序。将AI从算法模型推送到产品化和商业化。
12月13日,在2018年的THUNDERWORLD,中科创达副总裁孙力解释并分析了当前的AI视觉技术和行业应用与挑战,以及TurboX AI Kit相关技术和应用。
图像处理系统的挑战
在视觉技术方面,您必须拥有一个用于图像捕捉的相机。以手机为例,首先必须有相关的图像采集和应用模块;必须有一个主芯片,涉及功率优化,性能优化和系统驱动;必须有一些算法,不仅是人脸识别,美观,包括传统拼接,光学处理和降噪都需要相关的算法。
从图中可以看出,该系统架构更复杂。中科创达是一家经营系统的公司,其自己的子模块和子系统也非常复杂。在整个底层驱动核心曝光,重点关注,这些算法最多可以处理视频,整体架构将非常复杂。
成为优秀的图像处理系统存在许多挑战。
首先,图像采集这个环节有很多挑战,包括摄像头模组的选择、图象处理算法的选择、芯片加速、画质调优等;
其次,硬件的碎片化需对画质进行复杂的调优流程,实验室与实际生活场景有很大的不同,因而,也需要对画质进行复杂的调优流程;
另外,在进行系统设计时,功耗和性能又需要作出权衡和调整。
其中,图像质量调整(IQ)是一个非常复杂的部分,也是图像处理中最重要的部分。要捕捉最佳图像,包括亮度,白平衡,对比度和颜色,您需要非常精确。
图像质量调整分为三个阶段:
首先,首先完成基本软件和驱动程序,包括软件功能检查,没有影响IQ的重大错误,验证原始图片(EXIF,AE参数,校准数据)等;
二,实验室配备了大量专业的实验室调整设备,包括LSC,AWB,AE,Gamma,对比度增强,CCM,DPC,噪声滤波,边缘增强等参数检测和处理;
三,真实场景调整,与参考设备相比进行拍摄和调整,参考设备包括:人物,宠物,风景,人像,户外,低光,办公,家居,闪光灯,背光,电影等。
为了加强相关能力,中科创达于2017年12月收购了世界领先的移动和工业图形和视觉技术公司——保加利亚科技公司MMS为3100万欧元,因而拥有世界顶级的IQ团队,在质量上具有足够强大的能力为AI支持行业应用打下基础。
据雷锋网报道,这实际上不是中科创达的第一次海外收购。第一次海外收购中科创达是在2016年底,收购了位于芬兰的汽车互动技术公司Rightware,收购了6400万欧元。加快中科通讯在汽车领域的布局。
硬件加速应用和3D视觉的兴起
在视觉技术方面,硬件加速近年来备受关注,也是改善图像相关计算的关键部分。孙力在会上还提到,“你会发现大量的算法公司在物联网时代之前无法继续,并且不能真正使用像GPU这样的加速硬件,因为他们确实需要使用嵌入式GPU。硬件要求但是,这种嵌入式硬件对于加速算法非常有帮助。如果不使用,会浪费硬件和功耗。例如,在手机或汽车上拼接多个摄像头,其拼接算法可以使用GPU,并尽量不使用CPU。”
以汽车应用为例,更多人谈到的是ADAS本身,它将经历「从外置的ISP到内置的ISP,再到Bayer Sensor」的技术变革。目前的主流解决方案仍然使用外部ISP,但汽车中的图像传感器将经历类似于从功能机器到智能手机的移动电话的演变。
目前的主流解决方案仍然是使用外置ISP,价格是2-3美元,加一台摄像头,总共8美元,这样的成本问题,以及加热问题的拼接问题,环顾四周等应用程序,必然会导致类似的手机从功能机器迁移到智能机器。
图像视觉的另一个趋势是3D图像技术的兴起。目前使用的许多算法,包括竞赛中使用的算法,仍然是2D。但是,从目前的技术发展需求和发展趋势来看,3D视觉技术将越来越受欢迎。
目前,3D视觉技术的普及主要面临以下问题:
由于规模问题,BOM成本并没有减少到平民;
各种光学设计,碎片(ToF,结构光,双目,有源双目等)都是严重的问题;
嵌入式SoC的深度图计算能力(基于PC的PC辅助);
多组的完整建模问题集;
RGBD,基于3D的人工智能学术进步。
我认为未来的3D技术将给AI带来很大的变化,人工智能也会突然出现,包括对象分类也可以做得很好。
智能视觉和Edge AI开发套件
雷锋网了解近年来整个视觉市场持续乐观,嵌入式视频终端数量持续增长。例如,Amazon AWS DeepLens,Google AIY Vision,Microsoft Vision AI Developer Kit等,市场上有越来越多的边缘智能愿景。设备出现。为此,中科创达和高通联合推出了基于Qualcomm Snapdragon 845平台和AI Engine人工智能引擎的TurboX AI Kit嵌入式端侧/边缘AI开发套件。 10月24日,TurboX AI Kit正式推出。
尽管有市场趋势,但嵌入式AI算法仍面临许多挑战,例如计算资源有限、终端处理平台碎片化、应用场景和需求多样化、性能(准确率-速度)的平衡与取舍、生态系统不成熟、功耗与成本较高等问题。
嵌入式最关键的方面是硬件和软件的深度集成。
在硬件方面,物联网使设备联网。首先要做的是查看功耗,热量和加速度。 AI操作加速引擎应尽可能使用现有的DSP,GPU,NPU等加速硬件,以满足功耗和加热的约束,并与芯片平台集成,实现AI操作加速引擎。
在软件算法方面,核心是减少算法计算量。设计适合嵌入式平台的模型体系结构,一方面应该定制模型,另一方面,它应该与场景深度集成并进行调整和优化,在深度学习模型中共享超参数,并压缩网络。
AI授权行业需要一个平台,而不仅仅是算法
近年来,人工智能逐渐开始赋予行业权力。其中,还存在一些问题和挑战,包括以下三个方面:
首先,客户期望整体解决方案包括数据采集,隐私问题,培训,生产管理系统,私有云部署以及前端和端端,而不是纯算法;
其次,客户测量人工智能技术的预算不是基于人工智能作为高科技技术,而是基于生产力提高(用户体验改善,销售转换率等),运营效率优化和可提供的预算绩效按业务表现。在逆行中,这与当前昂贵的人工智能输入成本(人力,服务器等)相矛盾;
此外,行业客户的工作流程和部门职能尚未围绕先进生产力进行部署和优化。客户希望一次投资人工智能平台,可以一劳永逸地实现自我培训,升级和部署。该算法,未来围绕需要解决的领域问题,需要建立少量的人工服务算法。
最后,孙力还强调了两点:第一,AI需要一个小的平台和引擎,而不是仅仅提供一个算法;第二,不能太迷信AI的算法,有的时候还得用传统的图象处理的算法。
该公司花了300万购买一套GPU算法。如何管理这些数据?您需要从构建,管理,操作和整个生命周期管理整个AI模型,并且需要提供调度,接口,UI等。所以整个AI平台是必须的。
本文由雷锋转移。如果您需要转载,请在雷锋网上申请授权。