“应用测试是穷举错误的过程，而人恰恰最难实现重复劳动。应该把这些重复的工作自动化。”
2014.8.8 第 10 期 作者：黄齐
“Testin三年来只做了一件事。”这是Testin云测的创始人王军对凤凰科技记者说的第一句话。
从2011年11月正式推出云测试平台，Testin云测已经在手机、平板、智能电视和OTT终端测试上跑了超过6000万次应用和游戏测试，平台上的几千部终端堆放在北京机房的100多个黑色机柜里。
作为国内首个面向开发者的免费应用测试平台，Testin提供的服务正在从最初的真机测试向上下游延伸，从应用开发环节的功能验证和稳定性测试、应用发布前在不同型号终端上的兼容测试到应用发布后的“崩溃分析”，形成完整的测试闭环，王军称之为“移动应用生命周期持续测试”。
除此之外，王军向凤凰科技首次披露，接下来将引入游戏的用户测试，由真实用户对游戏进行试玩评测，以了解特定人群对游戏的视觉偏好和感官体验。
默默耕耘的Testin并不直接为大众用户所熟知，但它实际解决了单个开发者、乃至小型开发团队的无解难题：在不同机型上的成千上次重复测试。美图秀秀、唱吧、酷盘、酷狗音乐等后来声名远播的移动应用，都曾使用过Testin的服务。
不久之前，Testin云测刚完成几千万美金的B轮融资。
在商谈了一年之后，Testin云测在今年7月宣布和全球最大的移动芯片厂商ARM联合建立“ARM移动互联社区应用测试中心”，Testin是ARM唯一的合作方。
“ARM最后选择Testin而非其他海外公司的原因有二，一是Testin的免费模式，二是Testin非常专注硬件的真机测试。”王军如是解释双方的合作。
“国外的测试测试采取旧的硬件破解方式，不像我们自己写驱动，而且都是由商业服务提供方去服务终端厂商或大开发者。”王军这样举例，“在欧美一部终端按小时收费大概是十几美金，但你只要注册和验证Testin，一次不限制就可以提交500个终端的测试。这在ARM来看太crazy了。”
久邦移动互联网研究院副院长金健曾表示，Testin对创业者的意义是帮他们节省大量资金和时间，使开发者能更聚焦产品和服务。
在微软等大公司内部，软件功能测试以项目组形式存在，但在iOS过百万独立应用的开发者中，70%是个人或3-5人的小型工作室，没有人力可以专门负责测试工作。
因此，开发者在开发环境内难以独立完成两部分工作。一是功能的持续验证，“任何功能点的迭代每次都要从头到尾，几百个功能点跑完，小的开发者受限于资源往往估计不到，导致很多应用是’带伤发布’。”二是稳定性测试，应用程序存在一定磨合期，部分程序通常要跑到一定时间才会出现不稳定现象。
基于此，Testin向开发者免费提供这两项应用测试。 开发者只需要下载Testin客户端，即可在本地完成完整的无数次测试，且全部采取“黑盒测试”——除了为应用商店提供的服务必须要测试是否含“黄赌毒”内容，其他的应用测试Testin均不查看应用内容，不会举报，不对代码做分析，应用程序测试完后全部删除。
除此之外，Testin最新推出的移动应用动态性能分析系统，可对已下载未使用的流失用户进行分析，即“崩溃分析”。
“对一个应用来说，30%的留存率已经很好了，但70%的人为什么没有来？1忘了用2安装不成功3启动崩溃4登陆失败5运行更新失败还有6789……不能穷举的问题是开发者在测试环节无法穷举的，我们有个探针可以在实际环境下分析。”王军说。
在Testin技术人员向记者演示的过程中，系统探针可以检测出程序出现问题的环节，并具体显示出现问题的代码行数，还包括应用具体在哪些机型上崩溃，开发者可据此返回修改。据王军介绍，未来Testin还将此进行可视化，类似google显示用户分布一样做成用户质量的地图，每一个红点表示一个用户失败。
崩溃分析同时可用于和芯片厂商的合作。“系统分析报告在什么机型上崩溃，是不是只在某一款机器出现。这就可以和芯片厂商合作，比如哪些芯片的共性错误比较多。”王军说。
除了是ARM的全球应用测试中心独家合作方外，Testin有着从手机厂商到互联网巨头的诸多合作伙伴。
6月20日，Testin云测和金山云、安全宝、小米互娱合作成立游戏开发者联盟，提供游戏测试、云主机、游戏安全保护服务；同月，Testin和360移动开放平台合作，开发者直接登陆360移动开放平台便可以在线完成所有测试工作；7月份，Testin第四次与英特尔合作，推出基于英特尔处理器的移动设备及应用测试开发者扶植计划。
除了大厂商，Testin的合作伙伴还包括众多小开发者。据王军透露，Testin接下来将把三年经营的开发者聚集起来，以资源互换的方式进行真人用户测试。“应用测试不管怎么做，机器都不可能替代人的体验和感官，特定人群的视觉偏好靠自动化无法完成，这个项目目前为止还处在秘密阶段。”
和ARM、英特尔等芯片厂商合作的优势是，Testin可以帮助开发者更早接触到最新芯片，在王军接受凤凰科技采访的当天早上，他刚刚与一家芯片厂商谈完，8月份该厂商最新芯片将在工厂拿到之前先给Testin。“我们等于是把下游资源建立起来服务上游，又把上游关系建立起来服务下游。”王军表示。
这种多年经营的合作关系被视为Testin的核心壁垒之一，然而实际上，来自巨头的竞争者并不少。今年6月，腾讯的“宝贝计划”提供应用加固、真机测试、用户评测、一键发布等功能，“云拨测”的服务质量监测类产品提供网站性能监测及故障告警；更早的2012年9月，百度推出云测试MTC，服务类型与Testin相似。
但在王军看来，Testin有两点是竞争对手们无法简单复制的：一是完善的底层技术，二是庞大的测试脚本。
目前，Testin已有40多项专利，测试框架覆盖安卓和IOS。“我们还支持定制的安卓系统，这个是所有第三方无法做到的。比如说，阿里的云OS驱动，除了阿里自身只有Testin有，原因很简单，那套测试框架是我们提供的。”
测试脚本则来自于三年6000万次积累。“样本识别是需要脚本库跑到那个时候才会出现记录，任何人要追赶，我们走过的路他们都要走一遍。跑完几千万次学习的过程怎么也得跑个三年左右。”王军说，“所以把我公司的人挖走也没用，甚至把我挖走也没用，因为脚本库一定需要那么多时间。”
从最早2011年从几个创始人出资200多万购买终端进行真机测试，到2012年引入IDG共990万美金的A轮投资，2013年发布第一版客户端可在本地完成测试，Testin的工作扎实做了2年多，到今年，Testin从单一测试进入打通产业上下游的闭环阶段：从简单代码验证程序是否可行，到验证所有终端是否可行，到找用户测试算法是否太简单，最后是发布之后跟踪用户反馈。
去年年底，Testin实现盈亏平衡，但王军今年反而希望更大亏损，“最好外界说我们根本不挣钱，这样竞争对手们会觉得做这件事没有意义了。”
创立Testin时，王军已非热血少年。
2008年，负责Pica测试业务的王军带领团队为中移动交付产品。奥运会结束到第二年春节的4个多月，每天晚上8点钟他要带领测试团队在几十部终端上跑完应用，凌晨3点回家，第二天9点开会将bug反馈给开发团队。“当时我就觉得应该把这些重复的工作自动化，应用测试是穷举错误的过程，而人恰恰最难实现重复劳动。”
2010年9月，中软国际收购PICA，年届四十的王军决定创业，一方面，他深深理解开发者的艰难，另一方面，中软的外包模式与他的理念并不相符。
“所以当时做这个苦逼产品的根本原因，是希望解决开发者最痛苦的事情。”王军说，“我们都不年轻了，不会一时冲动搞个很酷很炫的东西。”
最开始创业的7个人中6个来自Pica，没有天使投资，王军和他的团队自己给自己投钱，“义无反顾就开始干了”。A轮投资的IDG此前也是Pica的股东。
Pica的成功退出使IDG对Testin团队积累了信任和了解。负责Testin项目投资的IDG副总裁岳斌表示，在投资前曾注意到百度已经开始做此项业务，但他认为百度当时会先发展自身PC端主业的移动互联网化，未必能经营好新兴市场，另外，比起“烧钱”的电商，Testin的成本也更可控。
目前，Testin在国内有2万多个企业认证开发者，其中付费的有2千多家。付费客户在交付紧迫程度、占用终端数量、后续跟进和bug分析等服务级别不同，另外，Testin也为付费客户提供定制的增值服务。但是免费或付费最终的交付质量是一致的，“像坐飞机的经济舱和头等舱”。
除了定制服务的收费外，王军并未透露接下来的盈利模式。他认为当下首要是培养开发者的用户习惯，“如果开发者使用Testin能更好地交付应用，那么我们之间的关系就会更加密切，商业模式也会自然到来。”
回首创业历程，王军说“太难了”。创业头一年，Testin员工每天工作12小时，一周工作6天。但在凤凰科技提及具体困境时，王军并未正面举例，只是反复引述BAT创始人早年广为人知的窘况。比起90后创业者对于营销的信仰，在王军身上，更多看到对意志的重视。在困境中，这种差别会更多体现出来。
“我们常常说君子晚成，当一件事很容易成的时候，幸运的成分占多，重复的可能性很小。”王军说，“所以对创业公司来说，晚成是正常的，早成是幸运的。”
他认为创业者，一要有长远目标，二要找到刚性需求，三要顺着刚需做下去。“不要羡慕别人风花雪月，你一定要经历那些苦难，可能一开始不挣钱、很苦逼，但一定要坚持。想成事而且想成大事，就要忍得住寂寞。”
《创业记》为凤凰网科技频道创业类栏目品牌，分为《创业记·周末》、《创业记·项目》、《创业记·志刚和他的朋友们》三大栏目。《创业记·项目》每天一期，介绍海内外炫酷项目和创新产品。《创业记·周末》报道创业故事和行业趋势，分享创业过程中的酸甜苦辣。《创业记·志刚和他的朋友们》为视频访谈节目，由商业作家李志刚担当主持，深入对话创业家。该节目关注新商业经济，聚焦明星企业家，为创业人群提供有价值内容。
栏目联系邮箱：lixun@ifeng.com
所有评论仅代表网友意见，凤凰网保持中立