scala 效率

我想大部分应用开发程序员,最关键是看有什么类库合适的方便特定领域的应用开发。就像ruby有rails做web开发,你可以去论证ruby优缺点,但实际上应用开发效率提升很大程度上依靠类库。现在Spark是大数据领域的杀手级应用框架,BAT,我们现在几个领域巨头的客户(有保密协议不方便透露)都全面使用Spark了,这个时候再谈Scala适不适合大数据开发其实意义不大。因为大家比的不只是编程语言,而是构建在这个编程语言之上的类库、社区和生态圈(包括文档和数据、衍生类库、商业技术支持、成熟产品等等)。那么反过来问,为什么Spark会选择Scala可能更有意义一点。Spark主创Matei在不同场合回答两次这个问题,思考的点稍微不一样,但重点是一样的,很适合回答题主的问题。

总结来说最主要有三点:1.API能做得优雅;这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响用户体验。2.能融合到Hadoop生态圈,要用JVM语言;Hadoop现在是大数据事实标准,Spark并不是要取代Hadoop,而是要完善Hadoop生态。JVM语言大部分可能会想到Java,但Java做出来的API太丑,或者想实现一个优雅的API太费劲。3.速度要快;Scala是静态编译的,所以和JRuby,Groovy比起来速度会快很多,非常接近Java。1.Scala的基准性能很接近Java,但确实没有Java好。但很多任务的单次执行的,性能损失在毫秒级不是什么问题;2.在大数据计算次数很多的情况下,我们全部写成命令式,而且还要考虑GC,JIT等基于JVM特性的优化。

首先,Scala不把程序员当傻子。当马丁•奥德斯基宣布Scala 2.12(http://www.scala-lang.org/news/roadmap-next)将要简化语法,推出Scala"Don Giovanni"项目的时候,在视频中说的很清楚:“Scala现在是为聪明人创造的,以后也是为聪明人服务的。”所以不同于Python让程序员用一种方法做所有事情,Scala提供一整套工具,让程序员自由选择,无论是mutable数据结构,immutable数据结构,并行(parallel)数据结构。然后在这些选择中,Scala再针对他们进行算法层面的特殊优化。Scala相信程序员的聪明才智,让程序员自行选择合适的结构,以针对变化万千的任务需求,这点是Scala做得极好的地方。

Scala是不善于处理大数据的。作为一个函数式语言,必须在内存消耗和性能消耗两者之间徘徊,而普通的命令式语言就并不会有这种问题。举个例子,从数据结构来看,函数式语言要求不能修改原有结构(如果修改了,就不再吻合Immutable这一黄金定律),对于普通的链表(链表List在函数式语言中比数组Array更常见),每当你做一次操作,比如增加元素,删减元素等等,照理说会生成一个新的链表,而非像过程式语言,直接通过指针对链表本身进行修改。为了让操作速度达到与过程式语言类似或者相匹配,函数式语言的天才们发明了很多种不同方法,比如用结构分享(Structural Sharing)的技巧来应付链表,每次操作只记录下那一项特殊操作,而不毁坏或者替代原有链表。对更高级一些的结构,比如哈希图(HashMap),普通命令式语言用哈希列表(HashTable)这种简单的方式来执行,但悲壮的函数式语言就必须依赖于2-3拇指树(2-3 Finger Trie)一类的高端结构来达到相同的操作效率。

喜欢阅读
  • 纪少的恃宠娇妻

    纪少的恃宠娇妻

    为了完成母亲临死前千叮咛万嘱咐的遗愿,傅语沉同意替嫁给纪亦泽,谁知大婚后就被父亲傅兴安下了药,一心算盘着自己的退路,一边要想办法让他同意和傅兴安合作……

  • 情意绵绵:许你深情尽余欢

    情意绵绵:许你深情尽余欢

    天色黯淡下来,就是赛车手的天堂。飘雪的冬日,炙热的夏天,天大的恩仇,缠绵的情愫。到底谁是幕后主使,到底是谁在背叛……

  • 霍先生婚后再爱

    霍先生婚后再爱

    为了跟霍靳琛结婚,沈微雨用尽了手段,换来的却只有情敌的挑衅和一纸孕书。她终于忍无可忍决定离婚,冷落了她三年的丈夫冷漠一笑,“除非死,否则你这辈子都别想离婚!”死?不久后,媒体铺天盖地的报道着,霍氏总裁隐婚三年的妻子立下遗嘱,此生不再踏进霍家大门!

  • 强势宠爱:娇妻,乖一点!

    强势宠爱:娇妻,乖一点!

    公司倒闭,父母遇害,商业王国一夜倾塌。她步步为营,讨得他的疯狂宠爱,两人在感情的旋涡中越陷越深……被仇恨蒙蔽双眼的她盗取公司机密,亲手毁了他的公司结果却发现这是一场天大的误会,可大错已铸成……

  • 富可敌国

    富可敌国

    女友因为我穷给我戴了一顶绿帽,却不知家族禁令提前解除,现在的我富可敌国。

  • 美妙心灵·华丽转身

    美妙心灵·华丽转身

    这是关于一个有故事的农村姑娘,只身一人来到大城市北京,努力奋斗、努力工作的励志故事。并且在奋斗的路上,遇见了继父丢失的儿子——宁宁,也就是她青梅竹马的哥哥。他们是如何认出对方的?又是如何最终走在一起?种种疑团都在作品中为您呈现......

  • 血煞仙域

    血煞仙域

    天地浩荡,日月当空,皇天大陆,天骄并起,群雄逐鹿。八年前,少年江枫,被家族弃于妖兽山脉。然,八年后,强势归来,一人一剑,败天骄,压群雄,逆天崛起,制霸五域。圣女?只够资格给我暖床;圣子?只够资格给我背剑!

  • 恐怖殡仪馆

    恐怖殡仪馆

    我叫凌余,跟大胖一起在殡仪馆工作,有一天殡仪馆里来了一具身穿香奈儿的漂亮女尸,我把这套香奈儿偷了回去,送给了女朋友,接着,一连串的邪门事情发生了……接连的死亡,一步步逼近我跟大胖,我们又该如何逃脱死神的追逐?

  • 猜你喜欢
    热门推荐
  • 维奥莱特 比恩大尺度
  • 徽商银行积分兑换
  • 金蝶云erp
  • 爱奇艺会员扫一扫登录
  • 双氯芬酸纳缓释片进口
  • kendera lust 孩子
  • lait entier
  • luxuryliving家纺
  • 春日宴 by天意无双网盘
  • 绝地大逃杀提高fps
  • eva重制版百度云资源
  • 动漫雌雄同体决战
  • positive carry
  • 嫡女妖娆:御兽天下19楼
  • 智慧物流商业模式
  • ps 景观效果图
  • spank cartoon anime
  • debian 源里的NVIDIA
  • win10 1073 激活
  • 我喜欢你姐姐日语发音
  • All Right Reserved 安福网