O2O，想说爱你不容易 Deep Learning（802页 AI智能深度学习手册）

老陈（品途网专栏作者，微信公号：老陈说互联网）

从开始，O2O一词逐步走进我们的视野，从概念的火热到业内对概念的探讨，从O2O逐渐被业界认同到O2O创业公司的兴起，经过两年多的发展，现在O2O大平台格局基本落定，那么O2O未来的发展会怎么样？笔者认为O2O未来发展空间很大，仍然还有很多机会，这些机会都集中在垂直领域，大而全的平台时代已经过去，小而美的时代已经开始，但O2O创业注定一路走来很艰难，即便在垂直领域做成功后，依然要面对强大的BAT，最终甚至很可能被BAT收购。

第一，BAT等大型互联网企业看到O2O蛋糕后纷纷抢占市场，但脏话累活苦活不好干和对商户的把控不足，让他们最终更多选择通过并购来发展O2O。谈到互联网，我们就得谈BAT。百度：技术驱动型的公司，强项在于海量信息的检索；腾讯：产品驱动型的公司，强项在于产品；阿里：商务驱动型的公司，强项在于商务。BAT三巨头经过十几年发展，已经在业内树立标杆，但对于O2O，更多的需要是在线下，线上只是平台的一部分。

BAT中线下最强的是阿里，马云从创办阿里巴巴网站，到创办淘宝网、天猫网，每一个平台背后都需要大量的商务人才。O2O时代的到来，我们看到之前的一些互联网公司开始给自己的企业打上了O2O标签，诸如携程网、去哪儿、58同城、赶集网、美团网、糯米网、大众点评等，这些公司都普遍有一个共同的特点，即建立了线下强大的商务团队。旅游行业拿携程说起，携程作为一家发展了十年左右的互联网企业，最开始时与线下众多酒店、旅游公司商务谈判；分类信息行业拿58同城说起，58同城栏目中海量的信息都是58同城投入了大量资金，从线下信息采集到

DeepLearning（802页AI智能深度学习手册）

Inventorshavelongdreamedofcreatingmachinesthatthink.ThisdesiredatesbacktoatleastthetimeofancientGreece.ThemythicalfiguresPygmalion,Daedalus,andHephaestusmayallbeinterpretedaslegendaryinventors,andGalatea,Talos,andPandoramayallberegardedasartificiallife(OvidandMartin,2004;Sparkes,1996;Tandy,1997).

Whenprogrammablecomputerswerefirstconceived,peoplewonderedwhethertheymightbecomeintelligent,ove

hundredyearsbeforeonewasbuilt(Lovelace,1842).Today,artificialintelligence(AI)i

thrivingfieldwithmanypracticalapplicationsandactiveresearchtopics.Welooktointelligentsoftwaretoautomateroutinelabor,understandspeechorimages,makediagnosesinmedicineandsupportbasicscientificresearch.

Intheearlydaysofartificialintelligence,thefieldrapidlytackledandsolvedproblemsthatareintellectuallydifficultforhumanbeingsbutrelativelystraightforwardforcomputers—problemsthatcanbedescribedb

listofformal,mathematicalrules.Thetruechallengetoartificialintelligenceprovedtobesolvingthetasksthatareeasyforpeopletoperformbuthardforpeopletodescribeformally—problemsthatwesolveintuitively,thatfeelautomatic,likerecognizingspokenwordsorfacesinimages.

Thisbookisabou

solutiontothesemoreintuitiveproblems.Thissolutionistoallowcomputerstolearnfromexperienceandunderstandtheworldintermso

hierarchyofconcepts,witheachconceptdefinedintermsofitsrelationtosimplerconcepts.Bygatheringknowledgefromexperience,thisapproachavoidstheneedforhumanoperatorstoformallyspecifyalloftheknowledgethatthecomputerneeds.Thehierarchyofconceptsallowsthecomputertolearncomplicatedconceptsbybuildingthemoutofsimplerones.Ifwedra

graphshowinghowtheseconceptsarebuiltontopofeachother,thegraphisdeep,withmanylayers.Forthisreason,wecallthisapproachtoAIdeeplearning.

目录：

1引言

1.1谁应该读这本书？

1.2历史趋势的深度学习

应用数学和机器学习基础知识

2线性代数

2.1标量，向量，矩阵和张量

2.2乘法矩阵和向量

2.3身份和逆矩阵

2.4线性相关和Span

2.5规范

2.6向量和矩阵的特殊类型

2.7特征分解

2.8奇异值分解

2.9摩尔-Penrose逆

2.10跟踪操作员

2.11行列式

2.12例子：主成分分析

3概率论与信息论

3.1为什么概率有多大？

3.2随机变量

3.3概率分布

3.4边缘概率

3.5条件概率

3.6条件概率的链式法则

3.7独立和条件独立

3.8期望，方差和协方差

3.9常用概率分布

3.10常用功能的有用的属性

3.11贝叶斯法则

3.12连续变量的技术细节

3.13信息论

3.14结构概率模型

4数值计算

4.1溢和下溢

4.2可怜的调理

4.3基于梯度优化

4.4约束优化

4.5举例：线性最小二乘

5机器学习基础知识

5.1学习算法

5.2能力，过拟合和欠拟合

5.3超参数和验证集

5.4估计，偏差和方差

5.5最大似然估计

5.6贝叶斯统计

5.7监督学习算法

5.8无监督学习算法

5.9随机梯度下降

5.10构建一个机器学习算法

5.11挑战激励深度学习

深II网络：现代实践

6深层前馈网络

6.1举例：学习XOR

6.2基于梯度学习

6.3隐单元

6.4建筑设计

6.5反向传播及其他差异算法

6.6历史记载

7正规化深学习

7.1参数规范处罚

7.2规范处罚约束优化

7.3正规化和欠约束问题

7.4数据集增强

7.5噪声鲁棒

7.6半监督学习。

7.7多任务学习

7.8提前终止

7.9参数搭售和参数共享

7.10稀疏交涉

7.11套袋及其他集成方法

7.12降

7.13对抗性训练

7.14切线距离，切线道具，和多方面的切线分类

8优化培训模式深

8.1如何学习不同于纯优化

8.2挑战神经网络优化

8.3基本算法

8.4参数初始化策略

8.5算法自适应学习速率

8.6近似二阶方法

8.7优化策略和元算法

9卷积网络

9.1卷积运算

9.2动机

9.3池

9.4卷积和池作为一个无限此前强

9.5基本卷积函数的变种

9.6结构化输出

9.7数据类型

9.8高效卷积算法

9.9随机或无监督功能

9.10卷积网络的神经科学依据

9.11卷积网络和深度学习史

10序列建模：复发性和递归篮网

10.1计算展开图

10.2回归神经网络

10.3双向RNNs

10.4编码器，解码器顺序对顺序架构

10.5复发性深网

10.6递归神经网络

10.7长期依赖的挑战

10.8回声状态网络

10.9漏单位等策略多时间尺度

10.10长短期记忆等门控RNNs

10.11优化长期依赖

10.12外显记忆

11实用方法

11.1绩效指标

11.2默认的基准模型

11.3确定是否要收集更多数据

11.4选择超参数

11.5调试策略

11.6示例：多位数识别

12应用

12.1大规模深度学习

12.2计算机视觉

12.3语音识别

12.4自然语言处理

12.5其他应用程序

III深学习研究

13线性因素模型

13.1概率PCA和因子分析

13.2独立成分分析（ICA）

13.3慢特征分析

13.4稀疏编码

13.5PCA的集成块解读

14Autoencoders

14.1UndercompleteAutoencoders

14.2正规化Autoencoders

14.3表达能力，图层的大小和深度

14.4随机编码器和解码器

14.5去噪Autoencoders

14.6与Autoencoders学习阀组

14.7压缩Autoencoders

14.8预测稀疏分解

14.9Autoencoders应用

15代表学习

15.1贪婪逐层训练前无监督

15.2迁移学习和适应的域

15.3影响因素的半监督解开

15.4分布式表示

15.5从深度指数收益

15.6提供了线索，发现根本原因

16深学习结构化的概率模型

16.1非结构化建模的挑战

16.2使用图形来描述模型结构

16.3从图形模型取样

16.4结构化建模的优点

16.5学习一下相关性

16.6推理和近似推理

16.7深入学习方法，以结构化概率模型

17蒙特卡罗方法

17.1采样和蒙特卡洛方法

17.2重要性抽样

17.3马尔可夫链蒙特卡罗方法

17.4Gibbs抽样

17.5分居模式之间的混合的挑战

18面对分区函数

18.1对数似然梯度

18.2随机最大似然法和对比三岔口

18.3Pseudolikelihood

18.4得分匹配和比率匹配

18.5去噪得分匹配

18.6噪音对比估计

18.7估计分区函数

19近似推理

19.1推理的优化

19.2期望最大化

19.3MAP推理和稀疏编码

19.4变推理和学习

19.5近似推理

20深生成模型

20.1玻尔兹曼机

20.2受限玻尔兹曼机

20.3深层信念网络

20.4深层玻尔兹曼机

20.5玻尔兹曼机实值数据

20.6卷积玻尔兹曼机

20.7玻尔兹曼机的结构或顺序输出

20.8其他玻尔兹曼机

通过随机操作20.9反向传播

20.10定向生成篮网

从Autoencoders20.11图纸样品

20.12生成随机网络

20.13其他生成方案

20.14评估生成模型

20.15结论

参考书目

指数

Contents

Websitevii

Acknowledgmentsviii

Notationxi

1Introduction

1.1WhoShouldReadThisBook?

1.2HistoricalTrendsinDeepLearning

IAppliedMathandMachineLearningBasics

2LinearAlgebra

2.1Scalars,Vectors,MatricesandTensors

2.2MultiplyingMatricesandVectors

2.3IdentityandInverseMatrices

2.4LinearDependenceandSpan

2.5Norms

2.6SpecialKindsofMatricesandVectors

2.7Eigendecomposition

2.8SingularValueDecomposition

2.9TheMoore-PenrosePseudoinverse

2.10TheTraceOperator

2.11TheDeterminant

2.12Example:PrincipalComponentsAnalysis

3ProbabilityandInformationTheory

3.1WhyProbability?

3.2RandomVariables

3.3ProbabilityDistributions

3.4MarginalProbability

3.5ConditionalProbability

3.6TheChainRuleofConditionalProbabilities

3.7IndependenceandConditionalIndependence

3.8Expectation,VarianceandCovariance

3.9CommonProbabilityDistributions

3.10UsefulPropertiesofCommonFunctions

3.11Bayes’Rule

3.12TechnicalDetailsofContinuousVariables

3.13InformationTheory

3.14StructuredProbabilisticModels

4NumericalComputation

4.1OverflowandUnderflow

4.2PoorConditioning

4.3Gradient-BasedOptimization

4.4ConstrainedOptimization

4.5Example:LinearLeastSquares

5MachineLearningBasics

5.1LearningAlgorithms

5.2Capacity,OverfittingandUnderfitting

5.3HyperparametersandValidationSets

5.4Estimators,BiasandVariance

5.5MaximumLikelihoodEstimation

5.6BayesianStatistics

5.7SupervisedLearningAlgorithms

5.8UnsupervisedLearningAlgorithms

5.9StochasticGradientDescent

5.10Buildin

MachineLearningAlgorithm

5.11ChallengesMotivatingDeepLearning

IIDeepNetworks:ModernPractices

6DeepFeedforwardNetworks

6.1Example:LearningXOR

6.2Gradient-BasedLearning

6.3HiddenUnits

6.4ArchitectureDesign

6.5Back-PropagationandOtherDifferentiationAlgorithms

6.6HistoricalNotes

7RegularizationforDeepLearning

7.1ParameterNormPenalties

7.2NormPenaltiesasConstrainedOptimization

7.3RegularizationandUnder-ConstrainedProblems

7.4DatasetAugmentation

7.5NoiseRobustness

7.6Semi-SupervisedLearning.

7.7Multi-TaskLearning

7.8EarlyStopping

7.9ParameterTyingandParameterSharing

7.10SparseRepresentations

7.11BaggingandOtherEnsembleMethods

7.12Dropout

7.13AdversarialTraining

7.14TangentDistance,TangentProp,andManifoldTangentClassifier

8OptimizationforTrainingDeepModels

8.1HowLearningDiffersfromPureOptimization

8.2ChallengesinNeuralNetworkOptimization

8.3BasicAlgorithms

8.4ParameterInitializationStrategies

8.5AlgorithmswithAdaptiveLearningRates

8.6ApproximateSecond-OrderMethods

8.7OptimizationStrategiesandMeta-Algorithms

9ConvolutionalNetworks

9.1TheConvolutionOperation

9.2Motivation

9.3Pooling

9.4ConvolutionandPoolingasanInfinitelyStrongPrior

9.5VariantsoftheBasicConvolutionFunction

9.6StructuredOutputs

9.7DataTypes

9.8EfficientConvolutionAlgorithms

9.9RandomorUnsupervisedFeatures

9.10TheNeuroscientificBasisforConvolutionalNetworks

9.11ConvolutionalNetworksandtheHistoryofDeepLearning

10SequenceModeling:RecurrentandRecursiveNets

10.1UnfoldingComputationalGraphs

10.2RecurrentNeuralNetworks

10.3BidirectionalRNNs

10.4Encoder-DecoderSequence-to-SequenceArchitectures

10.5DeepRecurrentNetworks

10.6RecursiveNeuralNetworks

10.7TheChallengeofLong-TermDependencies

10.8EchoStateNetworks

10.9LeakyUnitsandOtherStrategiesforMultipleTimeScales

10.10TheLongShort-TermMemoryandOtherGatedRNNs

10.11OptimizationforLong-TermDependencies

10.12ExplicitMemory

11Practicalmethodology

11.1PerformanceMetrics

11.2DefaultBaselineModels

11.3DeterminingWhethertoGatherMoreData

11.4SelectingHyperparameters

11.5DebuggingStrategies

11.6Example:Multi-DigitNumberRecognition

12Applications

12.1LargeScaleDeepLearning

12.2ComputerVision

12.3SpeechRecognition

12.4NaturalLanguageProcessing

12.5OtherApplications

IIIDeepLearningResearch

13LinearFactorModels

13.1ProbabilisticPCAandFactorAnalysis

13.2IndependentComponentAnalysis(ICA)

13.3SlowFeatureAnalysis

13.4SparseCoding

13.5ManifoldInterpretationofPCA

14Autoencoders

14.1UndercompleteAutoencoders

14.2RegularizedAutoencoders

14.3RepresentationalPower,LayerSizeandDepth

14.4StochasticEncodersandDecoders

14.5DenoisingAutoencoders

14.6LearningManifoldswithAutoencoders

14.7ContractiveAutoencoders

14.8PredictiveSparseDecomposition

14.9ApplicationsofAutoencoders

15RepresentationLearning

15.1GreedyLayer-WiseUnsupervisedPretraining

15.2TransferLearningandDomainAdaptation

15.3Semi-SupervisedDisentanglingofCausalFactors

15.4DistributedRepresentation

15.5ExponentialGainsfromDepth

15.6ProvidingCluestoDiscoverUnderlyingCauses

16StructuredProbabilisticModelsforDeepLearning

16.1TheChallengeofUnstructuredModeling

16.2UsingGraphstoDescribeModelStructure

16.3SamplingfromGraphicalModels

16.4AdvantagesofStructuredModeling

16.5LearningaboutDependencies

16.6InferenceandApproximateInference

16.7TheDeepLearningApproachtoStructuredProbabilisticModels

17MonteCarloMethods

17.1SamplingandMonteCarloMethods

17.2ImportanceSampling

17.3MarkovChainMonteCarloMethods

17.4GibbsSampling

17.5TheChallengeofMixingbetweenSeparatedModes

18ConfrontingthePartitionFunction

18.1TheLog-LikelihoodGradient

18.2StochasticMaximumLikelihoodandContrastiveDivergence

18.3Pseudolikelihood

18.4ScoreMatchingandRatioMatching

18.5DenoisingScoreMatching

18.6Noise-ContrastiveEstimation

18.7EstimatingthePartitionFunction

19Approximateinference

19.1InferenceasOptimization

19.2ExpectationMaximization

19.3MAPInferenceandSparseCoding

19.4VariationalInferenceandLearning

19.5LearnedApproximateInference

20DeepGenerativeModels

20.1BoltzmannMachines

20.2RestrictedBoltzmannMachines

20.3DeepBeliefNetworks

20.4DeepBoltzmannMachines

20.5BoltzmannMachinesforReal-ValuedData

20.6ConvolutionalBoltzmannMachines

20.7BoltzmannMachinesforStructuredorSequentialOutputs

20.8OtherBoltzmannMachines

20.9Back-PropagationthroughRandomOperations

20.10DirectedGenerativeNets

20.11DrawingSamplesfromAutoencoders

20.12GenerativeStochasticNetworks

20.13OtherGenerationSchemes

20.14EvaluatingGenerativeModels

20.15Conclusion

Bibliography

Index

信息转载自网络，更多相关信息请点击：整合营销推广http:///wlyx/zhyx/