Hi 欢迎来到Paper 研习社每日精选栏目,Paper 研习社(paper.yanxishe.com)每天都为你精选关于人工智能的前沿学术论文供你参考,以下是今日的精选内容——

 关于大熊猫的论文:用声音预测交配成功与否

监制:孙爱东 王新亚 许小丹

美术设计:朱珊珊 康迪

人的价值,就是要靠劳动和创造去实现。劳动,是每一个人与生俱来的权利。新中国成立70年来,劳动者的收入稳步提升、劳动环境持续改善、就业渠道越来越宽,劳动正变得越来越有价值,越来越鼓舞人心。

推荐理由:基于递归神经网络(RNNLM)的神经语言模型显着提高了文本生成的性能,但是以图灵测试通过率表示的生成文本的质量仍然远远不能令人满意。一些研究人员建议使用对抗训练或强化学习来提高质量,但是,这种方法通常会在训练和参数调整过程中带来巨大挑战。通过组织的分析,其发现RNNLM的问题来自最大似然估计(MLE)作为目标函数的使用,这需要生成的分布来精确地恢复真实分布。这种要求有利于高世代多样性,这限制了世代质量。当整体质量较低时,这是不合适的,因为高世代多样性通常表示很多错误,而不是多样化的好样本。在本文中,作者建议实现差异化的分布恢复,简称DDR。关键思想是使最佳生成概率与真实概率的β次方成正比,

伴随着新中国的茁壮成长,劳动者的劳动收入、劳动环境、劳动技能实现了从量变到质变的提升。而我国对于劳动者的劳动保障同样没有缺位。

70年来,我国法定节假日的总时长不断延长。新中国成立初期,我国实行的是单休工作制,全年法定休息日只有59天。改革开放以后,我国逐渐有了双休工作制,再加上法定节假日和带薪年假,全年休息日可达120天以上。

推荐理由:核心问题:在深度学习快速发展的背景下,在计算机视觉领域传统的计算机视觉技术是否还有意义?

推荐理由:《星际争霸2》对强化学习提出了巨大挑战。它的主要困难包括巨大的状态和行动空间以及长期的视野。在本文中,我们研究了《星际争霸2》的分层强化学习方法。层次结构涉及两个抽象级别。一种是从专家的轨迹中自动提取的宏动作,它可以将动作空间减少一个数量级,但仍然有效。另一个是两层的分层体系结构,该体系结构是模块化的并且易于扩展,从而使课程表可以从较简单的任务转换为较复杂的任务。还研究了这种体系结构的强化训练算法。在64×64的地图上并使用限制性单位,相对于内置难度为1级的AI,我们的获胜率超过99%。通过课程转移学习算法和混合战斗模型,我们可以对付最困难的人族内置非作弊内置AI(7级),并在两天内进行一次训练,就能获得超过93%的Protoss胜率。机器只有48个CPU内核和8个K40 GPU。当针对从未见过的对手进行测试时,它也显示出强大的概括性能,包括作弊级别的内置AI以及所有级别的Zerg和Protoss内置AI。我们希望这项研究可以为将来的大规模强化学习研究提供一些启示。

项目运营:王小丹 张初

雷锋网雷锋网(公众号:雷锋网)雷锋网

推荐理由:为在线文本内容推荐合适的标签是更好地组织和使用内容的关键组成部分。在本文中,我们确定了影响标签推荐准确性的三个支柱:(1)顺序文本建模,这意味着固有的顺序排序以及文本的不同区域可能对相应的标签具有重要的意义,(2 )标签相关性,意味着某个文本内容的标签通常在语义上相互关联;(3)内容-标签重叠,表示内容和标签的词汇重叠。但是,现有方法都没有考虑所有这三个方面,导致标签推荐不理想。在本文中,我们提出了一个完整的模型来在相干的编码器-解码器框架中对所有三个方面进行编码。具体来说,(1)编码器使用注意力机制通过递归神经网络对文本内容的语义进行建模;(2)解码器通过预测路径处理标签相关性;(3)共享的嵌入层和指示符功能跨编码器-解码器地址的内容标签重叠。在三个现实世界数据集上的实验结果表明,该方法在推荐准确性方面明显优于现有方法。

推荐理由:关系抽取的过去工作主要集中在单个句子中实体对之间的二进制关系。最近,NLP社区对跨多个句子的实体对中的关系提取感兴趣。在本文中,我们针对此任务提出了一种新颖的体系结构:基于句间依赖的神经网络(iDepNN)。iDepNN通过递归和递归神经网络对最短和增强的依存路径进行建模,以提取句子内部(内部)和跨(内部)边界的关系。与SVM和神经网络基线相比,iDepNN对于跨越句子的关系中的误报更为可靠。我们在新闻链(MUC6)和医学(BioNLP共享任务)域的四个数据集上评估我们的模型,这些数据集实现了最先进的性能,并在精度和句子间关系的召回率之间表现出更好的平衡。我们的表现要好于参加BioNLP共享任务2016的11个团队,与获胜团队相比,F1的增长率为5.2%(0.587对0.558)。作者还发布了MUC6的交叉句注释。

推荐理由:最先进的机器学习方法在组合泛化方面表现出局限性。同时,缺乏实际的基准来全面衡量此功能,这使寻找和评估改进变得困难。我们引入了一种新方法,通过最大程度地提高组成部件的散度并同时保证训练集和测试集之间的原子发散小,来系统地构建此类基准,并且将这种方法与其他方法进行定量比较,以创建成分泛化基准。我们提出了一种根据此方法构造的大型且逼真的自然语言问答数据库,并使用它来分析三种机器学习架构的组成概括能力。我们发现,它们无法对组成进行概括,并且在组成部件的散度和准确性之间存在令人惊讶的强烈负相关。我们还将演示如何使用我们的方法在现有的SCAN数据集之上创建新的成分基准,从而证实了这些发现。

20世纪80年代,我国开始探索企业职工退休费用社会统筹,并相继建立养老、医疗、失业、工伤、生育保险制度,制度框架基本形成,覆盖了绝大多数职业群体。如今,政策仍在继续加码。

作者的团队对每篇论文进行了多轮结构化内容分析,确定以下内容:论文是否报告了谁是标签者,他们的资格是什么,他们是否独立地标记了相同的项目,是否公开了评分者间的可靠性指标,向贴标者提供培训水平和/或说明,是否公开了对人群工作者的补偿,以及培训数据是否公开。我们是否遵循和记录了这样的做法存在很大分歧。机器学习的研究和教育很多都集中在一旦有了“黄金标准”的训练数据后该怎么做,但是我们首先围绕这些数据是否可靠的同样重要的方面讨论问题。

 关于星际争霸游戏的强化学习

 测量成分泛化:真实数据的综合方法

推荐理由:用到GRU和注意力的论文有很多,但用卷积+双向GRU+注意力研究大熊猫声音的,而且就来自四川濒危野生动物保护国家重点实验室 – 成都大熊猫繁育研究基地的,这篇论文可是独一篇。

 文本内容的整体推荐模型

 深度学习和传统的计算机视觉比较

 预培训的百科全书:弱监督的知识预培训的语言模型

栏目包装:王德鹿 毛杰 陈宏 陈闻驷

同时,国家大规模开展职业技能培训、鼓励创业带动就业,这些措施确保了在经济增长的同时实现居民收入同步增长、在劳动生产率提高的同时实现劳动报酬同步提高。

1949年,中国的就业总量仅为1.8亿人,2018年这一数字增加到7.8亿;1949年,人均国民收入只有69.29元,到2018年,就增加到28228元。除了劳动人数和劳动收入的大幅增长,就业质量的改善同样令人欣喜:第三产业成为吸纳就业的主体,非公有制经济成为城镇就业主渠道;劳动领域改革向打破“铁饭碗”“终身制”亮剑,以市场化为导向的灵活用人机制,让人人都有通过劳动实现自身发展的机会。

 DDPG的问题:通过稀疏的奖励了解确定性环境中的失败

执行策划:孙爱东 钟昊熹

 句子边界内和跨句子边界的神经关系提取

劳动是可贵的,而与劳动相应的休息休假权利也同样需要保障。

半月谈持续推出30集理论宣讲微视频《理论达人讲解70年》,力图以通俗易懂的语言、图文并茂的画面、生动鲜活的故事展示好新中国波澜壮阔的发展历程、感天动地的辉煌成就、弥足珍贵的经验启示。

推荐理由:在具有连续状态和动作空间的环境中,最先进的行为者-批判强化学习算法可以解决非常复杂的问题,但是在看似微不足道的环境中也可能会失败,但是这种失败的原因仍然知之甚少 。在本文中,我们对稀疏的奖励和确定性环境的特殊情况下的这些失败做出了正式的解释。首先,使用一个非常基本的控制问题,我们说明了学习过程可能陷入与不良解决方案相对应的固定点。然后,从所研究的示例中进行概括,我们提供了对潜在机制的详细分析,从而使人们对这些算法的一种收敛方式有了新的认识。由此产生的观点为我们已经强调的问题的现有解决方案提供了新的思路,并提出了其他可能的方法。

在本文中,作者调查了社交计算中机器学习应用程序论文的样本程度-特别是ArXiv和传统出版物对Twitter数据执行ML分类任务的论文-提供了有关是否遵循了此类最佳实践的具体细节。

半月谈新媒体中心制作

文案:毛振华 赵一鸿 张初

新媒体推广:盖艺腾 马小茏

推荐理由:许多针对新应用领域的机器学习项目都涉及到为特定目的标记数据的人员团队,从雇用人群工作者到论文作者自行标记数据。此类任务与结构化内容分析(或结构化内容分析的形式)非常相似,后者是社会科学和人文科学领域的一种长期方法,具有许多已建立的最佳实践。

这篇论文研究的课题让我们增进了对大熊猫的认识。一方面,大熊猫一般都是比较安静的动物,不怎么发出声音,但在繁殖季时发声会明显多一些,这说明声音对求偶和交配有一定作用,此前的生物学研究也证明了存在相关性。另一方面,交配之后熊猫是否成功受孕很难确定,不仅因为熊猫胎儿非常小,只能通过其他因素观察,还因为人工养殖条件下的熊猫就出现过“为了享受更好待遇而假装怀孕”的事情。所以这篇论文的目标是通过记录下的熊猫声音预测是否成功受孕,整个工作流程包括分割、音量和长度标准化、特征提取、用含有卷积+GRU+注意力的深度神经网络预测是否成功受孕。作者们在过去 9 年中采集的声音数据集上做了实验,得到了有潜力的结果。准确的预测能给大熊猫的繁育带来帮助。

 用于神经文本生成的差异化分布恢复

剪辑制作:张初 韦含笑 马康宁 王福丽

推荐理由:预训练语言模型的最新突破表明,自监督学习对于多种自然语言处理(NLP)任务的有效性。除了标准的语法和语义NLP任务外,预训练的模型还对涉及真实世界知识的任务进行了重大改进,这表明大规模语言建模可能是捕获知识的隐含方法。在这项工作中,我们将进一步研究使用事实完成任务对诸如BERT等预训练模型捕获知识的程度。此外,我们提出了一个简单而有效的弱监督预训练目标,该目标明确迫使模型纳入有关现实世界实体的知识。使用我们的新目标训练的模型在事实完成任务上产生了重大改进。在应用于下游任务时,我们的模型在四个与实体相关的问题回答数据集(即WebQuestions,TriviaQA,SearchQA和Quasar-T)上的性能始终优于BERT,平均改善了2.7 F1,并提供了标准的细粒度实体类型数据集(例如, FIGER),精度提高5.7。

 垃圾进垃圾出?社交计算中的机器学习应用论文是否报告了人为训练数据的来源?

摄像:陈欢 朱祥龙 袁帅

副总监制:王运才 丁玫王永前

通过劳动创造社会财富,实现个人理想抱负,已成为劳动者的普遍追求。新中国成立70年来,一代代劳动者挥洒汗水,用勤劳的双手实现了物质生活与精神世界的极大丰富。

从劳动教育到劳动合同,从单位福利到社会保险,全方位立体的劳动保障体系,将为约14亿人口的大国的劳动者保驾护航。

这是一篇综述文章,本论文介绍了传统的计算机视觉技术和现在的深度学习视觉技术之间的关系,以及二者之间应该是相互补充的关系,相互利用彼此的优势。深度学习推动了数字图像处理领域的极限。但是,这并不是说在DL兴起之前的几年中一直在逐步发展的传统计算机视觉技术已经过时了。本文将分析每种方法的优缺点。本文的目的是促进有关是否应保留经典计算机视觉技术知识的讨论。本文还将探讨如何将计算机视觉的两个方面结合起来。评论了几种最近的混合方法论,这些方法论证明了改善计算机视觉性能和解决不适合深度学习的问题的能力。例如,将传统的计算机视觉技术与深度学习相结合在新兴领域(例如全景视觉和3D视觉)中很流行,而对于这些领域,深度学习模型尚未完全优化。