搜索内容

包含标签:深度学习 的文章
  • Fatal error in launcher: Unable to create process using ‘“d:\anaconda\envs\pytorch\python.exe“…
    其他

    Fatal error in launcher: Unable to create process using ‘“d:\anaconda\envs\pytorch\python.exe“…

    pip install pytest出现如下错误: Fatal error in launcher: Unable to create process using ‘“d:\anaconda\envs\pytorch\python.exe” “F:\Anaconda\envs\pytorch\Scripts\pip.exe” install pytest’: ??? 解决办法: python -m pip install --upgrade pip 最后pip install pytest安装成功!!!
    admin 今天
  • 论文阅读 Going Deeper with Convolutions – GoogLeNet/Inceptionv1
    其他

    论文阅读 Going Deeper with Convolutions – GoogLeNet/Inceptionv1

    文章目录 1 摘要1.1 本文要解决的问题1.2 传统增加depth和width的后果 2 如何解决增加depth和width带来的问题2.1 提出 Inception 结构,人为构建稀疏连接,引入多尺度感受野和多尺度融合(增加特征的密度和相关性,简单说就是类似横向的特征金字塔,最后来个融合)2.2 使用 1X1 卷积(2.1带来的问题是3x3和5x5在较深的层中仍然会产生非常多的参数)2.3 辅助分类器 auxiliary classifiers(类似yolo中head层有不同层来输出结果,这个只是各自算上权重,没啥好说的) 1 摘要 1.1 本文要解决的问题 By a carefully crafted design, we increased the depth and width of the network while keeping the computational bud
    admin 今天
  • Pytorch学习-tensorboard的使用
    其他

    Pytorch学习-tensorboard的使用

    Pytorch学习-tensorboard的使用 1 Tensorboard简介运行机制安装及测试 2 SummaryWriter实例的使用教程(1)初始化summaryWriter的方法(2)不同类型数据的记录1)数字 scalar使用样例2) 直方图 histogram使用样例3) 运行图 graph !!官方样例 4) 图片 image (pillow库支持)5) 嵌入向量embedding 1 Tensorboard简介 参考链接1安装: 参考链接2使用: TensorBoard:TensorFlow中强大的可视化工具; 支持标量、图像、文本、音频、视频和Embedding等多种数据可视化; 运行机制 在python脚本中记录可视化的数据;记录的数据会以event file(事件文件)存放到硬盘中;在终端使用TensorBoard读取event file,Tens
    admin 今天
  • Tensorflow-6.合并与分割
    其他

    Tensorflow-6.合并与分割

    tf.concat用来进行张量的拼接,tf.stack用来进行张量的堆叠,tf.split用来进行张量的分割,tf.unstack是tf.split的一种,也用来进行张量分割 1.tf.concat 参数axis代表将要合并的维度 # 假设a代表四个班的成绩(每班35人,8个科目),b代表2个班的成绩 a = tf.ones([4,35,8]) b = tf.ones([2,35,8]) # 使用concat进行合并得到6个班的成绩 c = tf.concat([a,b],axis=0) # (6,35,8) print(c.shape) 2.tf.stack(用于创建一个新的维度) # 假设a代表A学校的四个班的成绩(每班35人,8个科目),b代表B学校四个班的成绩 a = tf.ones([4,35,8]) b = tf.ones([4,35,8]) # 使用stack进行合并得到6个班的成绩
    admin 今天
  • Lingvo分析(五)
    其他

    Lingvo分析(五)

    2021SC@SDUSC Lingvo中base_layer分析 简介分析Accumulator类_BaseLayerInitWrapper方法RecursiveFindLayerParams方法 小结 简介 本次分析我们开始进入lingvo/core/base_layer.py文件,其为所有layer的基础类,如下是该文件中类和方法的概览情况: 分析 Accumulator类 首先我们按照顺序先来分析Accumulator类,layers可以注册累加器以保持步骤级状态。 累加器必须由固定形状的张量表示。默认的value 必须通过覆盖 DefaultValue() 来提供。重要的是每次调用都会创建默认张量值,以避免累加器泄漏到不同的图形。可以通过配对启用(默认)或禁用累加器Disable()/Enable() 调用。禁用时,累加器只会返回默认值,并会默默地放弃对 SetValue()
    admin 今天
  • 排水沟槽开挖土方的计算方法(平行相似梯形组成的六面体体积分割计算方法)
    其他

    排水沟槽开挖土方的计算方法(平行相似梯形组成的六面体体积分割计算方法)

    排水沟槽是一种利用重力敷设排水管道需要开挖的沟槽。该沟槽的特点是: 1、沟槽的底宽从起点到终点保持不变(管径不变的情况下); 2、沟槽的边坡放坡边坡1:m保持不变。“1:m”表示 深度每增加1米,边坡需要向沟槽两侧外扩的水平距离。示意图如下  3、沟槽的深度随着管道距离,按照规定的排水坡度,逐渐加深。 如此,最终形成的排水沟槽就是一个横截面是梯形,深度随着距离不断加深的的六面体。其中横截面相互之间平行,且垂直于地面。两侧外扩部分对称。 沟槽开挖土方(体积)计算方法分析 一般情况下,计算该体积的已知条件是梯形断面的下底、边坡和高,还有管道的长度和坡度。 该沟槽显然可以采用“微积分”的方法,通过积分可以求得。奈何鄙人早已把微积分忘到爪哇国去了,所以在这里采用体积切割进行计算,不对之处,还希望大家不吝赐教。另外,也欢迎提供采用微积分方法的反馈。 计算过程及结论 1、体积分割 排水沟槽如上图所示:其中左侧蓝色部分即为起始端断面梯形,右侧蓝色和上部白色合并在一起时末端断面梯形。  蓝色上部“楔形”部分为随长度增加的体积,该部
    admin 今天
  • DeepCTR — SparseFeat、DenseFeat、VarLenSparseFeat参数解释
    其他

    DeepCTR — SparseFeat、DenseFeat、VarLenSparseFeat参数解释

    参考自: https://blog.csdn.net/shuyv/article/details/117986476 https://deepctr-doc.readthedocs.io/en/latest/Features.html#varlensparsefeat
    admin 今天
  • 二叉树遍历
    其他

    二叉树遍历

    第二种写法 前序遍历 class Solution: def preorderTraversal(self, root: TreeNode) -> List[int]: result = [] st= [] if root: st.append(root) while st: node = st.pop() if node != None: if node.right: #右 st.append(node.right) if node.left: #左 st.append(node.left) s
    admin 今天
  • " alt="jupyter notebook环境配置">
    其他

    jupyter notebook环境配置

     1.安装jupter 终端输入: jupyter notebook 如果未成功激活jupter则要自己先安装jupter: pip install jupyter ##安装jupter jupyter notebook     ##启动jupter 2.创建自己的conda环境 conda create -n *** python=3.6 3.激活环境 conda activate *** 4.安装ipykernel包 pip install ipykernel 5.建立连接 python -m ipykernel install --name *** 6.转换jupyter的虚拟环境 7.如果想要检查是否链接成功,可以输入 jupyter kernelspec list 显示: 则表示链接成功!!!  
    admin 今天
  • BERT 预训练学习
    其他

    BERT 预训练学习

    任务:MLM完形填空、下一句预测 数据:构建样本数据及label,输入格式 参考: 1)**https://github.com/DA-southampton/TRM_tutorial/tree/main/BERT%E4%BB%A3%E7%A0%81%E4%BB%8E%E9%9B%B6%E8%A7%A3%E8%AF%BB 2) **https://github.com/bojone/bert4keras/tree/master/pretraining 3)**https://zhuanlan.zhihu.com/p/419171690 4)https://github.com/MorvanZhou/NLP-Tutorials/blob/master/BERT.py 1)代码案例学习 import math import re from random import * import numpy as
    admin 今天
  • Datawhale线上组队学习汇总
    其他

    Datawhale线上组队学习汇总

    线上组队学习开源内容汇总 一、组队学习简介 组队学习就是一群志同道合的小伙伴,一起学习讨论,一起克服拖延症,一起组队打boss。没有老师,没有教学,有的是一群热爱学习和渴望改变的人,交流学习,互促共进。 如果您对哪门开源内容感兴趣,请在下方留言区写上课程的名称。我们就邀请该课程设计者开设该课程的组队学习。 (1)组队学习的目的:整理知识结构,打磨自我技能,认识优秀伙伴,挖掘潜在组织成员,和学习者一起成长。 (2)组队学习的方向:每个月第二个周六,组织一次学习活动,主要围绕以下六个方面进行开源内容建设。 01 编程语言与数据结构02 数据挖掘基础算法03 自然语言处理04 计算机视觉05 推荐系统06 强化学习 (3)往期组队学习计划: https://github.com/datawhalechina/team-learning 二、精品开源内容 01 吃瓜教程——西瓜书+南瓜书 内容属
    admin 今天
  • 从rookie到基佬~007:Visio 网络模型 框架图 输入 数学公式 符号
    其他

    从rookie到基佬~007:Visio 网络模型 框架图 输入 数学公式 符号

    一天一个变弯小技巧 今日份洗脑:Visio 画深度学习的网络模型框架图如何输入数学公式和符号 结论:工具栏切换至【插入】操作界面,然后点击【对象】,在弹框中选择【Microsoft公式3.0】 操作演示如下 步骤一:工具栏切换至【插入】操作界面,然后点击【对象】 步骤二:在弹框中选择【Microsoft公式3.0】 步骤三:请开始你的表演 步骤四:一键三连长智慧,读书人的事,能有什么坏心眼呢?
    admin 今天
  • python标准异常查询
    其他

    python标准异常查询

    python标准异常查询 异常名称 描述 这是我在学习try except时总结的python的标准查询,方便自己以后查询,也希望能给大家带来一些帮助。 BaseException 所有异常的基类 SystemExit 解释器请求退出 KeyboardInterrupt 用户中断执行(通常是输入^C) Exception 常规错误的基类 StopIteration 迭代器没有更多的值 GeneratorExit 生成器(generator)发生异常来通知退出 SystemExit Python 解释器请求退出
    admin 今天

  • 上面的检测通常分三步走:

    " alt="前奏 | 传统目标检测算法思路">
    其他

    前奏 | 传统目标检测算法思路

    上期我们一起学了CNN中四种常用的卷积操作,如下链接:CNN中常用的四种卷积详解 从这期开始,我们开始步入目标检测领域的大门,开始逐步一层一层的揭开目标检测的面纱。路要一步一步的走,字得一个一个的码。步子不能跨太大,太大容易那个啥,字也不能码太多,太多也不好消化。 目标检测是计算机视觉和数字图像处理的一个热门方向,广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域,通过计算机视觉减少对人力资本的消耗,具有重要的现实意义。 因此,目标检测也就成为了近年来理论和应用的研究热点,它是图像处理和计算机视觉学科的重要分支,也是智能监控系统的核心部分,同时目标检测也是泛身份识别领域的一个基础性的算法,对后续的人脸识别、步态识别、人群计数、实例分割等任务起着至关重要的作用。 由于深度学习的广泛运用,目标检测算法得到了较为快速的发展,
    admin 今天
  • pytorch转onnx: step = 1 is currently not supported以及Exporting the operator silu to ONNX opset version
    其他

    pytorch转onnx: step = 1 is currently not supported以及Exporting the operator silu to ONNX opset version

    1. 在yolov5s的pytorch模型转换onnx模型时报如下错误: RuntimeError: step!=1 is currently not supported 原因主要是低版本的opset不支持切片操作导致的; 把模型转换的代码改成如下所示即可,即使用版本11以上的opset: torch.onnx.export(model, img, "xxx.onnx", verbose=True,opset_version=11,export_params=True) 2. 解决该问题后可能会继续出现如下错误: RuntimeError: Exporting the operator silu to ONNX opset version 11 is not supported. Please open a bug to request ONNX export support for the missing operator. 这是因为onnx与pytorch一些方法不兼容导致的,onnx不支持silu,把激活函数换一种写法
    admin 今天
  • 【AI视野·今日CV 计算机视觉论文速览 第241期】Wed, 1 Dec 2021
    其他

    【AI视野·今日CV 计算机视觉论文速览 第241期】Wed, 1 Dec 2021

    AI视野·今日CS.CV 计算机视觉论文速览 Wed, 1 Dec 2021 (showing first 100 of 112 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Unsupervised Domain Adaptation: A Reality Check Authors Kevin Musgrave, Serge Belongie, Ser Nam Lim近年来,人们对无监督域自适应 UDA 的兴趣激增,产生了大量新算法。然而,正如在快速移动领域中的情况一样,基线算法没有得到应有的测试。此外,很少有人关注验证方法,即在没有目标域标签的情况下估计模型准确性的方法。尽管验证方法是任何 UDA 训练 val 管道的关键组成部分,但这仍然存在。在本文中,我们通过大规模实验表明 1 在 or
    admin 今天
  • MobileNet解读
    其他

    MobileNet解读

    MobileNet系列解读 文章目录 MobileNet系列解读一 b站深度之眼:第一课:论文导读1.1论文研究背景、成果及意义1.2论文泛读 第二课 论文精读2.1 卷积块特点2.2 降采样方式2.3 标准卷积2.4 深度可分离卷积常规卷积操作深度卷积逐点卷积参数对比标准卷积和深度可分离卷积的不同 2.5 MobileNet超参数宽度系数alpha:分辨率系数: beta 第三课 MobileNet后续创新及改进二 b站霹雳吧啦Wz:2.1 MobileNet网络详解2.1.1 MobileNet v2 2018**v2亮点:倒残差结构和线性瓶颈层**激活函数V2网络结构v2性能对比难点解疑,知识深挖激活函数: 2.2 使用pytorch搭建MobileNetV2网络代码中的疑惑解答: 写这篇博客主要是记录自己所学知识,方便以后查阅学习。主要是对b站学习视频的记录
    admin 今天
  • pandas数据生成与读写
    其他

    pandas数据生成与读写

    Pandas 基本操作 生成与读写操作数据生成(DataFrame 与 Series)DataFrameSeries读写数据文件 索引、选择与赋值基于索引的选择基于标签(label)的选择条件选择赋值 生成与读写操作 数据生成(DataFrame 与 Series) Pandas有两个对象(object): DataFrame 与 Series DataFrame 是一个表,它包括了一系列的条目(其实就是表头),以及对应的值(value)。每一个条目对应一行与一列 DataFrame ## 创建一个DataFrame表格 import pandas as pd examp = pd.DataFrame({"country":["Russian","China","America"],"Land":[1170, 960, 980]}) #print(examp) # ou
    admin 今天
  • 【python selenum渲染工具】driver = webdriver.Chrome()报错
    其他

    【python selenum渲染工具】driver = webdriver.Chrome()报错

    driver = webdriver.Chrome() 是因为没有chromedriver.exe这个文件 解决方法: (1)下载一个chromedriver.exe 下载的链接为: 官方下载网站 点击第一个,点进去(浏览器要跟这个版本对应上) windows 只有一个32位的,没关系,32位的也可以用。下载下来 解压,里面有一个 chromedriver.exe文件,将这个文件放在你运行pthon 安装路径的Scripts下面 如我的是这个路径: D:\Programs\Python\Python3.7\Scripts 放进去。 我的浏览器版本太低,用97还不行,提示我用92,我重新下载了一个92的 chromedriver.exe 放在script 目录下。 # -*- coding: utf-8 -*- import requests import json from selenium
    admin 今天
  • Pytorch学习-torch.max()和min()深度解析
    其他

    Pytorch学习-torch.max()和min()深度解析

    Pytorch学习-torch.max和min深度解析 max的使用 min同理dim参数理解二维张量使用max()三维张量使用max() max的使用 min同理 参考链接: 参考链接: 对于tensorA和tensorB: 1)torch.max(tensorA) 返回tensor中的最大值 2)torch.max(tensorA,dim) 返回指定维度的最大数和对应下标 3)torch.max(tensorA,tensorB) 比较tensorA和tensorB相对较大的元素 dim参数理解 搞清楚dim参数 第0维是行,第1维是列!!! 结论: 1)dim=0 查找每列的最大值,返回行下标索引 2)dim=1 查找每行的最大值,返回列下标索引 3)不添加dim参数,返回所有值中的最大值,且无索引 二维张量使用max() t=torch.randn(2,3) prin
    admin 今天
  • 【encoder-decoder】
    其他

    【encoder-decoder】

    为什么要设计它? 其实它只是一个框架,类似于房子的地基,需要在上面填东西。初衷是为了解决输入输出序列长度不一致的问题?为什么它可以把任意长度的序列去转换成固定长度的序列? 与填充这个框架所用的模型有关,例如cnn、rnn、seq2seq rnn:rnn能处理任意长度的时序信息。我的理解是,因为它的隐藏层是可以固定的,所以它的长度是固定的,所以可以转化为固定的长度。cnn:seq2seq:Seq2Seq 是指输入和输出都是序列的模型的统称。 1 基于rnn、seq2seq  附录 关于rnn、lstm,从图文和公式一目了然:LSTM与seq2seq有什么区别吗? - 知乎看到的一篇文章中说道seq2seq是为了解决输入输出不等长问题提出的,但是LSTM本身的输入输出序列长度就可…https://www.zhihu.com/question/440466295
    admin 今天
  • GAN理论介绍
    其他

    GAN理论介绍

    G A N GAN GAN 的流程介绍见上一篇博客GAN(生成对抗网络) G e n e r a t o r
    admin 今天
  • " alt="从条码式电子存包柜到智能存储柜优势介绍">
    其他

    从条码式电子存包柜到智能存储柜优势介绍

    从条码式电子存包柜到智能存储柜优势介绍 众视广为满足顾客随身物品寄存需求,很多大型商超均为顾客提供存包服务。条码式电子存包柜在零售行业中应用最为广泛。存物时,先按“存”键,柜门打开,存包柜自动打印密码纸,顾客取出密码纸并存物;取物时,将密码纸在扫描口进行扫描,柜门自动打开,取出物品。 条码式电子存包柜节约了人力成本和储物空间,但使用过程中,还存在以下问题。 针对这些问题,店上线智能存包柜,实现设备、商家、用户三者之间的交互,提高商家日常管理水平的同时提升用户体验。顾客使用多点app扫描数字显示屏上二维码即可打开柜门,取物时,再次扫描二维码,相应柜门打开,取走物品,为顾客带来了良好的寄存体验。 智能存包柜已经在四家门店上线共18台,经初步测算,节约30%的柜子,节省约3.5万元,节约的柜体可用于线上订单自提或门店资产存放。 智能存包柜实现了对箱柜的数据记录与数字化管理。从第一批门店的人流数据与箱柜使用率数据看,智能存包柜平均使用时长为69.3分钟;2020年11月箱柜累计使用15321次,平均每天使用
    admin 今天
  • JSON踩坑
    其他

    JSON踩坑

    json.dumps()会将dict缺失值也dump进去,但读出来的时候缺失值会默认为float类型,会导致常规判断缺失值的方式失效。 因此,在dumps的过程中,要注意判断缺失值 https://www.itranslater.com/qa/details/2582574229292057600
    admin 今天
  • 手搓卷积神经网络+mnist手写数字识别
    其他

    手搓卷积神经网络+mnist手写数字识别

    烦,摆烂 输入:28 x 28 x 1 图片 卷积层:8个 3 * 3的卷积核,得到的输出:26x26x8 池化层:4x4x8的最大池化层,得到的输出:13x13x8 将上诉13x13x8的数据展开成全连接层(展平),得到1352个全连接神经元 softmax层:输出10维数据,对应手写数字的10个分类结果 import numpy as np import pandas as pd class Conv3x3: def __init__(self, num_filters): self.num_filters = num_filters self.filters = np.random.randn(num_filters, 3, 3) / 9 def iterate_regions(self, image): h, w = image.shape for i in range(h - 2): for j in r
    admin 今天
  • 移动conda环境后报:/home/×××/bin/python没有解析器的问题
    其他

    移动conda环境后报:/home/×××/bin/python没有解析器的问题

    一、分析原因 如果直接将配置好的python环境移植到另外一台电脑,会出现下面错误: -bash: /home/实际名/anaconda3/envs/实际环境名/bin/pip: /home/原拷贝名/anaconda3/envs/环境名/bin/python: 解释器错误: 没有那个文件或目录 原因是当前的 这个 /home/xxx/anaconda3/envs/xxxx/bin/python 地址与实际地址不对,多数是用户名不一样的原因,所以我们只需要修改成实际的pip用户名就可以了 二、解决方法 vim /home/实际名/anaconda3/envs/实际环境名/bin/pip 修改第一行的路径 *同样的,pip3 install 报python解释器错误也是同样的方法: vim /home/实际名/anaconda3/envs/实际环境名/bin/pip3 修改第一行的路径
    admin 今天
  • paddle2.2.0:policy gradient算法实现
    其他

    paddle2.2.0:policy gradient算法实现

            在前面的博客中,我们使用了DQN等算法训练了agent并得到了较高的分数。DQN中的神经网络是输出的动作Q值,然后通过哪个Q值更大,就采取相应的动作,可我们为什么不直接让神经网络输出动作(概率),一步到位呢。而Policy Gradient就可以一步到位。 import paddle import paddle.nn as nn import paddle.nn.functional as F import parl import numpy as np import gym from parl.utils import logger from paddle.distribution import Categorical LEARNING_RATE = 1e-3 class Model(parl.Model): def __init__(self, obs_dim, act_dim): super().__init__() hid1_size = act_dim * 10
    admin 今天
  • 分布评价指标分析(切比雪夫距离,KL距离,余弦相似度,平方差和, 巴氏系数)python代码
    其他

    分布评价指标分析(切比雪夫距离,KL距离,余弦相似度,平方差和, 巴氏系数)python代码

    切比雪夫距离 def chebyshev_istance(a_list,b_list): return np.max(np.abs(a_list-b_list)) KL距离 def KLdiv(a_list, b_list): ''' 衡量一个分布相对于另一个分布的差异性;这个指标不能用作距离衡量,因为该指标不具有对称性 概率分布越相近,KL散度越小 ''' return scipy.stats.entropy(a_list,b_list) 余弦相似度 def cosine(a_list, b_list): ''' 计算两个向量列表之间的余弦角来衡量向量列表之间的相似度。 ''' return dot(a_list,b_list)/(norm(a_list)*norm(b_list)) 平方差之和 def sum_
    admin 今天
  • 如何使用 PyTorch 进行半精度训练
    其他

    如何使用 PyTorch 进行半精度训练

    原文链接(可以直接运行代码). 实验: 混合精度训练对比 (GTX 3090 VS TESLA V100-SXM2) 经常有小伙伴问我 TESLA V100 显存 16GB 比 GTX 3090 的 24GB 少了 8GB,价格还一样,为啥要用 V100 呢? 使用精度低于 32 位浮点数的数字格式有很多好处。首先,它们需要 更少的内存,从而能够训练和部署更大的神经网络。其次,它们需要 更少的内存带宽,从而加快数据传输操作。第三,数学运算在降低精度的情况下 运行得更快,尤其是在具有 Tensor Core 支持该精度的 GPU 上。混合精度训练实现了所有这些好处,同时确保与全精度训练相比不会丢失特定于任务的准确性。 使用混合精度训练需要以下两个步骤: 移植模型以使用 FP16 数据类型。添加损失缩放以保留较小的梯度值。 下载数据集 !featurize dataset download 12d
    admin 今天
  • 【酒店应用寄存柜-行李寄存柜使用事项及性能介绍】
    其他

    【酒店应用寄存柜-行李寄存柜使用事项及性能介绍】

    酒店应用寄存柜-行李寄存柜使用事项及性能介绍     酒店行李寄存柜使用注意事项:   一、易腐蚀类物品   由于行李寄存柜是金属材质的,它很容易和酸碱性化学物品发生反映,从而损坏柜子。所以,要避免放置带腐蚀性的化学物品,如果一定要放置的话,那么化学物品要包装好,液体一定不能够和柜子外表接触,尤其是在放置或者拿化学物品时要做到轻拿轻放,保持水平,避免洒出来。   二、危险物品   因为绝大部分的行李寄存柜都是放置在一些人流量大的地方,所以这款产品是不允许放置任何的危险物品的,其中包括易燃的、可燃的、爆开的物品等,一经发现,后果非常严重。   三:贵重物品   虽然说这款产品是由钢材打造而成,但是它的防护效果并没有我们想象当中的那么高,只需要一榔头下去,它便会出现一个窟窿,所以大家千万不要将一些贵重物品存放于此,避免出现失窃的事件发生。   众视广酒店行李寄存柜性能特点:   1.购买行李寄存柜需要注意查看防撞(为了节省行李寄存柜的生产成本,有些寄存柜厂家还会使用这些),如果是玻璃推拉门寄存柜,玻璃门是两侧都装有保险杠这样,
    admin 今天
  • 【python 爬虫乱码】request请求返回json乱码如何解决
    其他

    【python 爬虫乱码】request请求返回json乱码如何解决

    请求网页返回json 往往出现乱码,那么如何解决呢,举个例子, # -*- coding: utf-8 -*- import requests import json url="https://www.phei.com.cn/module/goods/zxsj.jsp?cache=true&cacheKey=wssd_Rec_New_%E8%AE%A1%E7%AE%97%E6%9C%BA&shownum=8&type=%E8%AE%A1%E7%AE%97%E6%9C%BA" content=requests.get(url).content print(content) 运行结果: b'{"newBookList":[{"goodTranslator":"\xe8\x83\xa1\xe5\xbc\xa6","goodHuiyuanjia":"188.80","goodId":"59381","goodP
    admin 今天
  • C++ 类和公有继承、保护继承、私有继承的介绍
    其他

    C++ 类和公有继承、保护继承、私有继承的介绍

    C++类的介绍: 类定义的一般格式 class 类名 { public: 数据成员和成员函数的实现 protected: 数据成员和成员函数的实现 private: 数据成员和成员函数的实现 } 访问权限 public:公有成员提供了与外界的接口功能;可以被本类中的成员使用和访问,还可以被类外部的其他函数使用; protected:保护成员访问权限介于共有和私有之间,类的成员可以访问,类以外的其他成员不能访问保护成员。但是该类的继承类可以访问。 private:私有成员是封装在类的内部的,只能被该类的成员和友元函数访问,类以外的任何函数对私有成员的访问都是非法的。 C++继承的介绍: 继承方式 C++的继承方式分为:公有继承,保护继承,私有继承公有继承 基类的公有成员在派生类中仍是公有成员;基类的保护成员在派生类中仍是保护成员;基类的私有成员和不可访问成员在派生类中是不可访问的; 保
    admin 今天
  • 张量维度的理解
    其他

    张量维度的理解

    张量维度的理解 介绍一维张量二维张量三维张量四维张量 (仅用于理解,坐标系已经不再适用) 如何判断张量的batch数、行、列、深度小结: 介绍 参考链接1: 参考链接2: 张量的阶数有时也称维度,或者轴axis。 比如矩阵[[1,2],[3,4]],是一个二维张量。 沿着第0个轴可以看到[1,2],[3,4]两个向量沿着第1个轴可以看到[1,3],[2,4]两个向量。 图示: 一维张量 const1 = tf.constant([1,2,3,4],tf.float16) 二维张量 # 三行四列 const2 = tf.constant([ [1,2,3,4], [5,6,7,8], [9,10,11,12] ],tf.float16) 几何表示: 三维张量 # 3行4列深度为2 const3 = tf.constant([ [[1,2],[3,4],[5,6
    admin 今天
  • Pytorch 安装
    其他

    Pytorch 安装

    文章目录 查看NVIDIA驱动查看信息下载 Pytorch 安装(Anaconda)查看环境创建环境下载pytorch库检查安装是否成功 查看NVIDIA驱动 显卡驱动程序就是用来驱动显卡的程序,它是硬件所对应的软件。驱动程序即添加到操作系统中的一小块代码,其中包含有关硬件设备的信息。正常有显卡的电脑都是有驱动程序的,但是有的时候驱动可能版本比较低,支持的cuda版本也是比较低。 查看信息 第一步查看电脑显卡是啥; 方法一:此电脑 -->高级系统设置–>显示适配器 方法二(需要有显卡驱动): 在右下角找到这个小图标打开,或者右键桌面找到控制面板 下载 了解情况后去英伟达官网上去找相对应的显卡驱动更新或者下载。官网: https://www.nvidia.cn/Download/index.aspx?lang=cn 找到自己的然后搜索,在下载。 下载完后,通过win+r ,
    admin 今天
  • pytorch加载不同size的文件(.npy, .wav, .jpg)进行padding
    其他

    pytorch加载不同size的文件(.npy, .wav, .jpg)进行padding

    pytorch加载不同size的文件,然后进行padding 以加载不同size的"XXX.npy"文件为例; 第一步:重写dataset,代码如下 from torch.utils.data import DataLoader, Dataset class train_dataset(Dataset): def __init__(self, train_path): super(train_dataset, self) self.all_list = find_files(train_path, ext="npy") self.length = len(self.all_list) def __getitem__(self, index): x = np.load(self.all_list[index])
    admin 今天
  • 机器学习基本概念
    其他

    机器学习基本概念

    机器学习基础 1.机器学习的分类 1.1监督学习 定义 给定一组样本(通常由人工标注样本),它可以学会将输入数据映射到已知目标(人工标注标签) 应用 监督学习任务主要为分类与回归 其他一些关于监督学习的变体任务: 序列生成 给定一张图像,预测描述图像的文字 语法树预测 给定一个句子,预测其分解生成的语法树 目标检测 给定一张图像,在图中特定目标用边界框标注出来 图像分割 给定一张图像,在特定物体上画一个像素级的掩模 1.2无监督学习 定义 无监督学习是指在没有目标的情况下寻找数据的有趣变换,即数据无标注,自动学习给定数据的内在模式 应用 降维聚类 1.3自监督学习 定义 自监督学习是监督学习的特例,是没有人工标注的标签的监督学习。其标签是从输入数据中生成的,通常使用启发式算法生成的。 应用 自编码器给定视频中过去的帧来预测下一帧给定文本中前面的词来预测下
    admin 今天
  • VQA中的鲁棒性问题系列研读——2
    其他

    VQA中的鲁棒性问题系列研读——2

    2020-CVPR-Counterfactual Samples Synthesizing for Robust Visual Question Answering 1.文章提出背景: 依旧是基于数据集有语言偏置(language bias)的情况下,模型仅仅捕捉superfacial correlation问题。 我们从数据集的正确率指标来看,确实当前模型的提升空间是很大的,因为即便是在“测试集”上进行选择的ensemble-based方法,它的正确率也就52%,但事实上,这已经是很高的结果了。 现有的这些模型(其实我也只看到没两个模型啊…),采用的往往是附属的仅有语言的模型(auxiliary question-only model)来对VQA模型进行正则化(regularize ),当然,这在VQA-CP数据集上取得了很好的效果。具体的,他们可以分为两大类方法: 1)adversial based mo
    admin 今天
  • 实时显示GPU的两种方法(灵机一动)
    其他

    实时显示GPU的两种方法(灵机一动)

    实时显示GPU的两种方法(灵机一动) 文章目录 实时显示GPU的两种方法(灵机一动)命令行CMD 实时显示GPUJupyter Notebook 实时显示GPU 最近在跑程序的时候,我在想能不能实时显示我的GPU,而不是每次都在命令行输入一个, nvidia-smi 虽然也能看到我们的GPU显存和GPU利用率,但是我想看到变化之类的,有的人会说了,其实我们可以从我们的任务管理器上看,其实也是,但是利用服务器的时候,利用jupyter跑程序的时候,怎么看呢,似乎看不到任务管理器了。 我思前想去,其实可以利用Python连接我们的命令行,本身来说,我们就是在命令行输入nvidia-smi实时查看的,我看了下我的显卡,1050Ti,4G显存,这就是穷孩子家的电脑么,大大的哭了 对于不同的人,希望显示GPU的地方不同,在这里我给出两段代码,一个实在命令行实时显示,一个是在我们的jup
    admin 今天
  • 研究型论文_基于特征值分布和人工智能的网络入侵检测系统的研究与实现
    其他

    研究型论文_基于特征值分布和人工智能的网络入侵检测系统的研究与实现

    文章目录 基于特征值分布和人工智能的网络入侵检测系统的研究与实现论文摘要论文解决的问题1.系统框架2.数据集样例处理流程3.DSM中定义的一些评分机制4.训练过程模拟(重点来了)总结 基于特征值分布和人工智能的网络入侵检测系统的研究与实现 请结合论文来看。 论文摘要 为维护操作系统的安全性与可靠性,提出了一个具备泛用能力的、基于人工智能模型的网络入侵检测系统框架。该框架主要功能是针对来自互联网里各种形式的网络流量进行检测,并嗅探出可能的入侵攻击及恶意网络连接并将其归类。 该框架首先使用采样、独热编码、特征选择和归一化将网络流量实例进行预处理,获取基本信息与筛选重要特征;然后利用网络连接实例的特征值分布建立评分机制,对数据进行信息再提取;最后,针对不同的网络流量形式,运用不同的基于机器学习或深度学习的模型进行结果判断。 实验中使用三个公开基准数据集KDDCup99,UNSW-NB15 和
    admin 今天
  • 论文导读:DINO -自监督视觉Transformers
    其他

    论文导读:DINO -自监督视觉Transformers

    在本篇文章中我们将探讨DINO 论文的工作原理以及分析它是如何工作的。 我试图让文章保持简单,这样即使是先验知识很少的读者也能够看懂。 一般来说ViT 并不像某些人预期的那样有吸引力:因为它们需要很多的计算资源,并且需要更多的训练数据,最主要的是它们也没有表现出独特的特点。 Caron 等人在 2020 年发表的论文“Emerging Properties in Self-Supervised Vision Transformers”中。 旨在研究为什么有监督的 ViT 还没有起飞,以及是否可以通过对它们应用自监督学习方法来改变这种情况。 传统上的计算机视觉模型,例如:卷积神经网络,总是在人工监督下进行训练。 这意味着人类必须为训练数据创建标签,例如告诉模型图像中有一只狗。 自监督学习允许它在没有任何标签的情况下训练模型。 因此,在计算机视觉任务的情况下,只有图像被提供给模型,网络本身学会理解周围的视觉世界
    admin 今天
  • " alt="腾讯、字节跳动、Facebook、英伟达谁能在元宇宙中脱颖而出呢?">
    其他

    腾讯、字节跳动、Facebook、英伟达谁能在元宇宙中脱颖而出呢?

    元宇宙是运用大数据计算、BIM仿真、大数据融合等技术,运用于虚拟仿真、货币交易、人工识别等领域。元宇宙是一个平行于现实世界的虚拟世界,与现实世界相互作用相互影响。在基础设施完善的虚拟世界中,可以像现实的物理世界一样,全方位地实现身份认同、货币交易、社区归属感、职业发展等个人和社会需求。 随着扩展现实、数字孪生、3D渲染、云计算、人工智能、高速网络、区块链等技术的发展及终端设备的迭代,“元宇宙”建设和演变可能远超人们的预期,多维度、全感官、沉浸式的人机交互新互联网形态,将有望成为现实。 元宇宙带来的价值空间 发掘价值 元宇宙所带来的虚拟世界,随着现实世界中各类型客观条件限制减弱或消失,每个个体有希望在其中重新发掘和实现自我价值。 扩大价值 随着元宇宙所带来社会运转效率的提升,以及虚拟世界中对现实行业的重现,个体能够扩大自身价值。 创造价值 元宇宙一方面在逐步逼近过程中会带来多行业的技术积累和突破,一方面也会在元宇宙产生新的行业、社会运转模式等,为人类带来新的总量经济。 提供价值 元宇宙所能带来虚拟世界与现实世界的高
    admin 今天
  • 基于PyTorch的生成对抗网络(四)——利用PyTorch搭建深度卷积生成对抗网络(DCGAN)生成彩色图像超详解
    其他

    基于PyTorch的生成对抗网络(四)——利用PyTorch搭建深度卷积生成对抗网络(DCGAN)生成彩色图像超详解

    目录 一、案例描述 二、代码详解 2.1 获取数据 2.2 图像裁剪 2.3 数据集类 2.4 构造判别器 2.4.1 构造函数 2.4.2 测试判别器 2.5 构建生成器 2.5.1 构造函数 2.5.2 测试生成器 2.6 训练GAN 2.7 测试生成器的生成效果 三、改进策略 一、案例描述 本文介绍利用深度卷积生成对抗网络(DCGAN)进行彩色人脸图像生成。 本文选取的数据集是CelebA数据集的前20000张图像,关于其下载可参考前文:https://blog.csdn.net/didi_ya/article/details/121625580。 二、代码详解 <
    admin 今天
  • 关于TensorFlow Serving的简单介绍
    其他

    关于TensorFlow Serving的简单介绍

    一、简介 TensorFlow Serving专为生产环境而设计,是一个适用于机器学习模型的灵活、高性能应用系统。TensorFlow Serving提供与 TensorFlow模型的开箱即用型集成,但也可以轻松扩展以应用其他类型的模型和数据,同时保留相同的服务器架构和API。 二、RESTful API 请求和响应是一个JSON对象。此对象的组成取决于请求类型或者动作。 // 若发生错误,所有API将在响应正文中返回一个JSON对象,error作为键,错误消息作为值 { "error": } 1、Model status API # 类似ModelService.GetModelStatus gPRPC API,返回ModelServer中模型的状态 # URL GET http://host:port/v1/models/{MODEL_
    admin 今天
  • tensorflow报错
    其他

    tensorflow报错

    tensorflow 在将mtcnn进行导入的时候会报错,这个时候我们就要检查自己的mtcnn、tensorflow是否安装成功并且tensorflow是否为最新的版本。   查看mtcnn版本:pip show mtcnn   查看tensorflow版本:pip show mtcnn   如果tensorflow不是最新的版本,可以将tensorflow删掉重新下载。我的tensorflow刚一开始进行导入的时候就进行报错,报找不到模块。   解决方案:   第一种:打开anaconda,在enevironments中下载tensorflow   第二种:先配置python国内更新镜像:pip config set global.index -url   Simple Index             在进行tensorflow下载:pip install tensorflow   detector = mtcnn.MTCNN() 运行时报:模块tensorflow中没有get_default_graph的属性
    admin 今天
  • 将tf1训练的模型导入tf2进行推理
    其他

    将tf1训练的模型导入tf2进行推理

    最近做比赛遇到一个问题,tf1训练的模型提交后因为环境问题导致线上无法运行,故尝试线上用tf2进行推理。 步骤需要1.将tf1的.pd模型结构和ckpt存档导出。2.将模型结构和ckpt存档转化为.pd静态图(frozen graph)。3.使用tf2读取.pd静态图(frozen graph)进行推理 首先定义基于tf1的模型 import tensorflow.compat.v1 as tf tf.disable_v2_behavior() from tensorflow.python.tools import freeze_graph with tf.Session() as sess: a = tf.placeholder(tf.float32, [1]) b = tf.placeholder(tf.float32, [1]) c = tf.get_variable("w", [1]) d = a*c out = tf.add(d, b) # 初始化变量 sess.r
    admin 今天
  • Stibo集团看到强劲,创新的上半财年发展态势
    其他

    Stibo集团看到强劲,创新的上半财年发展态势

    2021年11月29日,丹麦奥胡斯,Stibo集团的上半财政年度(2021年5月至10月)取得了成功的业绩,表现强于去年同期。 Stibo集团首席执行官Sten Dyrmose先生表示:“我们为半财年的业绩感到自豪。我们所处的市场是动态的——过去6个月充满了不确定性,因为大流行的影响在世界某些地区放缓,在另一些地区卷土重来。我们的数据反映了Stibo集团直面这些挑战的能力。” Stibo Complete是斯堪的纳维亚地区在开发、生产和分发实体和数字营销材料方面的领导者,该公司上半年的财务状况相比去年要好,这一成功得益于对市场的强烈关注,尽管covid-19驱动的供应链挑战影响了纸张的可用性。 Stibo DX作为媒体和品牌出版商、以及一些世界上大型媒体公司的领先技术合作伙伴,超出了预期,表现比市场发展更好。 Stibo Systems(思迪博软件)是全球多域主数据管理(MDM)解决方案的领导者,超过了公
    admin 今天
  • TensorFlow1.x和TensorFlow2.x模型保存
    其他

    TensorFlow1.x和TensorFlow2.x模型保存

    一、checkpoint 1、检查点checkpoint中存储着模型所使用的所有tf.Variable对象,它不包含任何关于模型的计算信息,故只有在恢复原模型时才可用; 2、Checkpoints文件是二进制文件,它把变量名映射到对应的tensor值,本质上存储各个变量的值,并没有网络结构信息; 3、保存模型的权重、优化器状态信息以及配置,缺少模型结构。 二、h5文件 h5文件保存整个模型,包括模型的结构、权值、配置(优化器、损失函数等)以及优化器的状态信息,所以可以接着训练。 三、SavedModel 1、SavedModel是对TensorFlow对象标准的序列化格式,它包含TensorFlow程序的完整信息,不仅包含参数的权值,还包含计算的流程(计算图)。即无需模型的源代码即可再次运行模型,非常适用模型的分享和部署。 2、保存模型的所有信息:网络结构、权重、配置和优化器状态 四、Ten
    admin 今天
  • 【论文笔记】U-BERT: Pre-training User Representations for Improved Recommendation
    其他

    【论文笔记】U-BERT: Pre-training User Representations for Improved Recommendation

    原文作者:Zhaopeng Qiu, Xian Wu, Jingyue Gao, Wei Fan 原文标题:U-BERT: Pre-training User Representations for Improved Recommendation 原文来源:AAAI 2021 原文链接:https://www.aaai.org/AAAI21Papers/AAAI-2116.QiuZ.pdf U-BERT: Pre-training User Representations for Improved Recommendation 对于推荐系统来说,学习到精确的用户representation是非常重要的。早期的研究方法从user-item评分矩阵中得到用户representation。但是这种办法存在问题,评分矩阵通常十分稀疏,而且评分也比较粗粒度。有些方法使用了review增强用户的表征,但是由于某些领
    admin 今天
  • 【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略
    其他

    【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略

    文章目录 写在前面2.1 机器学习任务攻略机器学习三部曲:1.定义含有参数的f;2.构造含有参数的loss;3.找到最优解θGeneral GuideModel BiasOptimization Issue怎么判断是Model Bias 还是 Optimization?(越大的网络loss反而更高是Optimization的问题,注意与过拟合的区别:过拟合是训练集表现好,但是测试集表现差)先用小模型(甚至不是NN方法)看一下loss,再train 深的模型的loss,如果loss还大,那么是Optimization问题(大的模型loss应该更低) Overfitting:是train的loss小,test的loss大才是overfitting解决Overfitting:More training data(可能是最有效的方法,但是不现实),Data augmentation(要根据自己对资料的特
    admin 今天
  • Zero shot learning
    其他

    Zero shot learning

    Zero shot learning 主要考察的问题是如何建立语义和视觉特征的关系(视觉特征一般用预训练好的CNN提取特征,不再进行fine-tine) 为了预测从未在训练集上出现的目标种类,仿照人的思维迁移,能根据某些特征描述(他和谁长得像,有点类似于科学家第一次看见鸭嘴兽的感觉),猜测一个从未见过的目标种类。 Zero shot learning:假设斑马是未见过的类别,但根据描述和过去知识的印象即马(和马相似)、老虎(有条纹)、熊猫(颜色)相似进行推理出斑马的具体形态,从而能对新对象进行辨认。 零次学习就是希望能够模仿人类的这个推理过程,使得计算机具有识别新事物的能力 过程 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cKclHUwA-1638407670286)(C:\Users\Lan\AppData\Roaming\Typora\typo
    admin 今天