今天给各位分享数据采集教程的知识,其中也会对怎样采集数据进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

工业数据网关如何采集西门子1200 PLC的数据?

HINET 工业数据网关 数据采集教程

接下来以“西门子1200 plc”为例,讲解S-TCP-ET-V3数据网关如何采集PLC的数据,流程如下: 

  一、数据 网关联网, 网关 与 PLC 硬件 连接

数据网关插入4G卡上网,将数据网关LAN口连接西门子 PLC,插入4G卡后net灯亮表示工业数据网关联网成功。

华辰智通Hignton工业数据网关

二、数据网关连接电脑,打开数据网关配置工具

网关侧面的Debug接口用USB线连接电脑,打开数据网关配置工具HINET.DGCT。

1、点击【启动配置】-【读取参数】,查看网关型号和网关编号;

2、点击【LAN设置】,查看IPv4地址;

注意:IPv4地址必须与PLC的IP在同网段,此处IPv4地址为192.168.9.100,PLC的IP为192.168.9.12,都是9网段,所以不需要修改。

3、如果需要远程控制变量写入,点击【远程控制】,勾选控制使能,设置远程控制密码,点击【设置远程控制参数】;

4、点击【系统管理】-【重启网关】生效。

三、登录思普云平台

浏览器输入iot.idosp.net进入思普云登录界面,输入思普云账号密码点击【登录】。

1、 添加产品

点击【产品设备】-【产品管理】,点击【新增】,红框为必填项,

注意:数据网关选后缀带hidata的协议

产品名称、产品类别PLC品牌、PLC系列、协议名称触发模式采集周期(ms)普通模式采集周期(ms)存储模式采集周期(ms)

自定义根据PLC选择打开实时数据界面时按触摸模式采集周期采集数据,设置1000ms表示1秒采集一次。目的是为节省流量只要网关联网成功,并与PLC正常连接。实时数据就会按普通模式采集周期一直采集。

0表示不采集

在普通模式的基础上加了存储功能,需要历史数据或需要设置报警参数,则必须开启存储模式采集周期

配置点表

选择产品点击【点表配置】,点击【新增】,点表根据PLC程序里的变量配置,

变量名、单位寄存器类型、地址、数据类型变比、偏移触发模式、普通模式、存储模式读写权限

自定义根据变量配置对采集上来的数据进行乘法和加法计算,

例如,采集的原始数据为3,变比设置为10,偏移设置为2,那么平台上实时数据显示的最终值等于3*10+2=32

设置了哪一种采集模式周期,哪一种模式就选采集,

例如,触发模式采集周期设置1000ms,则触摸模式选采集

需要远程控制变量则选“读写”

2、 添加设备

点击【产品设备】-【设备管理】,点击【新增】,填写设备名称、设备所属客户、设备负责人、负责人手机号,产品名称选择刚才添加的产品,点击【确定】。

3、 设备绑定网关

点击【绑定网关】,选择与PLC连接的网关,如不知道网关的思普云ID,可打开数据网关 

注意:设备IP填PLC的IP,设备绑定网关后网关会自动重启,大概一分钟左右会重启完成,重启之后数据若还是没有上来可点击【强制同步点表】

4、 查看实时数据

点击网页右上角大数据中心图标进思普云大数据中心查看实时数据,点击“实时监控-实时数据”查看数据。

查看历史数据

点击【历史数据】-【数据展示】查看当日的历史数据。

第八步,远程控制

点击【远程控制】,输入数值点击【写入】,输入控制密码点击【确定】。

数据采集教程(怎样采集数据)插图

怎么采集网站数据?

可以使用爬虫软件,现在市场上的爬虫软件已经很成熟了,对小白和入门新手也都是很友好的。如果不知道用哪个爬虫的话可以试一下ForeSpdier数据采集引擎。操作简单易上手,而且还有各种教程想辅助,基本上一个网站10分钟就可以搞定。下附截图:

八爪鱼采集器可以看到预览数据采集后是零

安装打开八爪鱼首页后,可以看到界面简洁,从上到下有搜索框、采集模板以及教程。采集时可以直接在搜索框输入目标网址,或者在左侧选择【新建】创建采集任务。

输入网址后进入采集界面,可以看到,初始页面分为①网页显示、②数据预览和③流程图三大区域。

其中点击版块①右上角的黄色图标,会打开【操作提示框】;

在版块②中可以对数据字段进行编辑、添加、删除等操作;

在版块③中,点击每个步骤框可以进入基础、高级选项设置页面,点击…按钮可对当前步骤进行删除等操作。此外,将鼠标移动到流程中的 ↓位置,会出现 + 按钮,点击可添加流程步骤。

那么什么是采集流程呢?它是指从特定网页上抓取数据的指令。由于每个网站的页面布局不同,因此采集流程不能通用,要根据具体需要自定义配置。

接下来我们以具体例子,了解如何采集列表数据、表格数据以及翻页采集详情页数据。

采集列表数据

步骤一:输入网址

在首页【输入框】中输入目标网址(以豆瓣读书为例),点击【开始采集】,八爪鱼会自动打开网页。

步骤二:建立采集流程-【循环提取数据】

观察可以发现,该网页上的图书信息以列表形式呈现,每个列表结构相同,都包含书名、出版信息、评分、评价数、图书简介等。那么如何让八爪鱼识别所有列表,并采集所需类型的数据呢?

在八爪鱼中,我们需要建立【循环提取数据】的流程:

第一,任意点击选中页面上的一个图书列表。选中后的列表会呈绿色框选状态,其中红色虚线框内的称为【子元素】。(需要注意的是,要确保待采集的所有内容都在绿色框内。)

第二,在弹出的黄色操作提示框中选择【选中子元素】。

此时当前列表数据的全部具体字段已被识别出来,并且八爪鱼还自动识别出了其他同类元素。

第三,在黄色操作提示框中,继续选择【选中全部】。

此时可以看到在下方的列表当中显示出了其他同类数据。

第四,在黄色操作提示框中,选择【采集数据】。此时,八爪鱼提取出列表中的字段。

步骤三:编辑字段

在下方的数据预览部分,对于列表中已提取出的所有字段,我们可以根据实际需求进行修改字段名称或删除等操作。

步骤四:启动采集

第一,以上设置完成后,依次点击右上方的【保存】和【采集】按钮,启动本地采集。

第二,采集完成后,选择合适的导出方式(Excel、CSV、HTML)导出数据。这里导出为Excel。

打开Excel文件,可以看到成功采集的数据~

采集表格数据

表格是一种很常见的网页样式,比如现在有一个新浪财经的网页 ,如何采集其中具体数据呢?

可以看到表格内每条股票信息各占一行,且一行股票中包含代码、名称、最新评级、评级机构、所属行业等多个字段信息。

那么如何将这些字段数据采集下来并以Excel形式保存呢?

接下来看具体操作:

步骤一:输入网址

在八爪鱼中采集数据的第一步基本都是输入目标网址,点击【开始采集】。

步骤二:建立采集流程

第一,选中页面上第一行第一个单元格,再点击操作提示框下方的TR,选中至一整行。

第二,在提示框中,选择【选中子元素】,这样第1个股票的具体字段会被选中。

同时可以看到,列表其他元素在红色线框内,说明八爪鱼还自动识别出了页面中其他股票列表中的同类【子元素】。

第三,在提示框中,选择【选中全部】。可以看到页面中所有股票列表中的子元素都呈绿框选中状态。

第四,在黄色操作提示框中,选择【采集数据】。

点击采集选项之后,可以看到数据预览区域显示出所有待采集字段的数据。

步骤三:编辑字段

接下来对列表中已提取出的所有字段,根据实际需求进行修改名称或删除等操作。

步骤4:启动采集

第一,以上设置完成后,依次点击右上方的【保存】和【采集】按钮,启动本地采集。

第二,采集完成后,选择以Excel格式导出,即可得到成功采集的数据。

采集详情页数据

在上面的操作中,我们采集的是主页面上的相关数据。但实际上,网页之间会有链接关系,如果我们对主页上某个条目感兴趣,会点击进入详情页进一步了解。那如何爬取多个同类详情页数据呢?

以百度学术对“知识交互作用”的检索页面为例,在八爪鱼首页输入目标网址后,开始建立采集流程。

建立采集流程—【循环-点击元素-提取数据】

第一,选中页面上第1个链接(会呈绿色实线框选状态)。

这时可以看到出现黄色操作提示框,提示我们发现了同类链接(红色虚线框选状态)。

第二,点击【选中全部】后,同类标题链接都被选中。

第三,在黄色操作提示框中,选择【循环点击每个链接】。(因为是按顺序依次采集每个详情页数据,所以需要循环点击链接。)

选择以后,会发现页面跳转到了第1个链接的详情页。

第四,按照需要提取数据。依次点击选中字段后,在黄色操作提示框选择【采集该元素文本】或其他。这里只提取文章标题、作者、摘要、关键词、被引量和年份。

怎么快速实现OA系统的数据采集?

步骤1、先看看系统管理的界面

1.就是这样的,登录之后点一下云应用管理,随便注册一个账号就能登录,前面的就不累述了。

2.现在这个账号上是没有安装OA系统的,所以还要去安装一个,最多安装5个,超过了就把现有的删掉。

3.先点创建应用。

然后搜索一下,这里搜出来两个,可以根据预览功能选择,我们这次算的是右边那个。

点一下应用跳出安装确认,点确认即可。

步骤2、稍微讲一下怎么用

1/3

应用的功能比较多,就不一个个讲了,重点说一下是怎么实现流程审批的。

我以财务的用款申请为例,先是用款人发起申请,然后上级审批,最后财务审批。

2/3

这是一个最简单的流程,需要审批的节点可以设置任意负责人,一个节点通过会自动流转到下一个节点,不通过则退回上一节点。

流程的节点数量和权限全部根据实际业务需求自由设定,可以随时更改,

3/3

以上就是流程设定功能的基本使用和介绍,设定流程需要通过编辑应用,进入表单做设置。

流程设置完成启用后,通过访问应用使用系统,所有提交的数据,系统会根据流程设计自动跳转,这样办公会更加规范高效。

注意事项

全面的OA系统涉及功能很完善,这里只做简单介绍,新手请多看教程摸索。

数据采集器如何使用

数据采集器主要应用于仓储物流管理中,由于其行业特性数据多变复杂,人为输入失误无法完全避免所以采用数据采集器来解决,它是通过PC端程序和数据采集器本身终端程序来共同完成的,一般通过条码来实现数据采集,采集后数据会暂存在采集器本身上,待采集完毕或汇总时要通过数据线与PC同步,并将所采集的数据信息上传到PC端软件中,一般做条码软件的厂商都可以针对不同品牌做相应开发,正在工作中回答的比较粗略,如还有具体疑问请随时补充

数据采集器怎么使用

不知道你用的是什么采集器

我采集网页数据都是用的八爪鱼采集器,操作蛮简单的。

看几分钟视频就会了, 你也可以试试

关于数据采集教程和怎样采集数据的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。

免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表一休教程网的观点和立场。