Nothing Special   »   [go: up one dir, main page]

CN107547806B - 信息通信方法、装置及记录介质 - Google Patents

信息通信方法、装置及记录介质 Download PDF

Info

Publication number
CN107547806B
CN107547806B CN201710695761.7A CN201710695761A CN107547806B CN 107547806 B CN107547806 B CN 107547806B CN 201710695761 A CN201710695761 A CN 201710695761A CN 107547806 B CN107547806 B CN 107547806B
Authority
CN
China
Prior art keywords
information
diagram showing
user
sound
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710695761.7A
Other languages
English (en)
Other versions
CN107547806A (zh
Inventor
大岛光昭
中西幸司
青山秀纪
渊上郁雄
秦秀彦
向井务
松下阳介
饭田惠大
山田和范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2013/003319 external-priority patent/WO2013175804A1/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN107547806A publication Critical patent/CN107547806A/zh
Application granted granted Critical
Publication of CN107547806B publication Critical patent/CN107547806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4604LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L12/462LAN interconnection over a bridge based backbone
    • H04L12/4625Single bridge functionality, e.g. connection of two networks over a single bridge
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4131Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/1143Bidirectional transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50Service provisioning or reconfiguring

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Communication System (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)
  • Studio Devices (AREA)

Abstract

一种信息通信方法,从被摄体取得信息,其特征在于,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以在通过由图像传感器对被摄体进行摄影而得到的图像中,按照被摄体的亮度变化产生与图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤,通过由图像传感器对亮度变化的被摄体以设定的曝光时间进行摄影,取得包含亮线的亮线图像;第1信息取得步骤,通过对由取得的亮线图像中包含的亮线的样式确定的数据进行解调,来取得第1信息;发送步骤,将第1信息发送到服务器;以及第2信息取得步骤,从服务器取得表示与第1信息相关联的处理是否有效的第2信息。

Description

信息通信方法、装置及记录介质
本申请是2015年6月19日提交的申请号为201380066941.9的专利申请的分案申请。本申请包含了母案的全部内容。
技术领域
本发明涉及智能电话、平板电脑、便携电话等的便携终端与空调、照明设备、炊饭机等的家电设备的通信方法。
背景技术
在近年来的家庭网络中,通过除了由Ethernet(注册商标)或无线LAN (LocalArea Network)下的IP(Internet Protocol)连接进行的AV家电的协同之外、还具有与环境问题对应的电力使用量的管理、或从宅外的电源ON/OFF这样的功能的家庭能源管理系统(HEMS)实现多种多样的家电设备连接在网络的家电协同功能的导入正在进展。但是,在具有通信功能方面,也有运算力不充分的家电、或在成本方面难以实现通信功能的搭载的家电等。
为了解决这样的问题,在专利文献1中,记载有在使用光向自由空间传递信息的光空间传送装置中、通过进行使用多个照明光的单色光源的通信、能够在有限的发送装置中有效率地实现设备间的通信的技术。
现有技术
专利文献
专利文献1:日本特开2002-290335号公报
发明内容
发明解决的课题
但是,在上述以往的方式中,限定于使用的设备具有照明那样的3色光源的情况。本发明解决这样的问题,提供一种能够进行包括运算力较少那样的设备的多种多样的设备间的通信的信息通信方法。
解决课题的手段
有关本发明的一技术方案的信息通信方法,从被摄体取得信息,其特征在于,包括:曝光时间设定步骤,设定所述图像传感器的曝光时间,以在通过由图像传感器对所述被摄体进行摄影而得到的图像中,按照所述被摄体的亮度变化产生与所述图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤,通过由所述图像传感器对亮度变化的所述被摄体以设定的所述曝光时间进行摄影,取得包含所述亮线的亮线图像;第1信息取得步骤,通过对由取得的所述亮线图像中包含的所述亮线的样式确定的数据进行解调,来取得第1信息;发送步骤,将所述第1信息发送到服务器;以及第2信息取得步骤,从所述服务器取得表示与所述第1信息相关联的处理是否有效的第2信息。
另外,这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录媒体实现,也可以通过系统、方法、集成电路、计算机程序及记录媒体的任意的组合实现。
根据本发明,能够实现包括运算力较少那样的设备的多种多样的设备间的通信的信息通信方法。
附图说明
图1是用来说明实施方式1的使用可视光进行用户与设备的通信的次序的图。
图2是用来说明实施方式1的使用可视光进行用户与设备的通信的次序的图。
图3是用来说明实施方式1的用户购买设备、到进行设备的初始设定为止的次序的图。
图4是用来说明实施方式1的设备故障的情况下的、服务人员专用的服务的图。
图5是用来说明实施方式1的与清扫机使用可视光通信的、用来确认清扫状况的服务的图。
图6是表示实施方式2的宅内的环境的例子的图。
图7是表示实施方式2的家电设备与智能电话的通信的例子的图。
图8是表示实施方式2的发送侧装置的结构的1例的图。
图9是表示实施方式2的接收侧装置的结构的1例的图。
图10是表示实施方式2的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图11是表示实施方式2的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图12是表示实施方式2的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图13是表示实施方式2的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图14是表示实施方式2的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
图15是实施方式3的使用光通信的住宅配送服务支援的概略图。
图16是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
图17是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
图18是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
图19是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
图20是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
图21是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
图22是用来说明实施方式4的向服务器登记用户和使用中的便携电话的处理的图。
图23是用来说明实施方式4的进行用户声音特性的解析的处理的图。
图24是用来说明实施方式4的进行声音识别处理的准备的处理的图。
图25是用来说明实施方式4的进行从周边的集音设备的集音的处理的图。
图26是用来说明实施方式4的环境音特性的解析处理的图。
图27是用来说明实施方式4的将来自存在于周边的声音输出设备的声音的处理的图。
图28是用来说明实施方式4的进行烹调菜单的选择和向电灶的运转内容设定的处理的图。
图29是用来说明实施方式4的从服务器等的DB取得电灶用的通知音、向电灶设定的处理的图。
图30是用来说明实施方式4的进行电灶的通知音的调整的处理的图。
图31是表示实施方式4的对电灶设定的通知音的波形的例子的图。
图32是用来说明实施方式4的进行烹调内容的显示的处理的图。
图33是用来说明实施方式4的进行电灶的通知音的识别的处理的图。
图34是用来说明实施方式4的进行从周边的集音设备的集音和电灶通知音的识别的处理的图。
图35是用来说明实施方式4的将电灶的运转结束向用户通知的处理的图。
图36是用来说明实施方式4的进行便携电话操作状态的确认的处理的图。
图37是用来说明实施方式4的进行用户位置的跟踪的处理的图。
图38是表示一边将来自声音输出装置的声音消除一边识别家电的通知音、使可通信的电子设备识别用户(操作者)的当前位置、根据用户位置的识别结果、使处于距用户位置较近的位置的设备进行向用户的通知的图。
图39是表示实施方式4的在服务器或便携电话、电灶中保持的数据库的内容的图。
图40是表示实施方式4的用户基于显示在便携电话上的烹调次序进行烹调、此外用户通过“向后”、“返回”等的声音操作便携电话的显示内容的图。
图41是表示实施方式4的开始电灶的运转、在等待运转结束的期间中、或煮东西的期间等的时间中、用户向其他场所移动的图。
图42是表示对于经由网络与便携电话连接、并且照相机或麦克风、人感传感器等的能够进行用户的位置的识别或能够识别用户存在的设备、从便携电话发送探知用户的命令的图。
图43是作为实施方式4的用户的探知的例子而表示用电视机附带的照相机识别用户的脸、此外用空调的人感传感器识别用户的移动或存在的图。
图44是表示从探知到用户的设备将探知到用户的情况、及从探知到的设备到用户的相对位置向便携电话发送的图。
图45是表示实施方式4的便携电话将电灶的运转结束音识别的图。
图46是表示向识别出电灶的运转结束的便携电话向探知到用户的设备中的、具有画面显示功能或声音输出功能的设备发送向用户通知电灶的运转结束的命令的图。
图47是表示实施方式4的接受到命令的设备将通知内容向用户通知的图。
图48是表示经由网络与便携电话连接、具备麦克风、存在于电灶的附近的设备将电灶的运转结束音识别的图。
图49是表示将电灶的运转结束从识别到该情况的设备向便携电话通知的图。
图50是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话处于用户的附近、则使用便携电话的画面显示或声音输出等向用户通知电灶的运转结束的图。
图51是表示向用户通知电灶的运转结束的图。
图52是表示接受到电灶的运转结束的通知的用户向厨房移动的图。
图53是表示从电灶用无线通信向便携电话发送运转结束等的信息、从便携电话向用户正观看的电视机进行通知命令、用电视机的画面显示或声音向用户进行通知的图。
图54是表示从电灶以无线通信向用户正观看的电视机发送运转结束等的信息、用电视机的画面显示或声音向用户进行通知的图。
图55是表示用电视机的画面显示或声音向用户进行通知的图。
图56是表示向处于远程的用户进行信息的通知的图。
图57是表示在不能从电灶向作为枢纽的便携电话进行直接通信的情况下、经由个人计算机等向便携电话发送信息的图。
图58是表示从接受到图57的通信的便携电话逆向沿着信息通信路径向电灶发送操作命令等的信息的图。
图59是表示在从作为信息源设备空调向作为枢纽的便携电话不能进行直接的通信的情况下、向用户进行信息的通知的图。
图60是用来对利用使用700~900MHz的电波的通信装置的系统进行说明的图。
图61是表示远程的便携电话向用户通知信息的图。
图62是表示远程的便携电话向用户进行信息的通知的图。
图63是表示在与图62同样的情况下、代替进行通知识别设备和信息通知设备的中继的设备、2层的电视机发挥中继设备的作用的情况下的图。
图64是表示实施方式5的宅内的环境的例子的图。
图65是表示实施方式5的家电设备和智能电话的通信的例子的图。
图66是表示实施方式5的发送侧装置的结构的图。
图67是表示实施方式5的接收侧装置的结构的图。
图68是在图64中、发送侧终端(TV)与接收侧终端(平板电脑)使用光通信进行无线LAN认证的情况下的顺序图。
图69是进行实施方式5的应用下的认证的情况下的顺序图。
图70是表示实施方式5的发送侧终端的动作的流程图。
图71是表示实施方式5的接收侧终端的动作的流程图。
图72是实施方式6的移动AV终端1向移动AV终端2发送数据的顺序图。
图73是实施方式6的移动AV终端1向移动AV终端2发送数据的情况下的画面变迁图。
图74是实施方式6的移动AV终端1向移动AV终端2发送数据的情况下的画面变迁图。
图75是实施方式6的移动AV终端1是数字照相机的情况下的系统概略图。
图76是实施方式6的移动AV终端1是数字照相机的情况下的系统概略图。
图77是实施方式6的移动AV终端1是数字照相机的情况下的系统概略图。
图78是表示实施方式7的发光部的亮度的观测方法的一例的图。
图79是表示实施方式7的发光部的亮度的观测方法的一例的图。
图80是表示实施方式7的发光部的亮度的观测方法的一例的图。
图81A是表示实施方式7的发光部的亮度的观测方法的一例的图。
图81B是表示实施方式7的发光部的亮度的观测方法的一例的图。
图81C是表示实施方式7的发光部的亮度的观测方法的一例的图。
图81D是表示实施方式7的发光部的亮度的观测方法的一例的图。
图81E是表示实施方式7的发光部的亮度的观测方法的一例的图。
图81F是表示实施方式7的发光部的亮度的观测方法的一例的图。
图81G是表示实施方式7的发光部的亮度的观测方法的一例的图。
图81H是表示实施方式7的发光部的亮度的观测方法的一例的图。
图81I是表示实施方式7的发光部的亮度的观测方法的一例的图。
图82是表示实施方式7的发光部的亮度的观测方法的一例的图。
图83是表示实施方式7的信号调制方式的一例的图。
图84是表示实施方式7的信号调制方式的一例的图。
图85是表示实施方式7的信号调制方式的一例的图。
图86是表示实施方式7的信号调制方式的一例的图。
图87是表示实施方式7的信号调制方式的一例的图。
图88是表示实施方式7的信号调制方式的一例的图。
图89是表示实施方式7的信号调制方式的一例的图。
图90是表示实施方式7的信号调制方式的一例的图。
图91是表示实施方式7的信号调制方式的一例的图。
图92是表示实施方式7的信号调制方式的一例的图。
图93是表示实施方式7的信号调制方式的一例的图。
图94是表示实施方式7的信号调制方式的一例的图。
图95是表示实施方式7的信号调制方式的一例的图。
图96是表示实施方式7的信号调制方式的一例的图。
图97是表示实施方式7的信号调制方式的一例的图。
图98是表示实施方式7的信号调制方式的一例的图。
图99是表示实施方式7的发光部的检测方法的一例的图。
图100是表示实施方式7的发光部的检测方法的一例的图。
图101是表示实施方式7的发光部的检测方法的一例的图。
图102是表示实施方式7的发光部的检测方法的一例的图。
图103是表示实施方式7的发光部的检测方法的一例的图。
图104是表示实施方式7的发送信号的时间行、和将发光部摄像的图像的图。
图105是表示实施方式7的通过位置样式进行的信号的传送的一例的图。
图106是表示实施方式7的接收装置的一例的图。
图107是表示实施方式7的发送装置的一例的图。
图108是表示实施方式7的发送装置的一例的图。
图109是表示实施方式7的发送装置的一例的图。
图110是表示实施方式7的发送装置的一例的图。
图111是表示实施方式7的发送装置的一例的图。
图112是表示实施方式7的发送装置的一例的图。
图113是表示实施方式7的发送装置的一例的图。
图114是表示实施方式7的发送装置的一例的图。
图115是表示实施方式7的发光部的构造的一例的图。
图116是表示实施方式7的信号输送波的一例的图。
图117是表示实施方式7的摄像部的一例的图。
图118是表示实施方式7的接收装置的位置的推测的一例的图。
图119是表示实施方式7的接收装置的位置的推测的一例的图。
图120是表示实施方式7的接收装置的位置的推测的一例的图。
图121是表示实施方式7的接收装置的位置的推测的一例的图。
图122是表示实施方式7的接收装置的位置的推测的一例的图。
图123是表示实施方式7的发送信息的设定的一例的图。
图124是表示实施方式7的发送信息的设定的一例的图。
图125是表示实施方式7的发送信息的设定的一例的图。
图126是表示实施方式7的接收装置的构成要素的一例的块图。
图127是表示实施方式7的发送装置的构成要素的一例的块图。
图128是表示实施方式7的接收的次序的一例的图。
图129是表示实施方式7的自己位置推测的次序的一例的图。
图130是表示实施方式7的发送控制的次序的一例的图。
图131是表示实施方式7的发送控制的次序的一例的图。
图132是表示实施方式7的发送控制的次序的一例的图。
图133是表示实施方式7的车站建筑内的信息提供的一例的图。
图134是表示实施方式7的乘车服务的一例的图。
图135是表示实施方式7的店铺内服务的一例的图。
图136是表示实施方式7的无线连接的建立的一例的图。
图137是表示实施方式7的通信范围的调整的一例的图。
图138是表示实施方式7的室内的利用的一例的图。
图139是表示实施方式7的屋外的利用的一例的图。
图140是表示实施方式7的道路顺序的指示的一例的图。
图141是表示实施方式7的多个摄像装置的利用的一例的图。
图142是表示实施方式7的发送装置自律控制的一例的图。
图143是表示实施方式7的发送信息的设定的一例的图。
图144是表示实施方式7的发送信息的设定的一例的图。
图145是表示实施方式7的发送信息的设定的一例的图。
图146是表示实施方式7的与二维条码的组合的一例的图。
图147是表示实施方式7的地图的制作和利用的一例的图。
图148是表示实施方式7的电子设备的状态取得和操作的一例的图。
图149是表示实施方式7的电子设备的识别的一例的图。
图150是表示实施方式7的扩展现实对象的显示的一例的图。
图151是表示实施方式7的用户界面的一例的图。
图152是表示实施方式7的用户界面的一例的图。
图153是表示实施方式7的用户界面的一例的图。
图154是表示实施方式7的用户界面的一例的图。
图155是表示实施方式7的用户界面的一例的图。
图156是表示实施方式7的用户界面的一例的图。
图157是表示实施方式7的用户界面的一例的图。
图158是表示实施方式7的用户界面的一例的图。
图159是表示实施方式7的用户界面的一例的图。
图160是表示实施方式7的用户界面的一例的图。
图161是表示实施方式7的用户界面的一例的图。
图162是表示实施方式7的用户界面的一例的图。
图163是表示实施方式7的用户界面的一例的图。
图164是表示实施方式7的用户界面的一例的图。
图165是表示实施方式7的用户界面的一例的图。
图166是表示实施方式7的用户界面的一例的图。
图167是表示实施方式7的用户界面的一例的图。
图168是表示实施方式8的向ITS的应用例的图。
图169是表示实施方式8的向ITS的应用例的图。
图170是表示实施方式8的向位置信息报知系统及施设系统的应用例的图。
图171是表示实施方式8的向超级市场的系统的应用例的图。
图172是表示实施方式8的向便携电话终端与照相机的通信的应用例的图。
图173是表示实施方式8的向水中通信的应用例的图。
图174是用来说明实施方式9的向用户的服务提供例的图。
图175是用来说明实施方式9的向用户的服务提供例的图。
图176是表示实施方式9的接收机将从发送机接收到的多个信号同时处理的情况的流程图。
图177是表示实施方式9的通过相互通信实现设备间的通讯的情况的一例的图。
图178是用来说明实施方式9的利用指向性的特性的服务的图。
图179是用来说明实施方式9的向用户的服务提供例的另一例的图。
图180是表示实施方式9的在发送机发出的光源中包含的信号的格式例的图。
图181是表示实施方式10的原理的图。
图182是表示实施方式10的动作的一例的图。
图183是表示实施方式10的动作的一例的图。
图184是表示实施方式10的动作的一例的图。
图185是表示实施方式10的动作的一例的图。
图186A是表示实施方式10的动作的一例的图。
图186B是表示实施方式10的动作的一例的图。
图186C是表示实施方式10的动作的一例的图。
图187是表示实施方式10的动作的一例的图。
图188是表示实施方式10的动作的一例的图。
图189是表示实施方式10的动作的一例的图。
图190是表示实施方式10的动作的一例的图。
图191是表示实施方式10的动作的一例的图。
图192是表示实施方式10的动作的一例的图。
图193是表示实施方式10的动作的一例的图。
图194是表示实施方式10的动作的一例的图。
图195是实施方式11的信息通信装置的发送信号的时间图。
图196是表示实施方式11的发送信号与接收信号的关系的图。
图197是表示实施方式11的发送信号与接收信号的关系的图。
图198是表示实施方式11的发送信号与接收信号的关系的图。
图199是表示实施方式11的发送信号与接收信号的关系的图。
图200是表示实施方式11的发送信号与接收信号的关系的图。
图201是表示实施方式12的接收机和发送机的应用例的图。
图202是表示实施方式12的接收机和发送机的应用例的图。
图203是表示实施方式12的接收机和发送机的应用例的图。
图204是表示实施方式12的接收机和发送机的应用例的图。
图205是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图206是表示实施方式12的接收机和发送机的应用例的图。
图207是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图208是表示实施方式12的接收机和发送机的应用例的图。
图209是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图210是表示实施方式12的接收机和发送机的应用例的图。
图211是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图212是表示实施方式12的接收机和发送机的应用例的图。
图213是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图214是表示实施方式12的接收机和发送机的应用例的图。
图215是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图216是表示实施方式12的接收机和发送机的应用例的图。
图217是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图218是表示实施方式12的接收机和发送机的应用例的图。
图219是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图220是表示实施方式12的接收机和发送机的应用例的图。
图221是表示实施方式12的接收机和发送机的应用例的图。
图222是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图223是表示实施方式12的接收机和发送机的应用例的图。
图224是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图225是表示实施方式12的接收机和发送机的应用例的图。
图226是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图227是表示实施方式12的接收机和发送机的应用例的图。
图228是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图229是表示实施方式12的接收机的状态的图。
图230是表示实施方式12的接收机的处理动作的一例的流程图。
图231是表示实施方式12的接收机的状态的图。
图232是表示实施方式12的接收机的处理动作的一例的流程图。
图233是表示实施方式12的接收机的状态的图。
图234是表示实施方式12的接收机的处理动作的一例的流程图。
图235是表示实施方式12的接收机的状态的图。
图236是表示实施方式12的接收机的处理动作的一例的流程图。
图237是表示实施方式12的接收机的状态的图。
图238是表示实施方式12的接收机的处理动作的一例的流程图。
图239是表示实施方式12的接收机和发送机的应用例的图。
图240是表示实施方式12的接收机和发送机的应用例的图。
图241是表示实施方式12的接收机和发送机的应用例的图。
图242是表示实施方式12的接收机和发送机的应用例的图。
图243是表示实施方式12的接收机和发送机的应用例的图。
图244是表示实施方式12的接收机和发送机的应用例的图。
图245是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图246是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图247是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图248是表示实施方式12的发送机的亮度变化的图。
图249是表示实施方式12的接收机的处理动作的一例的流程图。
图250是表示实施方式12的发送机的亮度变化的图。
图251是表示实施方式12的接收机的处理动作的一例的流程图。
图252是表示实施方式12的发送机的亮度变化的图。
图253是表示实施方式12的发送机的处理动作的一例的流程图。
图254是表示实施方式12的发送机的亮度变化的图。
图255是表示实施方式12的接收机的处理动作的一例的流程图。
图256是表示实施方式12的接收机的处理动作的一例的流程图。
图257是表示实施方式12的发送机的处理动作的一例的流程图。
图258是表示实施方式12的发送机的结构例的图。
图259是表示实施方式12的发送机的结构例的图。
图260是表示实施方式12的发送机的结构例的图。
图261是表示实施方式12的接收机的处理动作的一例的流程图。
图262是表示实施方式12的由接收机和发送机进行的显示和摄影的例子的图。
图263是表示实施方式12的发送机的处理动作的一例的流程图。
图264是表示实施方式12的接收机的处理动作的一例的流程图。
图265是表示实施方式12的接收机和发送机的应用例的图。
图266是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图267是表示实施方式12的接收机的状态的图。
图268是表示实施方式12的接收机的处理动作的一例的流程图。
图269是表示实施方式12的接收机的状态的图。
图270是表示实施方式12的接收机的处理动作的一例的流程图。
图271是表示实施方式12的接收机的处理动作的一例的流程图。
图272是表示实施方式12的发送机的波长的一例的图。
图273是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图274是表示实施方式12的包括接收机和发送机的系统的结构例的图。
图275是表示实施方式12的系统的处理动作的一例的流程图。
图276是表示实施方式12的包括接收机和发送机的系统的结构例的图。
图277是表示实施方式12的系统的处理动作的一例的流程图。
图278是表示实施方式12的接收机的处理动作的一例的流程图。
图279是表示实施方式12的接收机的处理动作的一例的流程图。
图280是表示实施方式12的包括接收机和发送机的系统的结构例的图。
图281是表示实施方式12的接收机的处理动作的一例的流程图。
图282是表示实施方式12的接收机和发送机的应用例的图。
图283是表示实施方式12的接收机的处理动作的一例的流程图。
图284是表示实施方式12的包括接收机和发送机的系统的结构例的图。
图285是表示实施方式12的系统的处理动作的一例的流程图。
图286是表示实施方式12的接收机的处理动作的一例的流程图。
图287A是表示实施方式12的发送机的结构的一例的图。
图287B是表示实施方式12的发送机的结构的另一例的图。
图288是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
图289是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图290是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图291是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图292是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图293是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
图294是表示实施方式13的发送机的应用例的图。
图295是表示实施方式13的发送机的应用例的图。
图296是表示实施方式13的发送机的应用例的图。
图297是表示实施方式13的发送机和接收机的应用例的图。
图298是表示实施方式13的发送机和接收机的应用例的图。
图299是表示实施方式13的发送机和接收机的应用例的图。
图300是表示实施方式13的发送机和接收机的应用例的图。
图301A是表示实施方式13的发送信号的例子的图。
图301B是表示实施方式13的发送信号的另一例的图。
图302是表示实施方式13的发送信号的例子的图。
图303A是表示实施方式13的发送信号的例子的图。
图303B是表示实施方式13的发送信号的另一例的图。
图304是表示实施方式13的发送信号的例子的图。
图305A是表示实施方式13的发送信号的例子的图。
图305B是表示实施方式13的发送信号的例子的图。
图306是表示实施方式13的发送机的应用例的图。
图307是表示实施方式13的发送机的应用例的图。
图308是用来说明实施方式13的摄像元件的图。
图309是用来说明实施方式13的摄像元件的图。
图310是用来说明实施方式13的摄像元件的图。
图311A是表示有关各实施方式的变形例的接收装置(摄像装置)的处理动作的流程图。
图311B是有关各实施方式的变形例的将通常摄像模式与微距摄像模式对比表示的图。
图312是表示有关各实施方式的变形例的显示影像等的显示装置的图。
图313是表示有关各实施方式的变形例的显示装置的处理动作的一例的图。
图314是表示有关各实施方式的变形例的显示装置的发送信号的部分的例子的图。
图315是表示有关各实施方式的变形例的显示装置的处理动作的另一例的图。
图316是表示有关各实施方式的变形例的显示装置的发送信号的部分的另一例的图。
图317是表示由有关各实施方式的变形例的显示装置进行的处理动作的再另一例的图。
图318是表示有关各实施方式的变形例的包括发送机及接收机的通信系统的结构的图。
图319是表示有关各实施方式的变形例的通信系统的处理动作的流程图。
图320是表示有关各实施方式的变形例的信号传送的例子的图。
图321是表示有关各实施方式的变形例的信号传送的例子的图。
图322是表示有关各实施方式的变形例的信号传送的例子的图。
图323A是表示有关各实施方式的变形例的信号传送的例子的图。
图323B是表示有关各实施方式的变形例的信号传送的例子的图。
图323C是表示有关各实施方式的变形例的信号传送的例子的图。
图323D是表示有关各实施方式的变形例的包括显示器或投影机和接收机的通信系统的处理动作的流程图。
图324是表示有关各实施方式的变形例的发送信号的例子的图。
图325是表示有关各实施方式的变形例的发送信号的例子的图。
图326是表示有关各实施方式的变形例的发送信号的例子的图。
图327A是表示有关各实施方式的变形例的接收机的摄像元件的一例的图。
图327B是表示有关各实施方式的变形例的接收机的摄像装置的内部电路的结构例的图。
图327C是表示有关各实施方式的变形例的发送信号的例子的图。
图327D是表示有关各实施方式的变形例的发送信号的例子的图。
图328A是用来说明有关各实施方式的变形例的接收机的摄像模式的图。
图328B是表示有关各实施方式的变形例的接收机的使用特别摄像模式 A的处理动作的流程图。
图329A是用来说明有关各实施方式的变形例的接收机的另一摄像模式的图。
图329B是表示有关各实施方式的变形例的接收机的使用特别摄像模式 B的处理动作的流程图。
图330A是用来说明有关各实施方式的变形例的接收机的再另一摄像模式的图。
图330B是表示有关各实施方式的变形例的接收机的使用特别摄像模式 C的处理动作的流程图。
图331A是有关本发明的一技术方案的信息通信方法的流程图。
图331B是有关本发明的一技术方案的信息通信装置的块图。
图331C是有关本发明的一技术方案的信息通信方法的流程图。
图331D是有关本发明的一技术方案的信息通信装置的块图。
图332是表示通过有关本发明的一技术方案的信息通信方法得到的图像的一例的图。
图333A是有关本发明的另一技术方案的信息通信方法的流程图。
图333B是有关本发明的另一技术方案的信息通信装置的块图。
图334A是有关本发明的再另一技术方案的信息通信方法的流程图。
图334B是表示有关本发明的再另一技术方案的信息通信装置的块图。
图335是表示实施方式14的接收机的各模式的一例的图。
图336是表示实施方式14的接收机的摄影动作的一例的图。
图337是表示实施方式14的接收机的摄影动作的另一例的图。
图338A是表示实施方式14的接收机的摄影动作的另一例的图。
图338B是表示实施方式14的接收机的摄影动作的另一例的图。
图338C是表示实施方式14的接收机的摄影动作的另一例的图。
图339A是表示实施方式14的接收机的照相机配置的一例的图。
图339B是表示实施方式14的接收机的照相机配置的另一例的图。
图340是表示实施方式14的接收机的显示动作的一例的图。
图341是表示实施方式14的接收机的显示动作的一例的图。
图342是表示实施方式14的接收机的动作的一例的图。
图343是表示实施方式14的接收机的动作的另一例的图。
图344是表示实施方式14的接收机的动作的另一例的图。
图345是表示实施方式14的接收机的动作的另一例的图。
图346是表示实施方式14的接收机的动作的另一例的图。
图347是表示实施方式14的接收机的动作的另一例的图。
图348是表示实施方式14的接收机的动作的另一例的图。
图349是表示实施方式14的接收机、发送机和服务器的动作的一例的图。
图350是表示实施方式14的接收机的动作的另一例的图。
图351是表示实施方式14的接收机的动作的另一例的图。
图352是表示实施方式14的接收机的初始设定的例子的图。
图353是表示实施方式14的接收机的动作的另一例的图。
图354是表示实施方式14的接收机的动作的另一例的图。
图355是表示实施方式14的接收机的动作的另一例的图。
图356是表示实施方式14的接收机的动作的另一例的图。
图357是表示实施方式14的接收机的动作的另一例的图。
图358是表示实施方式14的接收机的动作的另一例的图。
图359A是表示在实施方式14的接收机的操作中使用的笔的图。
图359B是表示实施方式14的使用笔的接收机的动作的图。
图360是表示实施方式14的接收机的外观的一例的图。
图361是表示实施方式14的接收机的外观的另一例的图。
图362是表示实施方式14的接收机的动作的另一例的图。
图363A是表示实施方式14的接收机的动作的另一例的图。
图363B是表示使用实施方式14的接收机的应用例的图。
图364A是表示实施方式14的接收机的动作的另一例的图。
图364B是表示使用实施方式14的接收机的应用例的图。
图365A是表示实施方式14的发送机的动作的一例的图。
图365B是表示实施方式14的发送机的动作的另一例的图。
图366是表示实施方式14的发送机的动作的另一例的图。
图367是表示实施方式14的发送机的动作的另一例的图。
图368是表示实施方式14的多个发送机与接收机之间的通信形态的一例的图。
图369是表示实施方式14的多个发送机的动作的一例的图。
图370是表示实施方式14的多个发送机与接收机之间的通信形态的另一例的图。
图371是表示实施方式14的接收机的动作的另一例的图。
图372是表示实施方式14的接收机的应用例的图。
图373是表示实施方式14的接收机的应用例的图。
图374是表示实施方式14的接收机的应用例的图。
图375是表示实施方式14的发送机的应用例的图。
图376是表示实施方式14的发送机的应用例的图。
图377是表示实施方式14的接收方法的应用例的图。
图378是表示实施方式14的发送机的应用例的图。
图379是表示实施方式14的发送机的应用例的图。
图380是表示实施方式14的发送机的应用例的图。
图381是表示实施方式14的接收机的动作的另一例的图。
图382是表示实施方式15的发送信号的一例的图。
图383是表示实施方式15的发送信号的一例的图。
图384A是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。
图384B是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。
图384C是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。
图385A是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。
图385B是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。
图386A是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。
图386B是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。
图386C是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。
图387是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。
图388是表示实施方式15的发送信号的一例的图。
图389是表示实施方式15的接收机的动作的一例的图。
图390是表示在实施方式15的接收机的屏幕上显示的向用户的指示的一例的图。
图391是表示在实施方式15的接收机的屏幕上显示的向用户的指示的一例的图。
图392是表示实施方式15的信号发送方法的一例的图。
图393是表示实施方式15的信号发送方法的一例的图。
图394是表示实施方式15的信号发送方法的一例的图。
图395是表示实施方式15的信号发送方法的一例的图。
图396是用来说明实施方式15的使用场景的图。
图397是表示实施方式15的智能电话向服务器发送的信息表的图。
图398是实施方式15的服务器的块图。
图399是表示实施方式15的系统的整体的处理的流程图。
图400是表示实施方式15的服务器向智能电话发送的信息表的图。
图401是表示实施方式15的用户在店铺前从服务器接受到信息到实际购买商品的在可穿戴设备上显示的画面流的图。
图402是用来说明实施方式15的其他使用场景的图。
图403是表示在使用已经说明的实施方式中记载的接收方法的服务提供系统的图。
图404是表示服务提供的流程的流程图。
图405是表示另一例的服务提供的流程图。关于与图404重复的步骤省略说明。
图406是表示另一例的服务提供的流程图。
图407A是有关本发明的一技术方案的信息通信方法的流程图。
图407B是有关本发明的一技术方案的信息通信装置的块图。
具体实施方式
有关本发明的一技术方案的信息通信方法,从被摄体取得信息,其特征在于,包括:曝光时间设定步骤,设定所述图像传感器的曝光时间,以在通过由图像传感器对所述被摄体进行摄影而得到的图像中,按照所述被摄体的亮度变化产生与所述图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤,通过由所述图像传感器对亮度变化的所述被摄体以设定的所述曝光时间进行摄影,取得包含所述亮线的亮线图像;第1信息取得步骤,通过对由取得的所述亮线图像中包含的所述亮线的样式确定的数据进行解调,来取得第1信息;发送步骤,将所述第1信息发送到服务器;以及第2信息取得步骤,从所述服务器取得表示与所述第1信息相关联的处理是否有效的第2信息。
此外,也可以是,所述被摄体具备二维条码,该信息通信方法包括:取得步骤,从所述二维条码取得条码信息;以及第3信息取得步骤,基于所述条码信息访问所述服务器,取得所述第2信息。
此外,也可以是,所述发送步骤中,还将与具备所述图像传感器的终端的用户有关的第3信息发送到所述服务器,所述第2信息取得步骤中,从所述服务器取得与基于所述第1信息及所述第3信息判断的所述处理是否有效有关的所述第2信息。
此外,也可以是,所述处理是预付款处理。
此外,也可以是,所述曝光时间设定步骤中,将所述曝光时间设为tE、将所述被摄体的高频噪声设为tHT的情况下,以tE>tHT的方式设定所述曝光时间。
此外,一种信息通信装置,从被摄体取得信息,其特征在于,具备:曝光时间设定部,设定所述图像传感器的曝光时间,以在通过由图像传感器对所述被摄体进行摄影而得到的图像中,按照所述被摄体的亮度变化产生与所述图像传感器中包含的曝光行对应的亮线;亮线图像取得部,通过由所述图像传感器对亮度变化的所述被摄体以设定的所述曝光时间进行摄影,取得包含所述亮线的亮线图像;第1信息取得部,通过对由取得的所述亮线图像中包含的所述亮线的样式确定的数据进行解调,来取得第1信息;发送部,将所述第1信息发送到服务器;以及第2信息取得部,从所述服务器取得表示与所述第1信息相关联的处理是否有效的第2信息。
此外,一种计算机程序,是执行从被摄体取得信息的信息通信方法的计算机程序,其特征在于,包括:曝光时间设定程序,设定所述图像传感器的曝光时间,以在通过由图像传感器对所述被摄体进行摄影而得到的图像中,按照所述被摄体的亮度变化产生与所述图像传感器中包含的曝光行对应的亮线;亮线图像取得程序,通过由所述图像传感器对亮度变化的所述被摄体以设定的所述曝光时间进行摄影,取得包含所述亮线的亮线图像;第1信息取得程序,通过对由取得的所述亮线图像中包含的所述亮线的样式确定的数据进行解调,来取得第1信息;发送程序,将所述第1信息发送到服务器;以及第2信息取得程序,从所述服务器取得表示与所述第1 信息相关联的处理是否有效的第2信息。
此外,一种记录介质,记录上述的计算机程序。
另外,这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录媒体实现,也可以通过系统、方法、集成电路、计算机程序及记录媒体的任意的组合实现。
以下,参照附图对实施方式具体地说明。
另外,以下说明的实施方式都是表示全局或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。
(实施方式1)
以下,对通过作为设备具备的LED的闪烁样式发送信息、使用智能电话的照相机通信的处理的流程进行叙述。
图1是表示本实施方式的宅内的环境的例子的图。在图1所示的环境中,对于电视机1101及电灶1106、空气净化机1107,智能电话1105等也处于用户的周边。
图2是表示本实施方式的家电设备与智能电话的通信的例子的图。图2 是信息通信的例子,是表示通过由用户持有的智能电话1201取得图1的电视机1101或电灶1106那样的各设备输出的信息来得到信息的结构的图。如图2所示,各设备使用LED的闪烁样式发送信息,智能电话1201使用照相机等的摄像功能接受信息。
图3是表示本实施方式的发送侧装置1301的结构的一例的图。
该发送侧装置1301通过用户按下按钮、或由NFC(Near Field Communication)等送出发送指示、或检测到装置内部的故障等的状态的变化,将信息作为光的闪烁样式发送。此时将发送重复一定时间。发送的信息如果是预先登记的设备间,也可以使用缩短ID。此外,在具有无线LAN 或特定节电无线等无线通信部的情况下,也可以将其连接所需要的认证信息作为闪烁样式发送。
此外,发送速度判断部1309通过掌握设备内部的时钟发生装置的性能,可以进行在时钟发生装置因较便宜而精度较差的情况下使发送速度变慢、在较高的情况下使发送速度变快的处理。在时钟发生装置的性能较差的情况下,或者也可以通过将发送的信息自身划分为较短,来减少因长时间通信下的闪烁间隔的偏差的累积造成的错误。
图4是表示本实施方式的接收侧装置1401的结构的一例的图。
该接收侧装置1401根据图像取得部1404取得的帧图像判断能看到光的闪烁的区域。此时闪烁也可以取能够采取追随可观测到一定以上的亮度的高低的区域那样的方法。
闪烁信息取得部1406根据闪烁的样式取得发送的信息,在其中包含有设备ID等的设备关联的情况下,使用该信息向云上的关联服务器查询附带的信息,或者使用事前保管的无线通信区域内的设备或保管在接收侧装置内部中的信息进行插补。由此,能够得到削减为了取得因将光的发光样式摄像时的噪声带来的错误修正或已经获得的信息而用户将智能电话罩在发送侧装置的发光部上的时间等的效果。
以下,说明图5。
图5是表示通过本实施方式的发送侧装置的LED的闪烁向智能电话等的接收侧装置发送信息的处理的流程的图。这里,设想具有通过NFC与智能电话通信的功能的发送侧装置、和植入在该发送侧装置具有的否FC用的通信标记的一部分中的LED的发光样式发送信息的状况。
首先,在步骤1001a中,用户购买家电设备,初次向插座插入电源,成为通电状态。
接着,在步骤1001b中,确认初始设定信息是否是已写入。在是的情况下向图中的圈3前进。另一方面,在否的情况下向步骤1001c前进,标记以用户容易理解的闪烁速度(例如:1~2/5)闪烁。
接着,在步骤1001d中,确认是否用户通过以NFC通信将智能电话接触在标记上而取得家电的设备信息。这里,在是的情况下,向步骤1001e 前进,智能电话接收设备信息,向云的服务器登记。接着,在步骤1001f 中,从云接收与智能电话的用户的账户建立了关联的缩短ID,向家电发送,向步骤1001g前进。另外,在步骤1001d中为否的情况下向步骤1001g前进。
接着,在步骤1001g中,确认是否有NFC下的登记。在是的情况下向步骤1001j前进,在蓝色的闪烁2次后,在步骤1001k中闪烁结束。
另一方面,在步骤1001g中为否的情况下向步骤1001h前进。接着,在步骤1001h中,确认是否过了30秒。这里,在是的情况下向步骤1001i 前进,LED部分通过光的闪烁将设备信息(设备的型号、NFC下的登记处理有无、设备的固有ID)输出,向图6的圈2前进。
另外,在步骤1001h中为否的情况下向步骤1001d返回。
接着,使用图6~图9,说明本实施方式的发送侧装置的通过LED的闪烁向接收侧装置发送信息的处理的流程。这里,图6~图9是表示通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
以下,说明图6。
首先,在步骤1002a中,用户起动取得智能电话的光闪烁信息的应用。
接着,在步骤1002b中,图像取得部分取得光的闪烁。并且,闪烁区域判断部根据图像的时间序列上的变化判断闪烁的区域。
接着,在步骤1002c中,闪烁信息取得部判断闪烁区域的闪烁样式,等待前同步码检测。
接着,在步骤1002d中,在能够检测到前同步码的情况下,取得该闪烁区域的信息。
接着,在步骤1002e中,在能够取得设备ID的信息的情况下,在接收继续状态下,也向云侧的服务器发送信息,信息插补部一边将从云侧获得的信息与闪烁信息取得部的信息比较一边插补。
接着,在步骤1002f中,如果也包括插补的信息、全部的信息齐备,则向智能电话或用户通知。此时,通过将从云获得的关联站点或GUI显示,能够进行丰富而容易理解的通知,向图7的圈4前进。
以下,说明图7。
首先,在步骤1003a中,在家电故障、或生成了向用户通知的使用次数、室温等的消息的情况下,开始信息发送模式。
接着,在步骤1003b中,使标记以1~2/s闪烁。同时,LED也开始信息发信。
接着,在步骤1003c中,确认是否开始了NFC下的通信。另外,在否的情况下向图9的圈7前进。在是的情况下向步骤1003d前进,停止LED 的闪烁。
接着,在步骤1003e中,智能电话向云的服务器访问,将关联信息显示。
接着,在步骤1003f中,在需要现场应对的故障的情况下,在服务器侧检索支援的服务人员。利用家电、设置场所、位置信息。
接着,在步骤1003g中,服务人员通过以预先决定的顺序按下家电的按钮而成为支援模式。
接着,在步骤1003h中,在从智能电话看到由标记以外的家电的LED 进行标记的闪烁的情况下,同时可见的LED的一部分或全部以将信息插补的方式烁,向图8的圈5前进。
以下,说明图8。
首先,在步骤1004a中,服务人员在持有的接收终端的性能能够检测高速(例如:1000/s次)的闪烁的情况下,按下其设定按钮。
接着,在步骤1004b中,家电的LED进行高速模式闪烁,向圈6前进。
以下,说明图9。
首先,在步骤1005a中继续闪烁。
接着,在步骤1005b中,用户用智能电话来获取LED的闪烁信息。
接着,在步骤1005c中,用户将智能电话的取得光闪烁信息的应用起动。
接着,在步骤1005d中,图像取得部分取得光的闪烁。并且,闪烁区域判断部根据图像的时间序列上的变化判断闪烁的区域。
接着,在步骤1005e中,闪烁信息取得部判断闪烁区域的闪烁样式,等待前同步码检测。
接着,在步骤1005f中,在能够检测到前同步码的情况下,取得该闪烁区域的信息。
接着,在步骤1005g中,在能够取得设备ID的信息的情况下,在接收继续状态下,也向云侧的服务器发送信息,信息插补部一边将从云侧获得的信息与闪烁信息取得部的信息比较一边插补。
接着,在步骤1005h中,如果也包括插补的信息、全部的信息齐备,则向智能电话或用户通知。此时,通过将从云获得的关联站点或GUI显示,能够进行丰富而容易理解的通知。
并且,向图7的步骤1003f前进。
这样,家电设备等的发送装置能够通过LED的闪烁向智能电话发送信息。即使是没有无线功能或NFC等的通信机构那样的设备也能够发信信息,还能够经由智能电话向处于云上的服务器的丰富的信息向用户提供。
此外,如本实施方式那样,在至少包括一个可拿持的设备的两个设备间具有通过双向通信(例如NFC通信)和单向通信(例如通过LED的亮度变化进行的通信)的两个通信方法进行数据的收发的功能的情况下,当从一方的设备向另一方的设备以单向通信进行数据的发送时,在以双向通信实现了数据收发的情况下,能够停止单向的通信。由此,能够省去单向通信所需要的耗电的浪费,所以是有效率的。
以上,根据实施方式1,能够实现能够进行包括运算力较弱那样的设备的多种多样的设备间的通信的信息通信装置。
具体而言,本实施方式的信息通信装置具有管理包括自己的唯一的ID 和设备的状态信息的设备信息的信息管理部、发光元件、和作为上述发光元件的闪烁样式而发送信息的光发送部,上述光发送部在上述设备的内部的状态中有变化的情况下,将上述设备信息变换为光的闪烁样式而发送。
这里,例如也可以是,还具备保存自己的起动状态及用户的使用履历等的设备内部的传感到的信息的起动履历管理部,上述光发送部取得利用的时钟发生装置的预先登记的性能信息,变更发送速度。
此外,例如也可以是,上述光发送部在用来通过光的闪烁发送信息的第一发光元件的周围配置有第二发光元件,上述第二发光元件在将通过上述第一发光元件的闪烁进行的信息发信重复一定次数的情况下,在信息发信的结束和开始之间发光。
另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录媒体实现,也可以通过系统、方法、集成电路、计算机程序或记录媒体的任意的组合实现。
(实施方式2)
在本实施方式中,以清扫机为例,对使用可视光通信的设备与用户的通信次序、以及对从使用可视光通信的初始设定到故障时的修理对应服务、使用清扫机的服务协同进行说明。
图10和图11是用来说明本实施方式的使用可视光进行用户与设备的通信的次序的图。
以下,对图10进行说明。
首先,在圈1中开始。
接着,在步骤2001a中,用户将电源投入。
接着,在步骤2001b中,作为起动处理,确认是否进行了设置设定、NW设定等的初始设定。
这里,在进行了初始设定的情况下,向步骤2001f前进,开始通常动作,如圈3所示那样结束。
另一方面,在没有进行初始设定的情况下,向步骤2001c前进,通过“LED通常发光”、“蜂鸣音”向用户通知需要初始设定。
接着,在步骤2001d中,收集设备信息(制品号码和制造号码),进行可视光通信的准备。
接着,在步骤2001e中,将设备信息(制品号码和制造号码)和能够进行可视光通信的情况通过“LED通信发光”、“向显示器的图标显示”、“蜂鸣音”、“将多个LED发光”向用户通知。
并且,如圈2所示那样结束。
接着,对图11进行说明。
首先,如圈2所示那样开始。
接着,在步骤2002a中,通过“接近传感器”、“照度传感器”及“人感传感器”感知可视光接收终端的接近。
接着,在步骤2002b中,以感知到的情况为触发事件,开始可视光通信。
接着,在步骤2002c中,用户用可视光接收终端取得设备信息。
接着,如圈4所示那样结束。或者,向步骤2002f~步骤2002i的某个前进。
在前进到步骤2002f的情况下,通过“感度传感器”的感知、以及“与调光设备的协同”,感知到房间被灭灯的情况,停止设备信息的发光,如圈 5所示那样结束。此外,在前进到步骤2002g的情况下,可视光接收终端取得设备信息,将感知到的情况通过“NFC通信”及“NW通信”通知并结束。在前进到步骤2002h的情况下,感知可视光接收终端的脱离,将设备信息停止并结束。在前进到步骤2002i的情况下,等待一定时间的经过,将设备信息的发光停止并结束。
另外,在步骤2002a中没有感知到的情况下,向步骤2002d前进,等待一定时间的经过,将能够进行可视光通信的通知通过“变亮”、“使声音变大”、“移动图标”等强化并通知。这里,向步骤2002d返回。或者,向步骤2002e前进,进而在一定时间经过后,向步骤2002i前进。
图12是用来说明本实施方式的用户购买设备、进行设备的初始设定为止的次序的图。
在图12中,首先如圈4所示那样开始。
接着,在步骤2003a中,用GPS(Global Positioning System)取得接收到设备信息的智能电话的位置信息。
接着,在步骤2003b中,如果在智能电话中有用户信息,则在终端内收集用户名、电话号码、邮件地址等的用户信息。或者,在步骤2003c中,如果在智能电话中没有用户信息,则通过NW从周边设备收集用户信息。
接着,在步骤2003d中,将设备信息、用户信息和位置信息向云服务器发送。
接着,在步骤2003e中,使用设备信息和位置信息收集初始设定所需要的信息和激活信息。
接着,在步骤2003f中,收集为了与用户已登记的设备的协同在设定中需要的IP、认证方式及可利用服务等相关信息。或者,在步骤2003g中,通过对用户已登记的设备通过NW发送设备信息和设定信息,进行与周边设备的协同设定。
接着,在步骤2003h中,使用设备信息和用户信息进行用户设定。
接着,在步骤2003i中,将初始设定信息、活动信息和协同设定信息向智能电话发送。
接着,在步骤2003j中,将初始设定信息、激活信息和协同设定信息用NFC向家电发送。
接着,在步骤2003k中,通过初始设定信息、激活信息和协同设定信息进行设备的设定。
并且,如圈6所示那样结束。
图13是用来对本实施方式的设备故障的情况下的、服务人员专用的服务进行说明的图。
在图13中,首先如圈3所示那样开始。
接着,在步骤2004a中,将在设备的通常动作中发生的动作日志、用户操作日志等的履历信息向本地存储媒体记录。
接着,在步骤2004b中,在故障发生的同时,将错误代码、错误详细情况等的错误信息记录,将能够进行可视光通信的情况用LED异常发光通知。
接着,在步骤2004c中,通过服务人员的特殊命令执行而成为LED高速发光模式,开始可视光的高速通信。
接着,在步骤2004d中,判别接近的终端是通常智能电话、还是服务人员的专用接收终端。这里,在前进到了步骤2004e的情况下,在智能电话的情况下取得错误信息并结束。
另一方面,在前进到了步骤2004f的情况下,在服务人员的情况下,用专用接收终端取得错误信息和履历信息。
接着,在步骤2004g中,向云发送设备信息、错误信息和履历信息,取得修理方法。这里,在前进到了步骤2004h的情况下,通过服务人员的特殊命令执行将LED高速发光模式解除并结束。
另一方面,在前进到了步骤2004i的情况下,从云服务器取得设备信息的关联商品、类似商品的商品信息、最近店铺的销售价格、新商品信息。
接着,在步骤2004j中,用用户的智能电话和服务人员的专用终端通过可视光通信取得用户信息,经由云服务器向最近店铺订购商品。
并且,如圈9所示那样结束。
图14是用来对本实施方式的和清扫机使用可视光通信的、用于确认清扫状况的服务进行说明的图。
首先,如圈3所示那样开始。
接着,在步骤2005a中,记录设备的通常动作中的清扫信息。
接着,在步骤2005b中,房间布局信息组合而制作污垢信息,进行加密压缩。
这里,在前进到步骤2005c的情况下,将污垢信息的压缩作为触发事件,将污垢信息向本地存储媒体记录。或者,在前进到了步骤2005d的情况下,将清扫的暂停(吸入处理停止)作为触发事件将污垢信息通过可视光通信向照明器具发送。或者,在前进到了步骤2005e的情况下,将污垢信息的记录作为触发事件,将污垢信息用NW向家庭内本地服务器及云服务器发送。
接着,在步骤2005f中,以污垢信息的发送及记录为触发事件,将设备信息、保存部位、解密密钥通过可视光通信向智能电话发送。
接着,在步骤2005g中,通过NW及NFC取得污垢信息并解码。
并且,如圈10所示那样结束。
如以上这样,根据实施方式2,能够实现包括能够进行包括运算力较弱那样的设备的多种多样的设备间的通信的信息通信装置的可视光通信系统。
具体而言,包括本实施方式的信息通信装置的可视光通信系统(图10) 搭载有用来判断可视光发送的准备是否完成的可视光发送可否判断部、和将是可视光发送中向用户通知的可视光发送通知部,当成为能够进行可视光通信的状态时向用户视觉及听觉地通知的可视光通信系统。由此,通过使LED的发光模式为“发光色”、“声音”、“图标显示”、“多LED发光”向用户通知能够进行可视光接收的状况,能够提高用户的方便性。
优选的是,如在图11中说明那样,也可以是一种可视光通信系统,搭载有感知可视光接收终端的接近的终端接近感知部、和根据可视光接收终端的位置判断可视光发送的开始和停止的可视光发送判断部,以由终端接近感知部感知到可视光接收终端的接近作为触发事件开始可视光发送。
这里,例如如在图11中说明那样,也可以是以由终端接近感知部感知到可视光接收终端的脱离为触发事件而将可视光发送停止的可视光通信系统。此外,例如如在图11中说明那样,也可以是一种可视光通信系统,搭载有感知房间的灭灯的周边照度感知部,以由周边照度感知部感知到房间的灭灯为触发事件将可视光发送停止。由此,通过感知可视光接收终端的接近和脱离、以及房间的灭灯,通过仅在能够可视光通信的状况下开始可视光通信,能够省去不必要的可视光通信而实现节能化。
进而,例如如在图11中说明那样,也可以是一种可视光通信系统,搭载有计测进行可视光发送的时间的可视光通信时间监视部、和将是可视光发送中的情况向用户通知的可视光发送通知部,以可视光通信进行了一定以上但没有可视光接收终端的接近的情况为触发事件,将向用户的视觉及听觉的通知进一步强化。此外,例如如在图11中说明那样,也可以是一种以可视光发送通知部将通知强化后可视光发送时间进行了一定以上但没有可视光接收终端的接近的情况为触发事件、将可视光发送停止的可视光通信系统。
由此,通过在虽然经过了一定以上的可视光发送时间、但没有进行用户的接收的情况下进行向用户的可视光接收的情况和停止,放置忘记接收或忘记取消,能够提高用户的方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图12)也可以是一种可视光通信系统,搭载有判断接收到可视光通信的可视光接收判断部、用来取得终端位置的接收终端位置取得部、和取得设备信息和位置信息并收集设备设定信息的设备设定信息收集部,以接收到可视光为触发事件而取得接收终端的位置,收集设备设定所需要的信息。由此,通过以由可视光通信取得设备信息为触发事件、自动收集设备设定及用户登记所需要的位置信息和用户信息并设定,省略由用户进行的输入和登记步骤,能够提高方便性。
这里,还如在图14中说明那样,也可以是一种可视光通信系统,搭载有管理设备信息的设备信息管理部、管理设备与设备的类似性的设备关系管理部、管理销售设备的店铺信息的店铺信息管理部、和根据位置信息检索最近店铺的最寄店铺检索部,以接收设备信息和位置信息为触发事件,取得销售类似设备的最近店铺及价格。由此,根据设备信息收集关联的设备的销售状况及销售店铺,通过省去检索设备的工夫,能够提高用户的方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图12)也可以是一种可视光通信系统,搭载有监视用户信息保存在终端内的情况的用户信息监视部、通过NW从周边设备收集用户信息的用户信息收集部、和取得用户信息和设备信息并进行用户登记的用户登记处理部,以没有用户信息为触发事件,从可访问的周边设备收集用户信息,与设备信息一起进行用户登记。由此,通过以由可视光通信取得设备信息为触发事件、自动收集设备设定、及用户登记所需要的位置信息和用户信息并设定,省略由用户进行的输入和登记步骤,能够提高方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图13)也可以是一种可视光通信系统,搭载有受理特殊命令的命令判断部、可视光通信的频率、和操作多LED协同的可视光通信速度调整部,通过由受理特殊命令进行可视光通信的频率的调整和发送LED数,使可视光通信高速化。这里,例如,如在图14中说明那样,也可以是一种可视光通信系统,搭载有通过NFC通信判别接近终端的种类的终端种类判断部、和根据终端种类判别发送的信息的发送信息种类判断部,将由接近的终端发送的信息的量和可视光通信速度变更。由此,通过根据接收终端调整可视光通信的频率及发送LED数、变更可视光通信的速度和发送信息,能够进行高速通信,能够提高用户的方便性。
此外,包括本实施方式的信息通信装置的可视光通信系统(图14)也可以是一种可视光通信系统,搭载有记录清扫信息的清扫信息记录部、记录房间布局信息的房间布局信息记录部、通过将房间布局信息与清扫信息叠加而生成污垢部位信息的信息合成部、和监视通常动作的停止的动作监视部,通过以设备的停止的感知为触发事件,将污垢部位信息可视光发送。
另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录媒体实现,也可以通过系统、方法、集成电路、计算机程序或记录媒体的任意的组合实现。
(实施方式3)
在本实施方式中,举住宅配送服务为例,对使用光通信的Web信息及设备的协同进行说明。
在图15中表示本实施方式的概要。即,图15是本实施方式的使用光通信的住宅配送服务支援的概略图。
具体而言,订购者使用移动终端3001a从商品购买站点进行商品的订购。在订购完成时,从商品购买站点发行订购号码。接收到订购号码的移动终端3001a将订购号码使用NFC通信向门禁电话宅内器3001b发送。
门禁电话宅内器3001b将从移动终端3001a接收到的订购号码向本设备的监视器显示等,向用户呈现发送完成的消息。
门禁电话宅内器3001b对门禁电话宅外器3001c发送内置在门禁电话宅外器3001c中的LED的闪烁指示和闪烁样式。闪烁样式根据从移动终端 3001a接收到的订购号码由门禁电话宅内器3001b生成。
门禁电话宅外器3001c根据从门禁电话宅内器3001b指定的闪烁样式而使LED闪烁。
作为移动终端的替代,也可以是PC等的能够向处于WWW3001d的商品购买站点访问的环境。
作为从移动终端3001a向门禁电话宅内器3001b的发送机构,除了NFC 通信以外,也可以使用宅内网络。
移动终端3001a也可以不经由门禁电话宅内器3001b而直接向门禁电话宅外器3001c发送订购号码。
在从订购者有订购的情况下,从住宅配送订购接收服务器3001e对住宅配送者移动终端3001f发送订购号码。当住宅配送者到达了住宅配送目标时,在住宅配送者移动终端3001f和门禁电话宅外器3001c的双向进行使用基于订购号码生成的LED闪烁样式的光通信。
接着,使用图16~图21进行说明。图16~图21是用来说明发明的实施方式3的使用光通信的住宅配送服务支援的流程图。
图16表示订购者进行订购、到发行订购号码为止的流程。以下,对图 16进行说明。
订购者移动终端3001a在步骤3002a中,通过智能电话的Web浏览器或应用实施住宅配送的预约。并且,向图17的圈1前进。
此外,订购者移动终端3001a接着图17的圈2,在步骤3002b中,在订购号码发送等待状态下待机。接着,在步骤3002c中,确认是否接触在了订购号码发送目标设备上。在是的情况下,向步骤3002d前进,对门禁电话室内器NFC接触而发送订购号码(在门禁电话存在于与智能电话相同网络中的情况下也有经由网络发送的方法)。另一方面,在否的情况下,向步骤3002b返回。
门禁电话宅内器3001b首先在步骤3002e中,从其他终端等待LED闪烁的请求。接着,在步骤3002f中,从智能电话接收订购号码。接着,在步骤3002g中,根据接收到的订购号码,发出门禁电话室外机的LED闪烁指示。并且,向图19的圈3前进。
门禁电话宅外器3001c首先在步骤3002h中,从门禁电话宅内器等待 LED闪烁指示。并且,向图19的圈7前进。
住宅配送者移动终端3001f在步骤3002i中,在订购通知等待状态下待机。接着,在步骤3002j中,确认是否被从住宅配送订购服务器通知了订购通知。这里,在否的情况下,向步骤3002i返回。在是的情况下,向步骤3002k前进,接收订购号码、住宅配送目标住址等的信息。接着,在步骤3002n中,待机直到用户有接收到的订购号码的LED发光指示或为了其他设备的LED发光识别而起动照相机。并且,向图18的圈5前进。
图17表示到订购者用订购者移动终端3001a进行住宅配送订购为止的流程。以下,对图17进行说明。
住宅配送订购服务器3001e首先在步骤3003a中等待接受订购号码。接着,在步骤3003b中确认是否接收到住宅配送订购。这里,在否的情况下,向步骤3003a返回。在是的情况下,向步骤3003c前进,对接收到的住宅配送订购发行订购号码。接着,在步骤3003d中,对住宅配送者通知接收到住宅配送订购的情况并结束。
订购者移动终端3001a接着图16的圈1,在步骤3003e中,从住宅配送订购服务器提示的菜单中选择订购内容。接着,在步骤3003f中,确定订购,向住宅配送服务器发送。接着,在步骤3003g中,确认是否接收到订购号码。这里,在否的情况下,向步骤3003f返回。在是的情况下,向步骤3003h前进,显示接收到的订购号码,进行敦促向门禁电话宅内器的接触的显示。并且,向图16的圈2前进。
图18表示住宅配送者使用住宅配送者移动终端3001f与住宅配送目标的门禁电话宅外器3001c进行光通信的流程。以下,对图18进行说明。
住宅配送者移动终端3001f接着图16的圈5,在步骤3004a中,确认是否为了识别住宅配送目标的门禁电话宅外器3001c的LED而起动照相机。这里,在否的情况下,向图16的圈5返回。
另一方面,在是的情况下,向步骤3004b前进,通过住宅配送者移动终端的照相机确认住宅配送目标门禁电话宅外器的LED闪烁。
接着,在步骤3004c中,识别门禁电话宅外器的LED发光并与订购号码对照。
接着,在步骤3004d中,确认门禁电话宅外器的LED闪烁是否与订购号码一致。这里,在是的情况下,向图20的圈6前进。
另外,在否的情况下,确认是否在照相机内能够确认其他LED闪烁。并且,在是的情况下,向步骤3004c返回,在否的情况下结束。
图19表示进行门禁电话宅内器3001b与门禁电话宅外器3001c间的订购号码对照的流程。以下,对图19进行说明。
门禁电话宅外器3001c接着图16的圈7,在步骤3005a中,确认是否从门禁电话宅内器有LED闪烁的指示。在否的情况下,向图16的圈返回。在是的情况下,向步骤3005b前进,按照从门禁电话宅内器指示的LED闪烁使LED闪烁。并且,向图20的圈8前进。
此外,门禁电话宅外器3001c接着图20的圈9,在步骤3005c中,将由门禁电话宅外器的照相机识别出的LED闪烁向门禁电话宅内器通知。并且,向图21的圈10前进。
门禁电话宅内器3001c接着图16的圈3,在步骤3005d中,对门禁电话宅外器实施对应于订购号码的LED闪烁指示。接着,在步骤3005e中待机,直到门禁电话宅外器的照相机识别住宅配送者移动终端的LED闪烁。接着,在步骤3005f中,确认是否从门禁电话宅外器识别出了LED闪烁。这里,在否的情况下,向步骤3005e返回。在是的情况下,在步骤3005g 中将门禁电话宅外器的LED闪烁与订购号码对照。接着,在步骤3005h中,确认门禁电话宅外器的LED闪烁与订购号码是否一致。在是的情况下,向图21的圈11前进。另一方面,在否的情况下,在步骤3005i中,向门禁电话宅外器指示LED闪烁的中止并结束。
图20表示订购号码对照后的门禁电话宅外器3001c与住宅配送者移动终端3001f间的流程。以下,对图20进行说明。
住宅配送者移动终端3001f接着图18的圈6,在步骤3006a中,根据住宅配送者移动终端保持的订购号码开始LED闪烁。
接着,在步骤3006b中,将LED闪烁部分配置到从门禁电话宅外器照相机能够摄影的范围中。
接着,在步骤3006c中,关于门禁电话宅外器的照相机摄影的住宅配送者移动终端的LED闪烁与门禁电话宅内器保持的订购号码是否一致,确认门禁电话宅外器LED闪烁是否表示一致。
这里,在否的情况下,向步骤3006b返回。另一方面,在是的情况下,向步骤3006e前进,将是否一致显示在住宅配送者移动终端上并结束。
此外,如图20所示,门禁电话宅外器3001c接着图19的圈8,在步骤 3006f中,确认是否由门禁电话宅外器的照相机识别出了住宅配送者移动终端的LED闪烁。这里,在是的情况下,向图19的圈9前进。在否的情况下,向图19的圈返回。
图21表示订购号码对照后的门禁电话宅外器3001c与住宅配送者移动终端3001f间的流程。以下,对图21进行说明。
门禁电话宅外器3001c接着图19的圈11,在步骤3007a中,关于门禁电话宅内器通知的LED闪烁是否与订购号码一致确认是否有通知。这里,在否的情况下向图19的圈11返回。另一方面,在是的情况下向步骤3007b 前进,通过门禁电话宅外器进行表示是否一致的LED闪烁并结束。
此外,如图21所示,门禁电话宅内器3001b接着图19的圈10,在步骤3007c中,用门禁电话宅内器将配送者已到达的显示调出,通过声音输出向订购者通知。接着,在步骤3007d中,向门禁电话宅外器指示表示LED 闪烁的中止与订购号码一致的LED闪烁。接着结束。
另外,在公寓中住宅配送目标不在的情况下,有在玄关等设置收存住宅配送物的住宅配送盒的情况。住宅配送者在住宅配送时订购者不在的情况下,将住宅配送物向住宅配送盒收存。也可以是,通过使用住宅配送者移动终端3001f的LED对门禁电话宅外器3001c的照相机进行光通信并发送住宅配送物的尺寸,门禁电话宅外器3001c能够自动地仅利用与住宅配送物的尺寸相符的住宅配送盒。
如以上这样,根据实施方式3,能够实现使用光通信的Web信息及设备的协同。
(实施方式4)
以下,对实施方式4进行说明。
(向服务器登记用户和使用中的便携电话)
图22是用来说明向本实施方式的服务器登记用户和使用中的便携电话的处理的图。以下说明图22。
首先,在步骤4001b中,用户将应用起动。
接着,在步骤4001c中,将该用户和便携电话的信息向服务器对照。
接着,在步骤4001d中,确认在服务器的DB中是否登记有用户信息和使用中的便携电话的信息。
在是的情况下向步骤4001f前进,作为并行处理而开始(处理a)用户声音特性的解析,向图24的B前进。
另一方面,在否的情况下向4001e前进,向DB的便携电话表登记便携电话ID和用户ID,向图24的B前进。
(处理a:用户声音特性的解析)
图23是用来说明本实施方式的用户声音特性的解析的处理的图。以下,说明图23。
首先,在步骤4002a中,从麦克风进行集音。
接着,在步骤4002b中,确认声音识别的结果是否将集音的声音推测为用户的声音。这里,在否的情况下向步骤4002a返回。
在是的情况下向步骤4002c前进,确认发生内容是否是在该应用中使用的键字(“向后”“返回”等)。在是的情况下,向步骤4002f前进,将声音数据向服务器的用户键字声音表登记,向步骤4002d前进。另一方面,在否的情况下向步骤4002d前进。
接着,在步骤4002d中,将声音特性(频率、声压、讲话速度)解析。
接着,在步骤4002e中,将解析结果向便携电话和服务器的用户声音特性表登记。
(声音识别处理的准备)
图24是用来说明本实施方式的进行声音识别处理的准备的处理的图。以下,说明图24。
首先,接着图中的B,在步骤4003a中,(用户操作)进行显示烹调菜单一览的操作。
接着,在步骤4003b中,从服务器取得烹调菜单一览。
接着,在步骤4003c中,将烹调菜单一览向便携设备画面显示。
接着,在步骤4004d中,从连接在便携电话上的麦克风开始集音。
接着,在步骤4003e中,作为并行处理而开始(处理b)从周边的集音设备的集音。
接着,在步骤4003f中,作为并行处理而开始(处理c)环境音特性的解析。
接着,在步骤4003g中,作为并行处理而开始(处理d)来自存在于周边的声音输出设备的声音的消除。
接着,在步骤4003h中,从服务器的DB取得用户声音特性。
最后,在步骤4003i中,开始用户声音的识别,向图28的C前进。
(处理b:从周边的集音设备的集音)
图25是用来说明进行从本实施方式的周边的集音设备的集音的处理的图。以下,说明图25。
首先,在步骤4004a中,搜索从便携电话能够通信、能够集音的设备 (集音设备)。
接着,在步骤4004b中,确认是否发现了集音设备。
这里,在否的情况下结束。在是的情况下向步骤4004c前进,从服务器取得集音器机的位置信息和麦克风特性信息。
接着,在步骤4004d中,确认在服务器中是否存在信息。
在是的情况下向步骤4004e前进,确认是否集音设备的设置位置距便携电话的位置足够近、能够将用户的声音集音。另外,在步骤4004e中为否的情况下,向步骤4004a返回。另一方面,在步骤4004e中为是的情况下,向步骤4004f前进,使集音设备开始集音。接着,在步骤4004g中,向便携电话发送由集音设备集音的声音,直到有集音处理结束的命令。另外,也可以不将集音的声音原样向便携电话发送,而向便携电话发送进行了声音识别的结果。此外,将向便携设备发送的声音与从连接在便携电话上的麦克风集音的声音同样处理,向步骤4004a返回。
另外,在步骤4004d中为否的情况下,向步骤4004h前进,使集音设备开始集音。接着,在步骤4004i中,从便携电话输出信号音。接着,在步骤4004j中,向便携电话发送由集音设备集音的声音。接着,在步骤4004k 中,确认是否能够根据从集音设备传送的声音识别出信号音。这里,在是的情况下向步骤4004g前进,在否的情况下向步骤4004a返回。
(处理c:环境音特性的解析)
图26是用来说明本实施方式的环境音特性的解析处理的图。以下,说明图26。
首先,在步骤4005f中,取得将该用户拥有的设备中的除了位置距电灶的位置足够远者以外的设备的列表。从DB取得这些设备发出的声音的数据。
接着,在步骤4005g中,将所取得的声音数据的特性(频率、声压等) 解析,作为环境音特性保持。另外,处于电灶的附近的炊饭机等发出的声音由于特别容易发生误识别,所以设定较高的重要度并保持。
接着,在步骤4005a中,从麦克风集音。
接着,在步骤4005b中,确认集音的声音是否是用户的声音,在是的情况下向步骤4005a返回。在否的情况下,向步骤4005c前进,将集音的声音的特性(频率、声压)解析。
接着,在步骤4005d中,根据解析结果将环境音特性更新。
接着,在步骤4005e中,确认结束标志是否亮起,在是的情况下结束。在否的情况下向步骤4005a返回。
(处理d:将来自存在于周边的声音输出设备的声音消除)
图27是用来说明本实施方式的将来自存在于周边的声音输出设备的声音消除的处理的图。以下,说明图27。
首先,在步骤4006a中,搜索能够通信的设备且能够声音输出的设备 (声音输出设备)。
接着,在步骤4006b中,确认是否发现了声音输出设备,在否的情况下结束。在是的情况下,向步骤4006c前进,使声音输出设备输出包含各种各样的频率的信号音。
接着,在步骤4006d中,用便携电话及图25的集音设备(各集音设备) 进行集音,将从声音输出设备输出的信号音集音。
接着,在步骤4006e中,确认是否能够将信号音集音、识别,在否的情况下结束。在是的情况下,向步骤4006f前进,将从声音输出设备到各集音设备的传送特性(各频率的输出音量与集音的音量的关系、以及从信号音输出到集音的延迟时间)解析。
接着,在步骤4006g中,确认声音输出设备输出的声音数据是否从便携电话能够访问。
这里,在是的情况下向步骤4006h前进,在有消除处理结束的命令之前,取得从声音输出设备输出的声音源、输出部位、音量,一边考虑传送特性一边从由各集音设备集音的声音中将由声音输出设备输出的声音消除。向步骤4006a返回。另一方面,在否的情况下,向步骤4006i前进,在有消除处理结束的命令之前,取得从声音输出设备输出的声音,一边考虑传送特性一边从由各集音设备集音的声音将由声音输出设备输出的声音消除,向步骤4006a返回。
(烹调菜单的选择和向电灶的运转内容设定)
图28是用来说明本实施方式的进行烹调菜单的选择和向电灶的运转内容设定的处理的图。以下,说明图28。
首先,接着图中的C,在步骤4007a中,(用户操作)选择想要烹调的菜单。
接着,在步骤4007b中,(用户操作)设定烹饪法参数(烹调的分量、味的浓度、火候调节等)。
接着,在步骤4007c中,从服务器取得与烹饪法参数相符的烹饪法数据,进行电灶运转内容设定命令。
接着,在步骤4007d中,向用户敦促使便携电话向植入在电灶中的非接触IC标签接触。
接着,在步骤4007e中,确认是否检测到向电灶的接触。
这里,在否的情况下向步骤4007e返回。在是的情况下,向步骤4007f 前进,将从服务器取得的电灶的设定命令向电灶发送。由此,在该烹饪法中需要的电灶的设定全部被进行,用户仅通过按下电灶的运转开始按钮就能够烹调。
接着,在步骤4007g中,(处理e)从服务器等的DB取得电灶用的通知音,向电灶设定。
接着,在步骤4007h中,(处理f)进行电灶的通知音的调整,向图32 的D前进。
(处理e:从服务器等的DB取得电灶用的通知音,向电灶设定)
图29是用来说明本实施方式的从服务器等的DB取得电灶用的通知音、向电灶设定的处理的图。以下,说明图29。
首先,在步骤4008a中,用户将便携电话向植入在电灶中的非接触IC 标签靠近(=接触)。
接着,在步骤4008b中,向电灶询问在电灶中是否登记有面向该便携电话的通知音数据(在电灶的操作时或运转结束时输出的声音的数据)。
接着,在步骤4008c中,确认在电灶中是否登记有面向该便携电话的通知音数据。
这里,在是的情况下结束。在否的情况下,向步骤4008d前进,确认在便携设备中是否登记有面向该便携电话的通知音数据。在是的情况下,向步骤4008h前进,将登记在便携电话中的通知音数据向电灶登记并结束。另一方面,在否的情况下,向步骤4008e前进,参照服务器或便携电话或电灶的DB。
接着,在步骤4008f中,在DB中有面向该便携电话的通知音数据(该便携电话容易识别的通知音的数据)的情况下从DB取得该数据,在没有的情况下从DB取得面向一般的便携电话的通知音数据(一般便携电话容易识别的通知音的数据)。
接着,在步骤4008g中,将所取得的通知音数据向便携电话登记。
接着,在步骤4008h中,将登记在便携电话中的通知音数据向电灶登记并结束。
(处理f:电灶的通知音的调整)
图30是用来说明本实施方式的进行电灶的通知音的调整的处理的图。以下,说明图30。
首先,在步骤4009a中,取得登记在便携电话中的该电灶的通知音数据。
接着,在步骤4009b中,确认该终端用的通知音的频率与环境音的频率的重叠是否为一定以上。
这里,在否的情况下结束。
另一方面,在是的情况下,向步骤4009c前进,将通知音的音量设定为相比环境音足够大的音量。或者将通知音的频率变更。
这里,如果举将频率变更的通知音的制作方法的一例,则如果电灶能够输出图31的(c)的声音,则以(c)的样式制作通知音并结束。如果(c) 不能而(b)能够,则以(b)的样式制作通知音并结束。如果仅(a)能够,则以(a)的样式制作通知音并结束。
图31是表示本实施方式的向电灶设定的通知音的波形的例子的图。
图31(a)所示的波形是单纯的矩形波,能够由几乎全部的声音输出装置输出。由于容易与通知音以外的声音混淆,所以输出几次,如果能够识别其中的几个,则应当进行识别为该通知音响起等的对应。
图31(b)所示的波形是通过短时间的矩形波将(a)的波形细小地划分那样的波形,如果声音输出装置的动作时钟足够快则能够输出。该声音在人的耳朵中能够与(a)的声音同样听到,但在机械识别中,有信息量比 (a)多、难以与通知音以外的声音混淆的性质。
图31(c)所示的波形是将声音输出部分的时间的长度改变的波形,称作PWM波形。比(b)难输出,但信息量比(b)多,也可以使识别率提高、从电灶向便携电话同时传递想要传递的信息。
另外,图31(b)、图31(c)的波形相比图31(a)误识别的可能性较低,但与图31(a)同样,通过将相同的波形重复多次,能够进一步提高识别率。
(烹调内容的显示)
图32是表示本实施方式的向电灶设定的通知音的波形的例子的图。以下,说明图32。
首先,接着图中的D,在步骤4011a中,显示烹调内容。
接着,在步骤4011b中,确认烹调内容是否是电灶的运转。
这里,在是的情况下,向步骤4011c前进,向用户通知向电灶装入食材并按下运转开始按钮,向图33的E前进。
另一方面,在否的情况下,向步骤4011d前进,显示烹调内容,向图中的F前进或向步骤4011e前进。
在步骤4011e中,确认用户的操作是什么样的。在应用结束的情况下结束。
另一方面,在显示内容的变更操作、手输入(按钮按下等)、声音输入 (“向后”“向前”等)的情况下,向步骤4011f前进,确认显示内容变更的结果是否是烹调结束。这里,在是的情况下,向步骤4011g前进,将烹调结束向用户通知并结束。在否的情况下向步骤4011a前进。
(电灶的通知音的识别)
图33是用来说明本实施方式的进行电灶的通知音的识别的处理的图。以下,说明图33。
首先,接着图中的E,在步骤4012a中,作为并行处理,(处理g)开始从周边的集音设备的集音和电灶通知音的识别。
接着,在步骤4012f中,作为并行处理,(处理i)开始便携电话操作状态的确认。
接着,在步骤4012g中,作为并行处理,(处理j)开始用户位置的追踪。
接着,在步骤4012b中,对识别内容进行确认。
这里,在识别出按钮按下的通知音的情况下,向步骤4012c前进,登记设定变更,向步骤4012b返回。在识别出用户的操作的情况下,向图32 的F前进。在从显示向电灶装入食材并按下运转开始按钮起经过运转时间后识别出(运转结束的通知音或将电灶的门打开的声音)的情况下,在步骤4012e中,(处理h)向用户通知电灶的运转结束,向图32的G前进。在识别出运转开始的通知音的情况下,向步骤4012d前进,待机直到经过运转时间,向步骤4012e前进,(处理h)向用户通知电灶的运转结束,向图 32的G前进。
(处理g:从周边的集音设备的集音和电灶通知音的识别)
图34是用来说明本实施方式的进行从周边的集音设备的集音和电灶通知音的识别的处理的图。以下,说明图34。
首先,在步骤4013a中,搜索能够从便携电话通信、能够集音的设备 (集音设备)。
接着,在步骤4013b中,确认是否发现了集音设备。
这里,在否的情况下结束。另一方面,在是的情况下,向步骤4013c 前进,从服务器取得集音器机的位置信息和麦克风特性信息。
接着,在步骤4013d中,确认在服务器中是否存在信息。
在是的情况下,向步骤4013r前进,确认是否集音设备的设置位置距电灶足够近、能够将通知音集音。
这里,在步骤4013r中为否的情况下向步骤4013a返回。在是的情况下,向步骤4013s前进,确认集音设备的运算装置是否能够进行声音识别。在步骤4013s中为是的情况下,在步骤4013u中,向集音设备发送用于电灶的通知音识别的信息。接着,在步骤4013v中,使集音设备开始集音和声音识别,向便携电话发送识别结果。接着,在步骤4013q中,在向下个烹调阶段前进之前,进行电灶的通知音的识别处理,将识别结果向便携电话发送。另一方面,在步骤4013s中为否的情况下,向步骤4013t前进,使集音设备开始集音,将集声音音向便携电话发送。接着,在步骤4013j 中,在向下个烹调阶段前进之前,将集音的声音向便携电话发送,由便携电话识别电灶的通知音。
另外,在步骤4013d中为否的情况下,向步骤4013e前进,确认集音设备的运算装置是否能够进行声音识别。
在是的情况下,向步骤4013k前进,向集音设备发送用于电灶的通知音识别的信息。接着,在步骤4013m中,使集音设备开始集音和声音识别,将识别结果向便携电话发送。接着,在步骤4013n中,使电灶的通知音响起。接着,在步骤4013p中,确认是否能够由集音设备识别上述通知音。在步骤4013p中为是的情况下,向4013q前进,在向下个烹调阶段前进之前进行电灶的通知音的识别处理,将识别结果向便携电话发送,向步骤4013a返回。在步骤4013p中为否的情况下,向步骤4013a返回。
此外,在步骤4013e中为否的情况下,向步骤4013f前进,使集音设备开始集音,将集声音音向便携电话发送。接着,在步骤4013g中,使电灶的通知音响起。接着,在步骤4013h中,对从集音设备送来的声音进行识别处理。接着,在步骤4013i中,确认是否能够识别上述通知音。这里,在是的情况下,向4013j前进,在向下个烹调阶段前进之前,将集音的声音向便携电话发送,由便携电话识别电灶的通知音,向步骤4013a返回。在否的情况下向步骤4013a返回。
(处理h:向用户通知电灶的运转结束)
图35是用来说明本实施方式的向用户通知电灶的运转结束的处理的图。以下,说明图35。
首先,在步骤4013a中,确认是否能够判断出是正在使用便携电话中或根据传感器数据判断出便携电话是移动中。另外,在是的情况下,向步骤4014m前进,使用便携电话的画面显示、声音或振动等向用户通知电灶的运转结束并结束。
另一方面,在步骤4013a中为否的情况下,向步骤4014b前进,搜索由用户登入的PC等操作中的设备(用户操作中设备)。
接着,在步骤4014c中,确认是否发现了用户操作中设备。另外,在是的情况下,使用用户操作中设备的画面显示等向用户通知电灶的运转结束并结束。
另一方面,在步骤4014c中为否的情况下,向步骤4014e前进,搜索能够从便携电话通信、能够取得图像的设备(摄像设备)。
接着,在步骤4014f中,确认是否发现了摄像设备。
这里,在是的情况下,向步骤4014p前进,使摄像设备摄像,向摄像设备发送用户的脸数据,进行用户的脸识别。或者,将摄像图像向便携电话或服务器传送,在图像的发送目标中进行用户的脸识别。
接着,在步骤4014q中,确认是否识别出了用户的脸。在否的情况下向步骤4014e返回。在是的情况下,向步骤4014r前进,确认在发现了用户的设备(发现设备)中是否有显示装置或发声装置。在步骤4014r中为是的情况下,向步骤4014s前进,使用附属于设备的装置向用户通知电灶的运转结束并结束。
此外,在步骤4014f中为否的情况下,向步骤4014g前进,搜索能够从便携电话通信、能够集音的设备(集音设备)。
此外,在步骤4014h中为否的情况下,向步骤4014i前进,发现能够通过其他设备的操作或步行振动等的方法确定用户的位置的设备。接着,向步骤4014m前进,使用便携电话的画面显示、声音或振动等向用户通知电灶的运转结束并结束。
另外,在步骤4014i中为是的情况下,向步骤4014r前进,确认在发现了用户的设备(发现设备)中是否有显示装置或发声装置。这里,在否的情况下,向步骤4014t前进,从服务器取得发现设备的位置信息。
接着,在步骤4014u中,搜索处于发现设备的附近、有显示装置或发声装置的设备(通知设备)。接着,在步骤4014v中,考虑从通知设备到用户的距离,通过画面显示或足够的音量的声音向用户通知电灶的运转结束并结束。
(处理i:便携电话操作状态的确认)
图36是用来说明本实施方式的进行便携电话操作状态的确认的处理的图。以下,说明图36。
首先,在步骤4015a中,确认是否是正在操作便携电话中,或便携电话正在移动,或在连接于便携电话上的输入输出装置中有输入输出,或正在将影像或音乐再现中,或处于距便携电话较近的位置的设备为操作中,或由处于距便携电话较近的位置的设备的照相机或各种传感器识别到了用户。
这里,在是的情况下,向步骤4015b前进,识别为用户的位置距该便携电话较近的概率较高,向步骤4015a返回。
另一方面,在否的情况下,向步骤4015c前进,确认是否处于距便携电话较远的位置的设备是操作中,或由处于距便携电话较远的位置的设备的照相机或各种传感器识别到用户,或是充电中。
在步骤4015c中,在是的情况下,向步骤4015d前进,识别为用户的位置距该便携电话较远的概率较高,向步骤4015a返回。在步骤4015c中,在否的情况下向步骤4015a返回。
(处理j:用户位置的跟踪)
图37是用来说明本实施方式的进行用户位置的跟踪的处理的图。以下,说明图37。
首先,在步骤4016a中,确认是否由方位传感器、位置传感器或9轴传感器判断出便携电话正被移动。另外,9轴传感器是由加速度传感器、角速度传感器及地磁传感器中的至少1个构成的传感器。
在步骤4016a中为是的情况下,向步骤4016b前进,将便携电话和用户的位置向DB登记,向步骤4016a返回。
另一方面,在步骤4016a中为否的情况下,向步骤4016c前进,搜索能够从便携电话通信、照相机或麦克风、人感传感器等的能够检测用户的位置或用户存在的情况的设备(用户探知设备)。
接着,在步骤4016d中,确认是否发现集音设备。在步骤4016d中为否的情况下,向步骤4016a返回。
在步骤4016d中为是的情况下,向步骤4016e前进,确认是否由用户探知设备探知到用户。步骤4016e中为否的情况下,向步骤4016a返回。
在步骤4016e中为是的情况下,向步骤4016f前进,将用户的探知向便携电话发送。
接着,在步骤4016g中,将在用户探知设备的附近存在用户的情况向 DB登记。
接着,在步骤4016h中,如果在DB中有用户探知设备的位置信息则取得,确定用户的位置,向步骤4016a返回。
图38是表示一边将来自声音输出装置的声音消除一边识别家电的通知音、使可通信的电子设备识别用户(操作者)的当前位置、根据用户位置的识别结果使处于距用户位置较近的位置的设备进行向用户的通知的图。此外,图39是表示在本实施方式的服务器或便携电话、电灶中保持的数据库的内容的图。
如图39所示,在电灶表4040a中,将电灶的机种、确定可输出的声音的数据(扬声器特性、调制方式等)、具有容易按照各种便携电话机种识别该便携电话的特性的通知音的数据、和一般的便携电话平均容易识别的通知音数据建立对应保持。
在便携设备表4040b中,将便携电话的各个体、该便携电话的机种、使用该便携电话的用户、和表示该便携电话的位置的数据建立对应保持。
在便携设备机种表4040c中,将便携电话的机种与在该便携电话机种中附带的麦克风等的集音特性建立对应保持。
在用户声音特性表4040d中,将用户与该用户的声音的声响特性建立对应保持。
在用户键字声音表4040e中,将用户、与该用户发声“向后”“返回”等的便携电话要识别的键字时的声音波形数据建立对应保持。另外,该数据也可以不是声音波形数据本身,而是将其解析、变形为容易处置的形式后的数据。
在用户拥有设备位置表4040f中,将用户、用户拥有的设备、和该设备的位置数据建立对应保持。
在用户拥有设备位置表4040g中,将用户、用户拥有的设备、和该设备发出的通知音或运转音等的声音的数据建立对应保持。
在用户位置表4040h中,将用户与用户的位置的数据建立对应保持。
此外,图40是表示本实施方式的用户基于显示在便携电话上的烹调次序进行烹调、此外用户通过“向后”“返回”等的声音操作便携电话的显示内容的图。图41是表示本实施方式的在开始电灶的运转、等待运转结束的期间、或煮东西的期间等的时间中、用户向其他场所移动的图。图42是表示对于经由网络与便携电话连接、并且照相机或麦克风、人感传感器等的能够进行用户的位置的识别或能够识别用户存在的设备、从便携电话发送探知用户的命令的图。图43作为用户的探知的例子而表示用电视机附带的照相机识别用户的脸、此外用空调的人感传感器识别用户的移动或存在的图。另外,该识别处理也可以由电视机或空调进行,也可以将图像数据等向便携电话或服务器发送,由发送目标进行识别处理。但是,从隐私保护的观点,不应将用户的数据向外部服务器发送。
图44是表示从探知到用户的设备向便携电话发送探知到用户的情况、及从探知到的设备到用户的相对位置的图。
这样,如果在DB中存在探知到用户的设备的位置信息,则能够确定用户的位置。
图45是表示本实施方式的便携电话识别电灶的运转结束音的图。图46 是表示识别出电灶的运转结束的便携电话对探知到用户的设备中的、具有画面显示功能或声音输出功能的设备(在本图中是处于用户的正面的电视机)发送向用户通知电灶的运转结束的命令的图。
图47是表示接受到上述命令的设备将通知内容向用户通知(在本图中,在电视机的画面上显示电灶的运转已结束)的图。图48是表示经由网络与便携电话连接、具备麦克风、存在于电灶的附近的设备识别电灶的运转结束音的图。图49是表示从识别到电灶的运转结束的设备向便携电话通知该情况的图。图50是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话处于用户的附近则使用便携电话的画面显示或声音输出等向用户通知电灶的运转结束的图。
图51是表示将电灶的运转结束向用户通知的图。具体而言,图51是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话不在用户的附近、则在探知到用户的设备中的、对具有画面显示功能或声音输出功能的设备(在本图中处于用户的正面的电视机)发送向用户通知电灶的运转结束的命令、接受到该命令的设备向用户通知电灶的运转结束的图。表示当便携电话连接在充电器上时,便携电话在电灶的附近、用户的附近都不存在的情况较多,容易发生本图所示的状况。
图52是表示接受到电灶的运转结束的通知的用户向厨房移动的图。另外,此时便携电话显示接着的烹调内容。此外也可以是,便携电话通过声音等识别出用户已向厨房移动,在正合适的时机开始接着的烹调次序的说明。
图53是表示从电灶通过无线通信向便携电话发送运转结束等的信息、从便携电话对用户正观看的电视机进行通知命令、通过电视机的画面显示或声音向用户进行通知的图。
另外,信息源设备(在本图中是电灶)与便携电话的通信、及便携电话与向用户进行通知的设备(在本图中是电视机)的通信可以利用家庭内 LAN,或直接的无线通信,特别是700MHz~900MHz台的无线通信等。此外,这里利用便携电话作为枢纽,但可以代替便携电话而利用具有通信能力的其他设备。
图54是表示从电灶通过无线通信向用户正观看的电视机发送运转结束等的信息、使用电视机的画面显示或声音对用户进行通知的。它表示不经由在图53中承担作为枢纽的作用的便携电话的情况下的动作。
图55是表示在1层的空调进行某个信息通知的情况下、向2层的空调发送信息、从2层的空调向便携电话发送信息、从便携电话对用户观看的电视机进行通知命令、通过电视机的画面显示或声音对用户进行通知的图。它表示在不能从信息源设备(在本图中是1层的空调)向作为枢纽的便携电话直接通信的情况下向能够通信的其他设备发送信息、进行到便携电话为止的通信。
图56是表示向处于远程的用户进行信息的通知的图。具体而言,图56 表示从经由声音、光或无线通信等从电灶接受到通知的便携电话通过因特网或载波通信向处于远程的用户进行信息的通知。图57是表示在不能从电灶向作为枢纽的便携电话进行直接通信的情况下、经由个人计算机等对便携电话发送信息的图。图58是表示从图57的接受到通信的便携电话逆向沿着信息通信路径对电灶发送操作命令等的信息的图。
另外,便携电话也可以接受图57的信息、自动地发送信息,也可以将该信息向用户通知、接受到该通知而发送用户进行的操作的信息。
图59是表示从作为信息源设备的空调不能对作为枢纽的便携电话进行直接的通信的情况下、对用户进行信息的通知的图。具体而言,图59表示,在不能从作为信息源设备的空调对作为枢纽的便携电话进行直接的通信的情况下,首先,在圈1中,对个人计算机等的、作为向便携电话的通信的阶梯的设备发送信息,在圈2和圈3中,通过因特网或载波通信网从个人计算机向便携电话发送信息,便携电话自动处理该信息,或者,接受拿着便携电话的用户的操作,在圈4和圈5中,通过因特网或载波通信网将信息向个人计算机发送,在圈6中,个人计算机对能够向想要通知的用户通知的设备(在本图中是电视机)发送通知命令,在圈7中,使用电视机的画面显示或声音对用户进行信息的通知。
这样的状况在应接受来自空调的通知信息的用户与正使用便携电话的用户不同的情况下容易发生。
另外,在本图中,在个人计算机与便携电话之间的通信中经由因特网或载波通信网,但也可以通过家庭内LAN或直接通信等进行通信。
图60是用来对利用使用700~900MHz的电波的通信装置的系统说明的图。具体而言,在图60的结构中,对利用使用700~900MHz的电波(以下称作G电波)的通信装置(以下称作G装置)的系统进行说明,表示从带有G装置的电灶对带有G装置的3层的便携电话使用G电波发送信息、从带有G装置的3层的便携电话利用家庭内网络对没有G装置的2层的便携电话发送信息、从2层的便携电话向用户进行信息的通知。
另外,可以考虑在带有G装置的设备间的通信的登记、认证中使用附属于两设备的否FC的方法。此外,在某个设备中没有NFC的情况下,可以考虑作为登记模式而降低G电波的输出以使得仅在10~20cm程度的距离下能够通信、在将双方的设备靠近而通信成功的情况下进行G装置间的通信的登记、认证的方法。
此外,信息源设备(在本图中是电灶)只要具备G装置,也可以是电灶以外的设备。
此外,进行信息源设备和信息通知设备(在本图中是2层的便携电话) 的中继的设备(在本图中是3层的便携电话)只要能够对G电波和家庭内网络访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
此外,信息通知设备只要能够向家庭内网络访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
图61是表示远程的便携电话对用户通知信息的图。具体而言,图61 表示从带有G装置的空调对带有G装置的宅内的便携电话发送信息、从宅内的便携电话通过因特网或载波通信网对远程的便携电话发送信息、用远程的便携电话向用户通知信息。
另外,信息源设备(在本图中是空调)只要具备G装置,也可以是电灶以外的设备。
此外,进行信息源设备和信息通知设备(在本图中是远程的便携电话) 的中继的设备(在本图中是宅内的便携电话)只要能够对G电波和因特网或载波通信网访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
另外,信息通知设备只要能够对因特网或载波通信网访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
图62是表示远程的便携电话向用户进行信息的通知的图。具体而言,图62表示,带有G装置的电视机识别没有G装置的电灶的通知音,电视机经由G电波向带有G装置的宅内的便携电话发送信息,从宅内的便携电话经由因特网或载波通信网向远程的便携电话发送信息,远程的便携电话向用户进行信息的通知。
另外,信息源设备(在本图中是电灶)如果是其他设备也同样,通知识别设备(在本图中是电视机)识别信息源设备的通知的方法如果不是声音而是发光状态等也是同样的。
此外,通知识别设备也即使是带有G装置的其他设备也同样。此外,进行通知识别设备和信息通知设备(在本图中是远程的便携电话)的中继的设备(在本图中是宅内的便携电话)只要能够对G电波和因特网或载波通信网访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
另外,信息通知设备只要能够对因特网或载波通信网访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
此外,图63是在与图62同样的情况下、代替进行通知识别设备(在本图中是2层的电视机)和信息通知设备(在本图中是远程的便携电话) 的中继的设备(在图62中是宅内的便携电话)而由2层的电视机发挥中继设备的作用的情况下的图。
根据以上,本实施方式的装置实现以下的功能。
·通过应用的利用来学习用户的声音特性的功能
·在能够从便携电话通信、具有集音功能的设备中、找到能够将从便携电话发出的声音集音的集音设备的功能
·在能够从便携电话通信、具有集音功能的设备中、找到能够将从电子设备发出的声音集音的集音设备的功能
·将由集音设备集音的声音原样或将声音识别结果向便携电话发送的功能
·将环境音的特性解析、使声音识别的精度提高的功能
·从DB取得能够从用户拥有的设备输出的声音、使声音识别的精度提高的功能
·在能够从便携电话通信、具有集音功能的设备中、找到便携电话或集音设备能够将从该设备发出的声音集音的声音输出设备的功能
·取得从声音输出设备输出的声音数据、通过考虑传送特性而从集声音音中减除、从集声音音中将不需要的声音消除的功能
·接受烹调烹饪法的参数输入、从服务器取得对用户进行指示的烹调次序、和用来控制烹调设备的控制数据的功能
·基于设备能够输出的声音的数据设定设备发出的通知音、以使便携电话或集音设备容易识别的功能
·通过基于用户的声音特性调整识别功能、使用户声音的识别精度提高的功能
·使用多个集音设备识别用户的声音的功能
·使用多个集音设备识别电子设备的通知音的功能
·经由便携电话和电子设备的非接触IC卡等、仅通过一次的操作、为了进行一系列的作业而从电子设备得到需要的信息、对电灶进行设定的功能
·在从便携电话能够通信的设备中,使用照相机或麦克风、人感传感器等的能够探知用户的设备探索用户、将用户的当前位置向便携电话发送或向DB保存的功能
·使用保存在DB中的用户位置、从存在于附近的设备对用户进行通知的功能
·根据便携电话的状态(操作状态、传感器值、充电状态、数据链路状态等)推测在便携电话的附近是否存在用户的功能
另外,在图22到图52的处理中,如果分别将声音数据改读作发光数据(频率或亮度等)、将声音输出改读作发光、将集音改读作受光,也能够实现同样的功能。
此外,在本实施方式中以电灶为例,但发出识别的通知音的电子设备如果不是电灶,而改变为洗衣机或炊饭机、清扫机、电冰箱、空气净化机、热水壶、餐具清洗干燥机、空调、个人计算机、便携电话、电视机、汽车、电话、邮件收信装置等,也有同样的效果。
此外,在本实施方式中,电灶、便携电话、和电视机等的向用户进行通知的设备直接进行通信,但在直接的通信中存在不良状况的情况下,也可以经过其他设备间接地进行通信。
此外,在本实施方式中,设想了主要利用家庭LAN的通信,但如果是经由设备彼此的直接无线通信、因特网或载波通信网的通信的情况,也能够实现同样的功能。
此外,在本实施方式中,将使用者的场所通过从便携电话的一下子的询问、用TV的照相机等进行人物识别,向本人的便携电话加密发送,所以具有防止个人信息的泄漏的效果。在家中有多个人的情况下,通过将空调或空气净化机、电冰箱的人感传感器的数据放置到便携设备等的位置管理数据库中,通过随着识别了一次的操作者的移动用传感器跟踪,也能够推测操作者的位置。
另外,在用户持有具备陀螺仪或方位计的便携电话的情况下,可以将所确定的位置数据登记到用户位置数据库中。
此外,当操作者将便携设备放置时,首先,由于物理传感器的运动在一定期间中静止,所以能够检测到该情况。接着离开的情况,使用家电或照明器具的人感传感器或按钮操作、TV等的照相机、便携设备的麦克风等检测。并且,将其位置向便携设备或家内的服务器的用户位置数据库登记。
如以上这样,根据实施方式4,能够实现能够进行设备间的通信的信息通信装置(识别装置)。
具体而言,本实施方式的信息通信装置也可以包括在从操作终端能够通信的电子设备中探索具有集音功能的电子设备(集音设备)、利用上述集音设备的集音功能识别别的电子设备的通知音的识别装置。
这里,该识别装置还可以是利用仅能够将从操作终端发出的信号音集音的集音设备的集音功能的识别装置。
此外,本实施方式的信息通信装置也可以包括在从操作终端能够通信的电子设备中探索具有集音功能的电子设备(集音设备)、将上述声音输出设备与上述集音设备之间的声音传送特性解析而取得上述声音输出设备的输出声音数据、根据上述声音传送特性和上述输出声音数据、从集声音音中将从上述声音输出设备输出的声音消除的集音装置。
此外,本实施方式的信息通信装置也可以包括调整想要识别通知音的电子设备的通知音、以使其不会被环境音掩埋的识别装置。
此外,本实施方式的信息通信装置也可以是,将用户拥有的电子设备 (拥有电子设备)、拥有电子设备输出的声音的数据和拥有电子设备的位置数据保持在数据库中,包括调整上述想要识别的电子设备的上述通知音、以便容易区别拥有电子设备输出的声音和想要通知音的电子设备的通知音的识别装置。
这里,该识别装置还可以是调整声音识别处理、以便容易区别拥有电子设备输出的声音和想要识别通知音的电子设备的通知音的识别装置。
此外,本实施方式的信息通信装置也可以包括利用操作终端的操作状态、物理传感器的传感器值、数据链路状态和充电状态、识别上述操作终端与操作者的位置是否较近的识别装置。
这里,该识别装置还可以是利用能够从上述操作终端通信的电子设备的操作状态、照相机、麦克风、人感传感器、保持在数据库中的上述电子设备的位置数据识别用户的位置的识别装置。
此外,该上述识别装置还可以包含在信息通知装置中,所述信息通知装置利用上述用户位置的识别结果、和保持在数据库中的、具有能够通过画面显示或声音输出等的手段向上述用户通知的功能的电子设备(通知设备)的位置数据,使用能够向上述用户通知的上述通知设备对用户进行信息的通知。
另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录媒体实现,也可以通过系统、方法、集成电路、计算机程序或记录媒体的任意的组合实现。
(实施方式5)
当前,在无线通信中研究了各种各样的简单认证方式。例如,在由Wi -Fi联盟制定的无线LAN的WPS中,规定了按钮方式、PIN输入方式、NFC 方式等。在无线的各种各样的简单认证方式中,对于正使用设备的用户是否要进行认证,通过限定时间、或者确定处于能够直接接触到双方的设备上来判断,进行认证。
但是,限定时间的方法在有恶意的用户处于某种程度接近的距离中的情况下不能说是安全的。此外,在家电设备等的固定放置设备中,有直接碰触较困难或较麻烦的情况。
所以,在本实施方式中,说明通过在无线认证中使用采用可视光的通信、确定要进行认证的用户确实处于房间内、简单且安全地进行家电设备的无线认证的方法。
图64是表示本实施方式的宅内的环境的例子的图。图65是表示本实施方式的家电设备与智能电话的通信的例子的图。图66是表示本实施方式的发送侧装置的结构的图。图67是表示本实施方式的接收侧装置的结构的图。图64~图67是与图6~图9同样的图,详细的说明省略。
宅内环境可以考虑图64所示那样的、将用户在厨房中拿持的平板电脑与处于起居室中的TV认证那样的环境。两者是能够连接到无线LAN的终端,假设安装了WPS模组。
图68是在图64中、发送侧终端(TV)与接收侧终端(平板电脑)使用光通信进行无线LAN认证的情况下的顺序图。以下,对图68进行说明。
首先,例如图66所示那样的发送侧终端制作随机数(步骤5001a)。接着,向WPS的寄存器登记(步骤5001b)。进而,如登记在寄存器中的随机数的样式那样使发光元件发光(步骤5001c)。
另一方面,在发送侧装置的发光元件发光的期间中,例如在图67所示那样的接收侧装置中,以光认证模式使照相机起动。这里,所谓光认证模式,是能够识别发光元件为认证用而发光的模式,是指能够与发光侧的周期匹配而摄影的运动图像摄影模式。
即,首先,用户将发送侧终端的发光元件摄影(步骤5001d)。接着,接收侧终端通过摄影而受光随机数(步骤5001e)。接着,受光到随机数的接收侧终端将随机数作为WPS的PIN输入(步骤5001f)。
这里,成为了由双方共享PIN的状态的收发终端按照WPS中的规定,进行认证处理(步骤5001g)。
接着,如果认证完成,则发送侧终端从寄存器将随机数删除,使得不会受理来自多个终端的认证(5001h)。
另外,本方式并不限于无线LAN的认证,能够应用到使用共享密钥的无线的认证方式全部中。
此外,本方式并不限定于无线的认证方式。对于例如在TV与平板电脑间的两者中搭载的应用的认证也能够适用。
图69是本实施方式的进行应用中的认证的情况下的顺序图。以下,说明图69。
首先,发送侧终端根据终端的状态制作发送侧ID(步骤5002a)。这里,发送侧ID既可以是随机数,也可以是用于加密的密钥。此外,也可以包含发送侧终端的终端ID(MAC地址、IP地址)。接着,发送侧终端如发送侧 ID的样式那样发光(步骤5002b)。
另一方面,接收侧装置以与无线认证的情况相同的次序受光发送侧ID (步骤5002f)。接着,接收侧装置如果接收到发送侧ID,则制作能够证明已接收到发送侧ID的接收侧ID(步骤5002g)。例如,也可以是用发送侧 ID加密的接收侧终端的终端ID。此外,也可以包括在接收侧终端中起动的应用的进程ID或口令。接着,接收侧终端将接收侧ID通过无线进行广播 (步骤5002h)。另外,在发送侧ID中包含发送侧终端的终端ID的情况下也可以进行单播。
接着,用无线接收到接收侧ID的5002c发送侧终端与发送来所接收到的接收侧ID的终端使用相互共享的发送侧ID进行认证(步骤5002d)。
图70是表示本实施方式的发送侧终端的动作的流程图。以下,对图70 进行说明。
首先,发送侧终端发光与终端的状态对应的ID(步骤5003a)。
接着,以与ID对应的样式发光(步骤5003b)。
接着,确认是否有与发光的ID对应的无线应答(步骤5003c)。在有应答的情况下(步骤5003c中是),对应答来的终端进行认证处理(步骤 5003d)。另外,在步骤5003c中,在没有应答的情况下,等待过期时间(步骤5003i),显示无应答并结束(步骤5003j)。
接着,在步骤5003e中确认认证处理是否成功,在认证处理成功的情况下(步骤5003e中是),如果在发光的ID中包含认证以外的命令(步骤 5003f中是),则进行遵循命令的处理(步骤5003g)。
另外,在步骤5003e中认证失败的情况下,显示认证错误(步骤5003h) 并结束。
图71是表示本实施方式的接收侧终端的动作的流程图。以下,对图71 进行说明。
首先,接收侧终端以光认证模式将照相机起动(步骤5004a)。
接着,确认是否能够以特定样式受光到光(步骤5004b),在能够确认的情况下(步骤5004b中是),制作能够证明接收到了发送侧ID的接收侧 ID(步骤5004c)。另外,在不能确认的情况下(步骤5004b中否),等待过期时间(步骤5004i中是),显示过期(步骤5004j)并结束。
接着,确认在发送侧终端中是否包含发送终端的ID(步骤5004k),在包含的情况下(步骤5004k中是),向该终端将接收侧ID单播发送(步骤 5004d)。另一方面,在不包含的情况下(步骤5004k中否)进行广播(步骤5004l)。
接着,从发送终端侧开始认证处理(步骤5004e),在认证处理成功的情况下(步骤5004e中是),判断在受光到的ID中是否包含有命令(步骤 5004f)。在步骤5004f中判断为包含的情况下(步骤5004f中是),进行与 ID对应的处理(步骤5004g)。
另外,在步骤5004e中认证失败的情况下(步骤5004e中否),显示认证错误(步骤5004h)并结束。
以上,根据本实施方式,通过在无线认证中使用利用可视光的通信,能够确定要认证的用户确实处于房间内,简单且安全地进行家电设备的无线认证。
(实施方式6)
在上述实施方式中,说明了使用NFC通信及高速无线通信进行数据交换时的流程,但并不限定于此。本实施方式当然也可以设为例如图72~图 74所示那样的流程。
图72是本实施方式的移动AV终端1向移动AV终端2发送数据的顺序图。具体而言,图72表示使用NFC-无线LAN无线通信的数据收发的顺序图。以下,说明图72。
移动AV终端1首先在画面上显示作为向移动AV终端2发送的对象的数据。
这里,如果移动AV终端1和移动AV终端2通过使相互的设备接触而进行NFC通信,则移动AV终端1在画面上发出是否进行数据发送的确认画面。该确认画面既可以是与“是否发送数据?”的文字一起向用户要求“是 /否”的选择的画面,也可以为通过再一次接触在移动AV终端1的画面上而开始数据发送那样的界面。
在数据发送意思确认为OK的情况下,移动AV终端1和移动AV终端2 通过NFC通信交换发送的数据的信息及用来建立高速无线通信的信息。发送的数据的信息也可以通过无线LAN通信进行。关于无线LAN通信建立的信息既可以是通信频道或SSID、加密密钥信息,也可以是交换随机生成的 ID信息、通过该信息建立安全的通信路的方式。
如果无线LAN通信建立,则移动AV终端1和移动AV终端2进行通过无线LAN通信的数据通信,将移动AV终端1的发送对象的数据向移动AV 终端2发送。
接着,使用图73、图74,进行以移动AV终端1及移动AV终端2的画面的变迁为中心的说明。图73是本实施方式的移动AV终端1向移动AV终端2发送数据的情况下的画面变迁图。图74是本实施方式的移动AV终端1 向移动AV终端2发送数据的情况下的画面变迁图。
在图73及图74中,在移动AV终端1中用户首先将再现运动图像静止图像的应用起动。该应用将处于移动AV终端1内的静止图像或运动图像数据显示。
这里,通过使移动AV终端1与移动AV终端2准接触而进行NFC通信。该NFC通信是用来在移动AV终端1中开始静止图像或运动图像数据的交换的处理。
首先,如果移动AV终端1和移动AV终端2通过NFC通信识别数据交换的开始,则在移动AV终端1的画面上显示是否可以数据发送的确认画面。另外,该确认画面如图73那样,既可以是为了数据发送开始而使用户接触画面那样的界面,也可以是使用户以是/否选择数据发送可否的界面。在数据发送开始判断中为是的情况下,即在移动AV终端1向移动AV终端2发送数据的情况下,移动AV终端1向移动AV终端2发送交换的数据的信息、和关于通过无线LAN的高速无线通信开始的信息。另外,该交换的数据的信息也可以使用高速无线通信进行。
接着,如果移动AV终端1及移动AV终端2收发关于通过无线LAN的高速无线通信开始的信息,则进行用来建立无线LAN通信的连接的处理。该处理包括以怎样的频道进行通信、在通信拓扑上哪个为母终端、哪个为子终端、口令信息或相互的SSID或终端信息的交换等。
接着,如果建立无线LAN通信的连接,则移动AV终端1及移动AV终端2发送通过无线LAN通信的数据。在数据发送中,移动AV终端1如通常那样显示运动图像的再现画面,作为接收数据侧的移动AV终端2显示表示数据接收中的画面。这是因为,如果对移动AV终端1显示数据发送中的画面则不再能进行其他处理,所以通过将数据发送在后台进行,具有用户的方便性提高的优点。此外,移动AV终端2是正在接收数据中,通过在画面上显示表示数据接收中的画面以便能够将接收到的数据立即显示,具有在数据的接收完成时能够立即将接受诊断的数据显示的优点。
最后,移动AV终端2如果数据的接收完成,则将接受诊断的数据显示到画面上。
图75~图77是表示本实施方式的移动AV终端1是数字照相机的情况下的系统概略图。
如图75所示,即使移动AV终端1是数字照相机,本实施的便携终端也当然能够使用。
此外,在移动AV终端1是数字照相机的情况下,一般数字照相机具有通过无线LAN的因特网访问的手段、但不具有通过移动通信进行的因特网访问的手段的情况较多。
因此,如图76或图77那样,优选的是构成为,数字照相机(移动AV 终端1)能够进行无线LAN通信的环境下,将通过无线LAN摄影的图像数据向照片共享服务发送,在不能进行无线LAN通信的环境中,向移动AV终端 2首先使用无线LAN发送数据,移动AV终端2将接受了诊断的数据原样通过便携电话通信向照片共享服务发送。
无线LAN通信与便携电话通信相比是高速的,所以通过在能够进行无线LAN通信的情况下进行无线LAN通信,能够高速地将照片向照片共享服务发送。此外,便携电话通信网与无线LAN通信网相比服务区域一般较广,所以在没有无线LAN环境的情况下,通过具有将移动AV终端2作为中继通过便携电话通信向照片共享服务发送数据的功能,能够在各种各样的场所立即将照片向照片共享服务发送。
以上,根据本实施方式,能够使用NFC通信及高速无线通信进行数据交换。
以上,基于实施方式对有关本发明的一个或多个技术方案的信息通信装置等进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在本发明的一个或多个技术方案的范围内。
另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过 CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序读出并执行来实现。
(实施方式7)
以下,对实施方式7进行说明。
(发光部的亮度的观测)
提出了一种在将1张图像摄像时、不是使全部的摄像元件在相同的定时曝光、而是按照摄像元件在不同的时刻开始/结束曝光的摄像方法。图78 是使排列为1列的摄像元件同时曝光、以列较近的顺序将曝光开始时刻错开而摄像的情况下的例子。这里,称作同时曝光的摄像元件的曝光行,将与该摄像元件对应的图像上的像素的行称作亮线。
在使用该摄像方法将正在闪烁的光源拍摄到摄像元件的整面上而摄像的情况下,如图79那样,在摄像图像上发生沿着曝光行的亮线(像素值的明暗的线)。通过识别该亮线的样式,能够推测超过摄像帧速率的速度的光源亮度变化。由此,通过将信号作为光源亮度的变化发送,能够进行摄像帧速率以上的速度下的通信。在通过光源取两种亮度值来表现信号的情况下,将较低的亮度值称作低(LO),将较高的亮度值称作高(HI)。低也可以是光源不发光的状态,也可以相比高较弱地发光。
通过该方法,以超过摄像帧速率的速度进行信息的传送。
在一张摄像图像中,曝光时间不重叠的曝光行有20行,当摄像的帧速率为30fps时,能够识别1.67毫秒周期的亮度变化。在曝光时间不重叠的曝光行有1000行的情况下,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。
图79表示一个曝光行的曝光完成后开始下个曝光行的曝光的情况。
在此情况下,当每1秒的帧数(帧速率)为f、构成1图像的曝光行数为l时,如果根据各曝光行是否受光一定以上的光来传送信息,则最大能够以fl位每秒的速度传送信息。
另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。
此时,在每曝光行的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm位每秒。
如图80那样,如果能够将由发光部的发光带来的各曝光行的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光行的曝光时间短的单位的时间控制,能够传送更多的信息。
在能够将曝光状态在Elv阶段中识别的情况下,最大能够以flElv位每秒的速度传送信息。
此外,通过在与各曝光行的曝光的定时稍稍错开的定时使发光部发光,能够识别发信的基本周期。
图81A表示在一个曝光行的曝光完成之前开始下个曝光行的曝光的情况。即,为相邻的曝光行的曝光时间部分性地具有时间上重叠的结构。通过这样的结构,(1)与等待一个曝光行的曝光时间的结束而开始下个曝光行的曝光的情况相比,能够使规定的时间内的样本数变多。通过规定时间内的样本数变多,能够将作为被摄体的光发送机产生的光信号更适当地检测到。即,能够降低检测光信号时的错误率。进而,(2)与等待一个曝光行的曝光时间的结束而开始下个曝光行的曝光的情况相比,能够使各曝光行的曝光时间变长,所以即使是被摄体较暗的情况,也能够取得更明亮的图像。即,能够使S/N比提高。另外,不需要为具有在全部的曝光行中相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构,也可以为关于一部分的曝光行部分性地不具有时间上的重叠的结构。通过做成关于一部分的曝光行部分性地不具有时间上的重叠的结构,能够抑制摄像画面上的因曝光时间的重叠带来的中间色的发生,能够更适当地检测亮线。
在此情况下,根据各曝光行的明亮程度计算曝光时间,识别发光部的发光的状态。
另外,在在通过亮度是否是阈值以上的2值判别各曝光行的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。
图81B表示在各曝光行的曝光开始时刻相等的情况下、因曝光时间的差异带来的影响。7500a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,7500b是与其相比将曝光时间取较长的情况。通过如 7500b那样做成相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构,能够将曝光时间取较长。即,向摄像元件入射的光增大,能够得到明亮的图像。此外,通过将用来将相同的明亮度的图像摄像的摄像感度抑制得较低,能够得到噪声较少的图像,所以通信错误被抑制。
图81C表示在曝光时间相等的情况下、因各曝光行的曝光开始时刻的差异带来的影响。7501a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,7501b是比前个曝光行的曝光结束更早地开始下个曝光行的曝光的情况。通过如7501b那样做成相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构,能够增加每单位时间能够曝光的行。由此,分辨率变得更高,能够得到较多的信息量。样本间隔(=曝光开始时刻的差) 变密,所以能够更正确地推测光源亮度的变化,能够降低错误率,进而能够识别更短的时间中的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光行的曝光量的差来识别比曝光时间短的光源的闪烁。
如在图81B、图81C中说明那样,在将各曝光行依次曝光以使相邻的曝光行的曝光时间部分性的具有时间上的重叠的结构中,通过将曝光时间设定得比通常摄影模式短,通过将产生的亮线样式用于信号传送,能够使通信速度飞跃性地提高。这里,通过将可视光通信时的曝光时间设定为1/480 秒以下,能够产生适当的亮线样式。这里,如果设帧频率=f,则需要设定为曝光时间<1/8×f。在摄影时产生的空白最大为1帧的一半的大小。即,由于空白时间是摄影时间的一半以下,所以实际的摄影时间在最短的时间下为1/2f。进而,由于在1/2f的时间内需要接受4值的信息,所以产生了至少曝光时间比1/(2f×4)短的需要。由于通常帧速率是60帧/秒以下,所以通过设定为1/480秒以下的曝光时间,你使图像数据产生适当的亮线样式,进行高速的信号传送。
图81D表示在各曝光行的曝光时间不重叠的情况下、曝光时间较短的情况下的优点。在曝光时间较长的情况下,即使光源如7502a那样进行2 值的亮度变化,在摄像图像中也如7502e那样形成中间色的部分,有难以识别光源的亮度变化的倾向。但是,通过如7502d那样,做成在一个曝光行的曝光结束后、在下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构,能够使光源的亮度变化变得容易识别。即,能够检测7502f那样的更适当的亮线样式。如7502d那样设置规定的不曝光的空闲时间的结构可以通过使曝光时间tE比各曝光行的曝光开始时刻的时间差tD小来实现。在通常摄影模式是相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构的情况下,可以通过将曝光时间设定得比通常摄影模式时短直到产生规定的不曝光的空闲时间来实现。此外,即使通常摄影模式是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,也可以通过将曝光时间设定得较短直到发生规定的不曝光的时间来实现。此外,通过如7502g那样使各曝光行的曝光开始时刻的间隔tD变大,也能够取在一个曝光行的曝光结束后、在下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构。在该结构中,由于能够使曝光时间变长,所以能够摄像明亮的图像,由于噪声变少,所以耐错性较高。另一方面,在该结构中,由于在一定时间内能够曝光的曝光行变少,所以如7502h那样具有样本数变少的缺点,所以优选的是根据状况而区分使用。例如,通过在摄像对象较明亮的情况下使用前者的结构、在较暗的情况下使用后者的结构,能够降低光源亮度变化的推测误差。
另外,不需要为具有在全部的曝光行中相邻的曝光行的曝光时间部分性地具有时间上的重叠的结构,也可以为关于一部分的曝光行部分性地不具有时间上的重叠的结构。此外,不需要为在全部的曝光行中、在一个曝光行的曝光结束后到下个曝光行的曝光开始之前设置规定的不曝光的空闲时间(规定的等待时间)的结构,也可以为关于一部分的曝光行部分性地具有时间上的重叠的结构。通过做成这样的结构,能够发挥各自的结构中的优点。此外,在以通常的帧速率(30fps,60fps)进行摄影的通常摄影模式和以进行可视光通信的1/480秒以下的曝光时间进行摄影的可视光通信模式中,也可以通过相同的读出方法或电路进行信号的读出。通过用相同的读出方法或电路将信号读出,不再需要对通常摄影模式和可视光通信模式使用分别不同的电路,能够使电路规模变小。
图81E表示光源亮度的最小变化时间tS、曝光时间tE、各曝光行的曝光开始时刻的时间差tD和摄像图像的关系。在设为tE+tD<tS的情况下,必定一个以上的曝光行在从曝光的开始到结束以光源比变化的状态摄像,所以如7503d那样能够得到亮度清晰的图像,容易识别光源的亮度变化。在设为2tE>tS的情况下,有能够得到与光源的亮度变化不同样式的亮线的情况,难以根据摄像图像识别光源的亮度变化。
图81F表示光源亮度的变迁时间tT和各曝光行的曝光开始时刻的时间差tD的关系。与tT相比,tD越大,为中间色的曝光行越少,光源亮度的推测越容易。当tD>tT时,中间色的曝光行连续为2行以下,是优选的。tT在光源是LED的情况下为1微秒以下,在光源是有机EL的情况下为5微秒左右,所以通过使tD为5微秒以上,能够使光源亮度的推测变容易。
图81G表示光源亮度的高频噪声tHT与曝光时间tE的关系。与tHT相比, tE越大,摄像图像中高频噪声的影响越少,光源亮度的推测变容易。当tE为tHT的整数倍时,不再有高频噪声的影响,光源亮度的推测变得最容易。在光源亮度的推测中,优选的是tE>tHT。高频噪声的主要的原因来源于开关电源电路,在许多电灯用的开关电源中,由于tHT是20微秒以下,所以通过使tE成为20微秒以上,能够容易地进行光源亮度的推测。
图81H是表示tHT为20微秒的情况下的曝光时间tE与高频噪声的大小的关系的曲线图。如果考虑tHT根据光源而有离差,则根据曲线图,tE是与噪声量取极大时的值相等的值,如果设定为15微秒以上、35微秒以上、54 微秒以上或74微秒以上,则可以确认效率较好。根据高频噪声降低的观点, tE优选的是较大,但如上述那样,还有在tE越小越不易产生中间色部分这一点上光源亮度的推测变容易的性质。因此,当光源亮度的变化的周期为 15~35微秒时tE优选的是设定为15微秒以上,当光源亮度的变化的周期为35~54微秒时tE优选的是设定为35微秒以上,当光源亮度的变化的周期为54~74微秒时tE优选的是设定为54微秒以上,当光源亮度的变化的周期为74微秒以上时tE优选的是设定为74微秒以上。
图81I表示曝光时间tE与识别成功率的关系。曝光时间tE由于相对于光源的亮度为一定的时间具有相对性的意义,所以取将光源亮度变化的周期tS用曝光时间tE除的值(相对曝光时间)为横轴。根据曲线图可知,在想要使识别成功率大致成为100%的情况下,只要将相对曝光时间设为1.2 以下就可以。例如,在设发送信号为1kHz的情况下,只要将曝光时间设为约0.83毫秒以下就可以。同样,在想要使识别成功率成为95%以上的情况下,只要使相对曝光时间为1.25以下就可以,在想要使识别成功率成为80%以上的情况下,只要使相对曝光时间为1.4以下就可以。此外,由于在相对曝光时间1.5附近识别成功率急剧下降,在1.6大致成为0%,所以可知相对曝光时间应设定为不超过1.5。此外可知,在识别率在7507c成为0 之后,在7507d或7507e、7507f再次上升。因此,在想要使曝光时间变长而摄像明亮的图像的情况下等,相对曝光时间只要利用从1.9到2.2、从 2.4到2.6、从2.8到3.0的曝光时间就可以。例如,作为图335的中间模式优选的是使用这些曝光时间。
如图82那样,根据摄像装置,也有存在不进行曝光的时间(空白)的情况。
在存在空白的情况下,不能观察该时间的发光部的亮度。
通过发光部将相同的信号反复发送两次以上,或附加错误校正码,能够防止由空白带来的传送损失。
发光部为了防止相同的信号总是在空白的期间中被发送,以与将图像摄像的周期互素(relatively prime)的周期、或者比将图像摄像的周期短的周期发送信号。
(信号调制方式)
在输送波中使用可视光的情况下,通过使发光部发光以将以人的视觉的时间分辨率(resolution)(5毫秒到20毫秒左右)为窗宽时的发光部的亮度的移动平均值保持为一定,如图83那样,对人而言发送装置的发光部看起来以均匀的亮度发光,同时接收装置能够观察发光部的亮度变化。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图84所示的调制方法。假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约50%。
另外,假设发光/不发光的切换与人的视觉的时间分辨率是足够高速的。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图85所示的调制方法。假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约75%。
与图84的调制方式相比,编码效率为0.5是同等的,但能够使平均亮度变高。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图86所示的调制方法。假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约87.5%。
与图84、图85所示的调制方式相比,编码效率为0.375较差,但能够将平均亮度保持得较高。
以下同样,能够进行与编码效率权衡(trade off)而使平均亮度变高的调制。
作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图87所示的调制方法。
假设当调制后的信号为0时不发光、为1时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约25%。
通过与图85所示的调制方式等组合而周期性地使调制方式变化,能够使发光部对于人或曝光时间较长的摄像装置而言看起来闪烁。
同样,通过使调制方法变化,能够使发光部对于人或曝光时间较长的摄像装置而言看起来一边进行任意的亮度变化一边发光。
在输送波中使用可视光的情况下,通过使发光部发光以使以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值周期性地变化,如图88那样,对人而言可看到发信装置的发光部闪烁或以任意的节奏变化,同时接收装置能够观察发光信号。
如果使在背灯中使用LED光源的液晶TV的LED部发光,也能够得到同样的效果。在此情况下,通过至少降低光通信部的画面部分的对比度、向白色靠近,能够进行错误率较少的光通信。通过使整面或在通信中使用的画面部分为白色,能够提高通信速度。
在使用电视机的显示器等作为发光部的情况下,通过将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值成为想要使人看到的图像的亮度,如图89那样,对人而言能看到通常那样的电视机的影像,同时接收装置能够观察发光信号。
通过将设为摄像图像每1帧的时间左右的窗宽时的发光部的亮度的移动平均值调节为按照摄像帧传送信号的情况下的信号的值,如图90那样,通过在从近距离摄像的情况下按照曝光行观察发送装置的发光状态、在从远距离摄像的情况下按照摄像帧观察发送装置的发光状态,能够以两种速度进行信号传输。
另外,在从近距离摄像的情况下,也能够接收在从远距离摄像的情况下能够接收的信号。
图91是表示按照曝光时间怎样观察发光的图。
由于摄像出的像素的亮度与将摄像元件曝光的时间的摄像对象的平均亮度成比例,所以如果曝光时间较短则如2217b那样原样观察到发光样式 2217a,如果曝光时间较长,则如2217c、2217d、2217e那样观察。
另外,2217a为将图85所示的调制方式分形地反复使用的调制方式。
通过利用这样的发光样式,能够向具有曝光时间较短的摄像装置的接收装置发送许多信息,向具有曝光时间较长的摄像装置的接收装置同时发送较少的信息。
接收装置如果遍及曝光行的1行或一定数量的行而发光部推测位置的像素的亮度是一定以上则识别为接收到1,如果是一定以下则识别为接收到 0。
1持续的情况与通常的(不发送信号而总是发亮)发光部没有区别,0 持续的情况与不存在发光部的情况没有区别。
因此,发送装置也可以在相同的数字连续一定数量的情况下发送不同的数字。
此外,也可以如图92那样,分为必定包含1和0的头部和发送信号的体部而发送。在此情况下,相同的数字不超过5次连续出现。
在发光部处于不与1部分的曝光行相配的位置的情况下、或在存在空白的情况下,不能由接收装置的摄像装置捕捉发光部的全部的状况。
因此,需要表示该信号是整体的哪个部分的信号。
为此,如图93那样,有将数据部和表示数据的位置的地址部一起发送的方法。
另外,为了在接收装置中容易进行信号的接收,优选的是将把数据部和地址部加在一起的大小的发光样式的长度设定得足够短,以将发光样式用接收装置摄像到一张摄像图像中。
如图94那样,有发送装置发送基准部和数据部、接收装置根据与接收到基准部时的时刻的差识别数据的位置的方法。
如图95那样,有发送装置将基准部、地址样式部和数据部发送、接收装置根据处于基准部的接着之处的地址样式部得到数据部的数据和其位置的样式、根据该样式和接收到基准部的时刻与接收到各数据时的时刻的差识别数据的位置的方法。
通过能够利用多个种类的地址样式,不仅是均匀地发送数据,可以将重要性较高的数据或应先处理的数据先发送、或相比其他数据增加重复次数。
发光部不与全部的曝光行相配的情况下、或存在空白的情况下,不能由接收装置的摄像装置捕捉发光部的全部的状况。
如图96那样,通过附加头部,能够检测信号的划分、检测地址部或数据部。
在头部的发光样式中,使用在地址部或数据部中没有出现的样式。
例如,在使用表2200.2a的调制方式的情况下,可以使头部的发光样式为“0011”。
此外,如果使头部的样式为“11110011”,则平均亮度与其他部分相等,能够抑制用人的眼睛观察时的闪变。由于该头部的冗余性较高,所以能够在这里也叠加信息。例如,在头部的样式为“11100111”的情况下,可以表示正在发送装置间发送通信的内容等。
另外,为了在接收装置中容易进行信号的接收,优选的是将把数据部、地址部和头部加在一起的大小的发光样式的长度设定得足够短,以将发光样式用接收装置摄像到一张摄像图像中。
在图97中,发送装置通过优先级决定信息的发送顺序。
例如,使发送次数与优先级成比例。
接收装置在发送装置的发光部没有拍摄在接收装置的摄像部全部中的情况下或有空白的情况下,不能连续接收信号,所以发送的频度越高则容易越快地接收。
图98表示存在于附近的多个发送装置同步发送信息的样式。
通过多个发送装置将共通信息同时发送,能够看作一个较大的发送装置,能够用接收装置的摄像部较大地摄像,所以能够将信息更快、从更远接收。
发送装置在附近的发送装置的发光部均匀发光(不发送信号)的时间带中单独发送信息,以便不与存在于附近的发送装置的发光样式混淆。
发送装置也可以通过用受光部受光存在于附近的发送信号的发光样式,学习存在于附近的发送装置的发光样式,决定自身的发光样式。此外,发送装置也可以通过用受光部受光存在于附近的发送信号的发光样式,由其他发送装置的命令来决定自身的发光样式。此外,发送装置也可以按照集中控制装置的命令决定发光样式。
(发光部的检测)
作为判断在摄像图像的哪个部分摄像了发光部的方法,有如图99那样在与曝光行垂直的方向上计数发光部被摄像的行数、将发光部最多被摄像的列作为发光部存在的列的方法。
发光部的接近于端部的部分在受光的程度上有波动,容易弄错发光部是否被摄像的判断,所以在发光部被摄像最多的列中也根据中央的列的像素的摄像结果将信号取出。
作为判断在摄像图像的哪个部分摄像了发光部的方法,如图100那样,有按照曝光行求出将发光部摄像的部分的中点、推测在将求出的点连结的近似线(直线或二次曲线)上存在发光部的方法。
也可以如图101那样,将前面的帧中的发光部的推测位置作为事前概率,根据当前的帧的信息将发光部的推测位置更新。
另外,也可以根据该期间的9轴传感器或陀螺仪传感器的值,将当前的发光部的推测位置更新。
如果说明图102,则当摄像范围为2212a时,如果将发光部2212b摄像,则摄像出摄像图像2212c、2212d、2212e那样的图像。
如果取摄像图像2212c、2212d、2212e的发光部分的和,则得到合成图像2212f,能够确定摄像图像中的发光部位置。
接收装置根据所确定的发光部的位置,检测发光部的发光的开启关闭。
另外,在使用图85所示的调制方式的情况下,由于发光概率是0.75,所以当取n张图像的和时,合成图像2212f中的发光部看起来发光的概率是1~0.25n。这里,例如当n=3时,该概率为约0.984。
另外,根据陀螺仪传感器或9轴传感器的传感器值推测摄像部的姿势、进行摄像方向的补偿后将图像合成时精度变高。但是,在合成图像数较少的情况下摄像时间较短,所以即使不进行摄像方向的补偿,不良影响也较少。
图103是表示接收装置将多个发光部摄像的情况的图。
在多个发光部发出相同的信号的情况下,从两者的发光样式取得一个发送信号。在多个发光部发出不同的信号的情况下,从各自的发光样式取得各自的发送信号。
在发送信号的相同地址的数据值不同的情况下,发送了不同的信号。另外,也可以根据发送信号的头部的样式来判断为发送了与附近的发送装置相同或不同的信号。
在发光部大致相邻的情况下,也可以看作发送了相同的信号。
在图104中,表示此时的发送信号的时间行、和将发光部摄像的图像。
(通过位置样式进行的信号的传送)
在图105中,发光部2216a、2216c、2216e均匀地发光,发光部2216b、 2216d、2216f通过发光样式将信号发信。另外,发光部2216b、2216d、2216f 也可以单单只是发光,以使得如果接收装置按照曝光行摄像则可看到棋盘格图案。
在图105中,发光部2216a~2216f既可以是相同的发送装置的发光部,也可以是各自不同的发送装置。
发送装置通过发送信号的发光部的位置、和不发送的发光部的位置的样式(位置样式)来表现发送的信号。
在图105中,由于有6个发信部,所以能够发送2的6次幂=64值的信号。如果从不同的方向观察,则不应使用看起来相同的位置样式,但通过由接收装置的9轴传感器等确定摄像方向,也能够识别上述那样的样式。另外,也可以通过使哪个发光部发送信号根据时刻变化来发送更多的信号。
发送装置也可以在一部分的时间带中进行通过位置样式的信号发送,在别的时间带中以发光样式发送信号。例如,可以在一部分的时间带中使全部的发光部同步将发送装置的ID及位置信息以发光样式发送。
发光部的配置样式大致无限地存在,所以接收装置难以将全部的位置样式预先存储。
所以,接收装置以发送装置通过发光样式发送的发送装置的ID及位置信息、由无线基站得到的接收装置的推测位置、由GPS或陀螺仪传感器、9 轴传感器推测的接收装置的位置信息为键字,从服务器取得存在于附近的位置样式的列表,基于该列表将位置样式解析。
根据该方式,用位置样式表现的信号不需要在全世界中是唯一的,只要相同的位置样式在附近(半径几米到300米左右)不存在就可以,发光部较少的发送装置能够解决能够表现的位置样式的数量较少的问题。
可以从服务器取得发光部的大小、形状及位置信息,根据这些信息、摄像的位置样式的大小及形状、和摄像部的透镜特性推测接收装置的位置。
(接收装置)
作为主要进行接收的通信装置,如图106那样,可以考虑便携电话或数字静像照相机、数字摄像机、头戴显示器、机器人(清扫用、照护用、产业用等)、监视照相机等。但是,接收装置并不限定于这些。
另外,所谓接收装置,是主要接收信号的通信装置,根据本实施方式的方式或其他方式,也有进行信号的发送的情况。
(发送装置)
作为主要进行发送的通信装置,如图107那样,可以考虑照明(家庭用、店铺用、办公室用、地下街用、街道用等)、怀中电灯、家电、机器人、其他电子设备。但是,发送装置并不限定于这些。
另外,所谓发送装置,是主要发送信号的通信装置,根据本实施方式的方式或其他方式,也有进行信号的接收的情况。
发光部如图108所示,优选的是如使用LED照明或LED背灯的液晶等那样、发光/不发光的开关较高速的结构。但是,发光部并不限定于这些。
在发光部中,除了上述以外,可以考虑荧光灯、白炽电灯、水银灯或有机EL显示器等的照明。
另外,发光部被较大地摄像时传送效率变高,所以发送装置也可以如图109那样具备多个同步发光的发光部。此外,由于越是在与摄像元件的曝光行垂直的方向上较大地摄入则传送效率越高,所以发光部也可以排列为一列而设置。此外,在将接收装置自然构成的情况下也可以将发光部与曝光行垂直地排列。此外,在预想会从多个方向摄像的情况下,也可以如图110那样将发光部配置为十字形。此外,在预想会从多个方向摄像的情况下,也可以如图111那样,使用圆形的发光部、或将发光部配置为圆形。此外,较大地摄像由于传送效率变高,所以发送装置也可以如图112那样将散光板覆盖到发光部上。
如图113那样,发送不同的信号的发光部离开距离配置,以便不会同时被摄像。此外,如图114那样,发送不同的信号的发光部在中间配置不发送信号的发光部,以便不会同时被摄像。
(发光部的构造)
图115是表示发光部的优选的构造的图。
如2311a那样,通过使发光部和其周围的材料为反射率较低的材料,即使是光照在发光部周边的情况,接收装置也能够容易地识别发光的状况。此外,如2311b那样,通过设置阻挡外光的伞,光照在发光部周边,能够使接收装置容易识别发光的状况。此外,如2311c那样,通过在靠里的部分设置发光部,光照在发光部周边,能够使接收装置容易识别发光的状况。
(信号输送波)
输送信号的光(电磁波)使用接收装置能够受光的、图116所示的近红外线带~可视光带~近紫外线带的频率带的光(电磁波)。
(摄像部)
在图117中,接收装置的摄像部在摄像范围2310a中检测进行样式发光的发光部2310b。
摄像控制部代替使用其他曝光行,反复使用发光部的中心位置的曝光行2310c取得摄像图像2310d。
摄像图像2310d为曝光时间不同的相同场所的图像。通过将摄像图像 2310d的发光部拍摄的像素在与曝光行垂直方向上扫描,能够观察发光部的发光样式。
通过该方法,即使是发光部仅存在于摄像图像中的一部分中的情况,也能够将发光部的亮度变化观察更长的时间。因此,即使是将较小的发光部或从较远将发光部摄像的情况,也能够读取信号。
在没有空白的情况下,通过该方法,只要用摄像装置的一部分拍摄发光部,就能够全部观察发光部的亮度变化。
在将一个行曝光的时间比到开始曝光下一行为止的时间长的情况下,通过使用发光部的中心的多个曝光行摄像,能够得到同样的效果。
另外,在能够进行以像素单位的控制的情况下,仅使用距发光部的中心最近的点、或仅使用其附近的多个点进行摄像。此时,通过将各像素的曝光开始时刻错开,能够以更细小的周期检测发光部的发光状态。
另外,通过主要使用2310c的曝光行、偶尔使用别的曝光行摄像、将摄像图像合成,虽然与通常相比分辨率及帧速率较差,但能够合成与通常那样摄像的摄像图像类似的图像(影像)。通过将该合成图像对用户显示,能够使用户操作接收装置、或用于手抖动的修正。
另外,在手抖动的修正中,也可以利用陀螺仪传感器或9轴传感器等的传感器值,或利用由与将发光部摄影的摄像装置不同的摄像装置摄像的图像。
另外,与发光部的端部相比,接近于中心时,在手抖动时发光部更不易从曝光行或曝光像素偏离,所以优选的是将距发光部的中心较近的部分作为曝光行或曝光像素。
另外,由于发光部的边缘部的发光亮度较低,所以优选的是尽量将距发光部的周围较远、亮度较高的部分作为曝光行或曝光像素。
(接收装置的位置的推测)
在图118中,发送装置将自身被设置的位置信息、发光装置的大小、发光装置的形状和发送装置的ID发送。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光装置的大小和形状、被摄像的图像中的发光装置的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
此外,接收装置根据从发送装置发送的信息、摄像方向、和从接收装置到发光装置的距离,推测接收装置的位置信息。
在图119中,发送装置将自身被设置的位置信息、发光部的大小、发光部的形状和发送装置的ID发送。这里,在位置信息中,包括发光部的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光部的大小和形状、被摄像的图像中的发光部的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
此外,接收装置根据从发送装置发送的信息、摄像方向、和从接收装置到发光部的距离,推测接收装置的位置信息。接收装置根据从9轴传感器和陀螺仪传感器得到的信息,推测移动方向和移动距离。接收装置使用在多个地点推测出的位置信息、和根据移动方向和移动距离推测出的该地点间的位置关系,推测接收装置的位置信息。
例如,如果设在地点
[数式1]
x1
推测出的接收装置的位置信息的概率场为
[数式2]
Px1
设在从地点
[数式3]
x1
向地点
[数式4]
x2
移动时推测出的移动方向与移动距离的概率场为
[数式5]
Mx1x2
则最终推测的位置信息的概率场可以计算为
[数式6]
Figure GDA0001429522380000771
在图119中,发送装置将自身被设置的位置信息和发送装置的ID发送。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
在此情况下,接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置用三点测量的方法推测接收装置的位置信息。
在图120中,发送装置将发送装置的ID发送。
接收装置接收发送装置的ID,从因特网得到发送装置被设置的位置信息、发光装置的大小和发光装置的形状等。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光装置的大小和形状、被摄像的图像中的发光装置的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
此外,接收装置根据从因特网得到的信息、摄像方向、和从接收装置到发光装置的距离,推测接收装置的位置信息。
在图121中,发送装置将自身被设置的位置信息和发送装置的ID。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置用三点测量的方法推测接收装置的位置信息。
在图122中,发送装置将自身被设置的位置信息和发送装置的ID。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标高或距地面的高度等。
接收装置根据从9轴传感器和陀螺仪传感器得到的信息推测摄像方向。接收装置用三角测量的方法推测接收装置的位置信息。此外,接收装置根据陀螺仪传感器或9轴传感器推测接收装置的姿势变化或移动。另外,接收装置也可以同时进行9轴传感器的零点调整及校准。
(发送信息的设定)
在图123中,由接收装置2606c将发送装置2606b的发光样式摄像,取得发送的信号,推测接收装置的位置。
接收装置2606c在被移动的期间中,根据摄像图像的变化、9轴传感器或陀螺仪传感器的传感器值,推测移动的距离和方向。
接收装置将发送装置2606a的受光部摄像,推测发光部的中心位置,将该位置向发送装置发送。
在发光部的位置推测中,需要发光装置的大小的信息,所以发送装置最好即使在发送的信息的一部分缺失的情况下,也将发光部的大小信息发送。另外,在不知道发光部的大小的情况下,根据在接收装置中在位置推测中使用的发送装置2606b与接收装置2606c之间的距离推测顶棚的高度,利用其结果推测发送装置2606a与接收装置2606c之间的距离。
在发送中,有通过发光样式的发送、通过声音的样式的发送、及通过无线电波的发送方式。也可以将发送装置的发光样式和其时刻存储,之后向发送装置或集中控制装置发送。
发送装置或集中控制装置根据发光样式和其时刻,确定接收装置摄像的发送装置,将位置信息向发送装置存储。
在图124中,通过作为接收装置摄像的图像中的点而指定发送装置的一点,指定设定位置的点。
接收装置计算从位置设定点向发送装置的发光部的中心的位置关系,将对设定的位置加上该位置关系后的位置向发送装置发送。
在图125中,接收装置通过将发送装置摄像,接收发送的信号。基于接收到的信号,与服务器或电子设备进行通信。
例如,接收装置以信号中包含的发送装置的ID为键字,从服务器取得发送装置的信息、发送装置的位置及大小、与其位置关联的服务信息等。
此外,例如接收装置根据信号中包含的发送装置的位置推测接收装置的位置,从服务器取得地图信息及与该位置关联的服务信息等。
此外,例如接收装置以当前的大体上的位置为键字,从服务器取得附近的发送装置的调制方式。
此外,例如接收装置以信号中包含的发送装置的ID为键字,向服务器登记接收装置及发送装置的位置信息、附近的信息、接收装置在附近进行的处理的信息。
此外,例如接收装置以信号中包含的发送装置的ID为键字,进行电子设备的操作。
(接收装置的块图)
图126是表示接收装置的结构图。接收装置由其全部或包括摄像部和信号解析部的一部分构成。另外,在图126中相同名称的块既可以是相同的部分兼用的,也可以是不同的部分。
狭义的接收装置2400af装备在智能电话或数字照相机等中。输入部 2400h由用户操作输入部2400i、照度传感器2400j、麦克风2400k、计时部2400n、位置推测部2400m、通信部2400p的全部或一部分构成。
摄像部2400a由透镜2400b、摄像元件2400c、焦点控制部2400d、摄像控制部2400e、信号检测部2400f、摄像信息存储部2400g的全部或一部分构成。摄像部2400a通过用户的操作、照度的变化、声音或声响的样式、成为特定的时刻、接收装置移动到了特定的场所、或经由通信部被其他装置命令而开始摄像。
焦点控制部2400d进行将焦点对在发送装置的发光部2400ae上、或者对角以使发送装置的发光部2400ae较大地摄入而模糊等的控制。
曝光控制部2400ak设定曝光时间和曝光增益。
摄像控制部2400e将摄像的位置限定于特定的像素。
信号检测部2400f从摄像图像中,检测包含发送装置的发光部2400ae 的像素、或包含通过发光的信号发送的像素。
摄像信息存储部2400g将焦点控制部2400d的控制信息、摄像控制部 2400e的控制信息、及由信号检测部2400f检测到的信息存储。在摄像装置有多个的情况下,也可以同时进行摄像,将一方用于接收装置的位置及姿势的推测。
发光控制部2400ad通过用来自输入部2400h的输入控制发光部2400ae 的发光样式来发送信号。发光控制部2400ad从计时部2400ac取得使发光部2400ae发光的时刻并记录。
摄像图像存储部2400w将由摄像部2400a摄像的图像存储。
信号解析部2400y利用摄像元件的各行的曝光时间的差异,根据摄像的发送装置的发光部2400ae的发光样式,基于存储在调制方式存储部 2400af中的调制方式,取得发送的信号。
接收信号存储部2400z将由信号解析部2400y解析的信号存储。
传感器部2400q由GPS2400r、磁传感器2400t、加速度传感器2400s、陀螺仪传感器2400u的全部或一部分构成。磁传感器2400t及加速度传感器2400s也可以分别是9轴传感器。
位置推测部根据来自传感器部的信息、摄像图像、及接收到的信号,推测接收装置的位置及姿势。
运算部2400aa将接收到的信号、接收装置的推测位置、基于这些从网络2400ah得到的信息(地图、与场所关联的信息、及与发送装置关联的信息等)向显示部2400ab显示。
运算部2400aa根据接收到的信号、及接收装置的推测位置,基于输入到输入部2400h中的信息,进行发送装置的控制。
通信部2400ag在使用以对等式连接的方式(bluetooth等)的情况下,不经由网络2400ah而以终端彼此进行通信。
电子设备2400aj由接收装置控制。
服务器2400ai将发送装置的信息、发送装置的位置、与发送装置的位置关联的信息,与发送装置的ID建立联系而存储。
服务器2400ai将发送装置的调制方式与位置建立联系而存储。
(发送装置的块图)
图127是构成发送装置的块图。
发送装置由本结构图的全部、或包括发光部、发送信号存储部、调制方式存储部和运算部的一部分构成。
狭义的发送装置2401ab装备在电灯、电子设备或机器人中。
照明控制开关2401n是切换照明的开启关闭的开关。
散光板2401p是为了使发光部2401q的光散光而安装在发光部2401q 的附近的部件。
发光部2401q利用图126的接收装置的摄像元件的各行的曝光时间的差异,以按照行检测发光样式的速度进行点灯、灭灯。
发光部2401q由能够高速地点灯、灭灯的LED或荧光灯等的光源构成。
发光控制部2401r控制发光部2401q的点灯和灭灯。
受光部2401s由受光元件及摄像元件构成。受光部2401s将受光到的光的强度变换为电信号。另外,也可以代替受光部2401s而使用摄像部。
信号解析部2401t根据受光部2401s受光的光的样式取得信号。
运算部2401u将存储在发送信号存储部2401d中的发送信号按照存储在调制方式存储部2401e中的调制方式变换为发光样式。运算部2401u基于从信号解析部2401t得到的信号,将存储部2401a的信息编辑或控制发光控制部2401r等,进行通信的控制。运算部2401u基于来自安装部2401w 的信号,将存储部2401a的信息编辑或控制发光控制部2401r等,进行通信的控制。运算部2401u基于来自通信部2401v的信号,进行将存储部2401a 的信息编辑等发光控制部2401r的控制。
此外,运算部2401u将安装装置2401h的存储部2401b的信息编辑。运算部2401u将安装装置2401h的存储部2401b的信息向存储部2401a复制。
运算部2401u在设定的时刻控制发光控制部2401r。运算部2401u经由网络2401aa进行电子设备2401zz的控制。
存储部2401a由发送信号存储部2401d、形状存储部2401f、调制方式存储部2401e、设备状态存储部2401g的全部或一部分构成。
发送信号存储部2401d存储从发光部2401q发送的信号。
调制方式存储部2401e存储将发送信号向发光样式变换的调制方式。
形状存储部2401f存储发送装置和发光部2401q的形状。
设备状态存储部2401g存储发送装置的状态。
安装部2401w由安装金属工具和电力供给口构成。
安装装置2401h的存储部2401b将存储到存储部2401a中的信息存储。存储部2401a也可以不具备,而使用安装装置2401h的存储部2401b或集中控制装置2401m的存储部2401c。
通信部2401v在使用以对等式连接的方式(bluetooth等)的情况下,不经由网络2401aa而以终端彼此进行通信。
服务器2401y将发送装置的信息、发送装置的位置及与发送装置的位置关联的信息与发送装置的ID建立联系而存储。此外,服务器2401y将发送装置的调制方式与位置建立联系而存储。
(接收的次序)
如果说明图128,则在步骤2800a中,确认在接收装置中是否有多个摄像装置。在否的情况下向步骤2800b前进,选择使用的摄像装置,向步骤 2800c前进。另一方面,在是的情况下向步骤2800c前进。
在步骤2800c中,设定曝光时间(=快门速度)(另外,曝光时间优选的是较短)。
接着,在步骤2800d中,设定曝光增益。
接着,在步骤2800e中摄像。
接着,在步骤2800f中,按照曝光行,判断亮度超过一定的阈值的像素持续一定数量以上的部分,求出该部分的中心位置。
接着,在步骤2800g中,计算将上述中心位置连结的1次或2次的近似线。
接着,在步骤2800h中,将各曝光行的近似线上的像素的亮度值作为各曝光行的信号值。
接着,在步骤2800i中,根据由摄像帧速率、分辨率、空白时间等构成的摄像信息,计算每1行曝光行的担当时间。
接着,在步骤2800j中,如果空白时间是一定以下,则将某个摄像帧的最后的曝光行的下个曝光行看作是其下一帧的最初的曝光行。在不是那样的情况下,看作在某个摄像帧的最后的曝光行与其下一帧的最初的曝光行之间,存在将空白时间用每1曝光行的担当时间除的数量的不能观测的曝光行。
接着,在步骤2800k中,从解码信息中读入基准位置样式、地址样式。
接着,在步骤2800m中,根据各曝光行的信号值检测表示信号的基准位置的样式。
接着,在步骤2800n中,基于检测到的基准位置,计算数据部、地址部。
接着,在步骤2800p中,得到发送信号。
(自己位置推测的次序)
如果说明图129,则首先,在步骤2801a中,将识别为接收装置的当前位置的位置或当前位置的概率映射图作为自己位置的事前信息。
接着,在步骤2801b中,将接收装置的摄像部朝向发送装置的发光部。
接着,在步骤2801c中,根据9轴传感器和陀螺仪传感器的传感器值,计算摄像装置被朝向的方位和仰角。
接着,在步骤2801d中,将发光样式摄像,取得发送信号。
接着,在步骤2801e中,根据发送信号中包含的发光部的大小及形状的信息、摄像的发光部的大小和摄像装置的摄像的倍率,计算摄像装置与发光部之间的距离。
接着,在步骤2801f中,根据摄像图像中的发光部的位置和透镜特性,计算从摄像部向发光部的方向和与摄像面的法线的相对角度。
接着,在步骤2801g中,根据到此为止计算出的数值,计算摄像装置与发光部的相对位置关系。
接着,在步骤2801h中,根据发送信号中包含的发光部的位置、和摄像装置与发光部的相对位置关系,计算接收装置的位置。另外,在发送装置能够观察到多个的情况下,通过根据各发送装置中包含的信号计算摄像装置的坐标,能够高精度地计算接收装置的位置。另外,在发送装置能够观察到多个的情况下,可以使用三角测量的方法。
接着,在步骤2801i中,根据自己位置的事前信息和接收装置的位置的计算结果,将接收装置的当前位置或当前位置的概率映射图更新。
接着,在步骤2801j中,使摄像装置移动。
接着,在步骤2801k中,根据9轴传感器和陀螺仪传感器的传感器值,计算移动的方向和距离。
接着,在步骤2801m中,根据摄像图像和摄像装置的姿势,计算移动的方向和距离,向步骤2801a返回。
(发送控制的次序1)
如果说明图130,则首先,在步骤2802a中,用户将按钮按下。
接着,在步骤2802b中,使发光部发光。另外,也可以用发光样式表示信号。
接着,在步骤2802c中,记录发光开始时刻、结束时刻、及将特定的样式发送的时刻。
接着,在步骤2802d中,用摄像装置摄像。
接着,在步骤2802e中,将存在于摄像图像中的发送装置的发光样式摄像,取得发送的信号。另外,也可以利用记录的时刻同步地将发光样式解析。接着结束。
(发送控制的次序2)
如果说明图131,则首先,在步骤2803a中,用受光装置受光,或用摄像装置摄像。
接着,在步骤2803b中,确认是否是特定的样式。
在否的情况下向步骤2803a返回。另一方面,在是的情况下,向步骤 2803c前进,将受光或摄像接收样式的开始时刻、结束时刻及特定的样式出现的时刻记录。
接着,在步骤2803d中,从存储部将发送信号读出,向发光样式变换。
接着,在步骤2803e中,按照上述发光样式使发光部发光并结束。另外,也可以从记录的时刻经过一定时间后发光并结束。
(发送控制的次序3)
如果说明图132,则首先,在步骤2804a中,用受光装置受光,将受光的光能向电变换并蓄电。
接着,在步骤2804b中,确认蓄电能量是否成为了一定以上。
在否的情况下向步骤2804a返回。另一方面,在是的情况下,向步骤 2804c前进,将受光的光解析,将出现特定的样式的时刻记录。
接着,在步骤2804d中,从存储部将发送信号读出,向发光样式变换。
接着,在步骤2804e中,按照上述发光样式使发光部发光并结束。另外,也可以从记录的时刻经过一定时间后发光并结束。
(车站建筑内的信息提供)
图133是说明在车站建筑内接受信息提供的状况的图。
接收装置2700a将设置在车站施设中的照明摄像,通过读取发光样式或位置样式,接收照明装置发送的信息。
接收装置2700a基于接收到的信息从服务器取得照明及施设的信息,还根据摄像的照明的大小及形状推测接收装置2700a的当前位置。
例如,接收装置2700a将基于施设ID及位置信息得到的信息显示 (2700b)。接收装置2700a基于施设ID下载施设的地图,根据用户购买的乘车券信息,进行向乘车场所的导航(2700c)。
另外,图133表示铁路的车站中的例子,但如果是飞机场、港口或公共汽车站等的施设也同样。
(乘车服务)
图134是表示交通工具内的利用的状况的图。
乘客具有的接收装置2704a和销售员具有的接收装置2704b将照明 2704e发送的信号接收,推测自身的当前位置。
另外,各接收装置也可以从照明2704e取得自己位置推测所需要的信息,也可以以从照明2704e发送的信息为键字而从服务器取得,也可以基于乘车车站或检票的位置信息等事前取得。
另外,接收装置2704a也可以根据用户(乘客)购买的乘车券的乘车时间信息和当前时刻识别出当前位置是交通工具内,将与该交通工具建立了关联的信息下载。
各接收装置将自身的当前的位置向服务器通知。接收装置2704a通过将用户(乘客)ID、接收装置的ID及用户(乘客)购买的乘车券的信息向服务器通知,服务器确认就座在座席中的人物是拥有乘车权利和指定席权利的人物。
接收装置2704a通过显示销售员的当前位置,用户(乘客)能够研究车内销售的购买时机。
当乘客经由接收装置2704a进行了车内销售的订购时,接收装置2704a 将自身的位置、订购内容和核款信息向销售员的接收装置2704b及服务器通知。销售员的接收装置2704b将表示订购者的位置的地图2704d显示。
另外,乘客也可以经由接收装置2704a进行指定席券或换乘乘车券的购买。
接收装置2704a将空席信息2704c显示。接收装置2704a根据用户(乘客)购买的乘车券的乘车区间信息和自身的当前位置,将指定席券或换乘乘车券的购买信息及核款信息向服务器通知。
另外,图134表示了铁路内的例子,但在飞机、船或公共汽车站等的交通工具中也同样。
(店铺内服务)
图135是表示店铺内的利用的状况的图。
接收装置2707b、2707c、2707d将照明2707a发送的信号接收,推测自身的当前位置,向服务器通知。
另外,各接收装置也可以从照明2707a取得自己位置推测所需要的信息及服务器的地址,既可以以从照明2707a发送的信息为键字从别的服务器取得,也可以从付款系统取得。
付款系统将付款信息与接收装置2707d建立关联,显示接收装置2707d 的当前位置,将(2707c)订购的商品送到。
接收装置2707b基于从照明2707a发送的信息显示商品信息。如果购买者根据显示的商品信息进行订购,则接收装置2707b将商品信息、核款信息和当前位置向服务器通知。
这样,销售者能够基于接收装置2707b的位置信息将订购的商品送到,购买者能够坐在座席中而进行商品的购买。
(无线连接的建立)
图136是表示将无线连接的认证证书通信、建立无线连接的状况的图。
电子设备(数字照相机)2701b作为无线连接的接入点动作,作为其连接所需要的信息,将ID及口令作为发光样式发送。
电子设备(智能电话)2701a从发光样式取得发送信息,建立无线连接。
另外,这里设为无线连接,但建立的连接也可以是有线连接网络。
另外,两个电子设备之间的通信也可以经由第3电子设备进行。
(通信范围的调整)
图137是表示通过发光样式或位置样式的通信的范围的图。
在利用电波的通信方式中,即使是用墙壁隔开的邻室电波也到达,难以限制通信范围。
另一方面,在使用发光样式或位置样式的通信中,由于利用可视光和其周边域的波长,所以容易使用遮蔽物分隔通信范围。此外,在使用可视光的情况下,具有通信范围通过人的眼睛也能够确认的优点。
(室内的利用)
图138是表示地下街等的室内的利用的状况的图。
接收装置2706a接收照明2706b发送的信号,推测自身的当前位置。此外,接收装置2706a在地图上显示当前位置,进行道路指引,或显示附近的店铺的信息。
通过在紧急状况时从照明2706b发送灾害信息或避难信息,即使是通信混杂的情况、通信基站故障的情况、或处于来自通信基站的电波到达不了的场所的情况,也能够得到这些信息。这在漏听了紧急状况广播的情况下、或对于不能听到紧急状况广播的听觉障碍者是有效的。
(室外的利用)
图139是表示街道等的室外的利用的状况的图。
接收装置2705a接收街灯照明2705b发送的信号,推测自身的当前位置。此外,接收装置2705a在地图上显示当前位置,进行道路指引,或显示附近的店铺的信息。
通过在紧急状况时从照明2705b发送灾害信息或避难信息,即使是通信混杂的情况、通信基站故障的情况、或处于来自通信基站的电波到达不了的场所的情况,也能够得到这些信息。
此外,通过将其他车辆及步行者的移动显示在地图上、或向用户通知存在面向而来的车辆或步行者,能够起到事故防止的作用。
(道路顺序的指示)
图140是表示道路顺序的指示的状况的图。
利用从发送装置2703a、2703b、2703c发送的信息,接收装置2703e 能够将附近的地图下载、或以误差1cm到几十cm的精度推测自身的位置。
通过知道接收装置2703e的正确的位置,能够将轮椅2703d自动运转、或使视觉障碍者安全地进行通行。
(多个摄像装置的利用)
图141的接收装置具备内照相机2710a、接触面板2710b、按钮2710c、外照相机2710d和闪光灯2710e。
当用外照相机将发送装置摄像时,通过根据内照相机的摄像图像推测接收装置的移动及姿势,能够进行手抖动的修正。
通过由内照相机接收来自其他发送装置的信号,能够同时接收来自多个装置的信号、或提高接收装置的自己位置推测的精度。
(发送装置自律控制)
在图142中,发送装置1用受光部受光发送装置2的发光部的发光,取得发送装置2发送的信号和发送的定时。
在发送装置1的存储部中没有存储有发送的信号的情况下,与发送装置2的发光同步而以相同的样式发光,发送信号。
另一方面,在发送装置1的存储部中存储有发送的信号的情况下,发送装置2的发送信号和共通部分与发送装置2的发光同步而以相同的样式发光,发送信号。不共通的部分在发送装置2不发送信号的时间中发送。在没有发送装置2不发送信号的时间的情况下,适当地设定周期,按照该周期将不是共通的部分发送。在此情况下,发送装置2用受光部受光发送装置1的发光,检测出在相同的时刻发送不同的信号,在发送装置1不发送信号的时刻,发送不是共通的部分的信号。
为了避免通过发光进行的信号发送的冲突,利用CSMA/CD(Carrier SenseMultiple Access with Collision Detection)的方式。
发送装置1以自身的信息为发光样式,使发光部发光。
发送装置2从受光部取得发送装置1的信息。
发送装置通过在可通信的发送装置彼此间交换相互的信息,制作发送装置的配置地图。此外,发送装置求出整体上最优的发光样式,以使通过发光的信号发送不冲突。此外,发送装置通过发送装置间的通信取得其他发送装置得到的信息。
(发送信息的设定)
在图143中,发送装置当发送装置被安装在安装装置中时、或存储在安装装置的存储部中的信息被变更时,将存储在安装装置的存储部中的信息向发送装置的存储部存储。在存储在安装装置或发送装置的存储部中的信息中,包括发送信号及发送的定时。
发送装置在存储在存储部中的信息被变更的情况下,在安装装置的存储部中存储该信息。从集中控制装置及配电盘将安装装置的存储部及发送装置的存储部的信息编辑。在从配电盘的操作中使用电力线通信。
发送装置的形状存储部存储有发送装置的安装部与发光部的中心位置的位置关系。
发送装置当发送位置信息时,发送对存储在存储部中的位置信息加上该位置关系后的位置信息。
在安装装置的存储部中,在建筑物的施工时等存储信息。在存储位置信息的情况下,通过利用建筑物的设计图及CAD数据,存储正确的位置。在建筑物的建筑时,通过从发送装置发送位置信息,能够确认位置,能够用于建筑的自动化、及材料的利用位置的确认等。
安装装置将发送装置的信息向集中控制装置通知。安装装置将安装了发送装置以外的设备的情况向集中控制装置通知。
在图144中,发送装置用受光部将光受光,由信号解析部从光的样式中取得信息,向存储部存储。发送装置当受光时,将存储在存储部中的信息向发光样式变换,使发光部发光。
关于发送装置的形状的信息存储在形状存储部中。
在图145中,发送装置将由通信部接收到的信号向存储部存储。发送装置当接收到时,将存储在存储部中的信息变换为发光样式,使发光部发光。
将关于发送装置的形状的信息向形状存储部存储。
发送装置在存储部中没有存储有发送信号的情况下,将适当的信号变换为发光样式,使发光部发光。
接收装置从摄像部取得发送装置发送的信号,将该信号和想要存储到发送装置中的信息经由通信部向发送装置或集中控制装置传递。
发送装置或集中控制装置,将发送来的信息向发送了与从接收装置从摄像部取得的信号相同的信号的发送装置的存储部存储。
另外,接收装置也可以匹配于将发送装置发送的信号摄像的时刻而发送,发送装置或集中控制装置利用该时刻确定接收装置摄像的发送装置。
另外,也可以以接收装置的通信部为发光部,以发送装置的通信部为受光部或摄像部,使用发光样式从接收装置向发送装置发送信息。
另外,也可以以接收装置的通信部为发音部、以发送装置的通信部为收音部,使用声音样式从接收装置向发送装置发送信息。
(与二维条码的组合)
图146是表示与二维条码组合利用的情况的图。
用户使通信设备2714a与通信设备2714d相对。
通信设备2714a使显示器将发送信息作为二维条码2714c显示。
通信设备2714d用二维条码读取部2714f读取二维条码2714c。通信设备2714d将发送信息表现为发光部2714e的发光样式。
通信设备2714a用摄像部2714b将发光部摄像,读取信号。通过该方式,能够进行双向的直接通信,在传送的数据量较少的情况下,能够比经由服务器的通信更高速地通信。
(地图的制作和利用)
图147是表示地图制作和其利用的状况的图。
机器人2715a通过基于照明2715d或电子设备2715c发送的信号进行自己位置推测,制作房间的地图2715f,将地图信息、位置信息、照明2715d 或电子设备2715c的ID向服务器2715e存储。
接收装置2715b也同样,根据照明2715d或电子设备2715c发送的信号、移动中的摄像图像、以及陀螺仪传感器或9轴传感器的传感器值,制作房间的地图2715f,将地图信息、位置信息和照明2715d或电子设备2715c 的ID向服务器2715e存储。
机器人2715a基于从服务器2715e取得的地图2715f,高效率地进行清扫或配餐。
接收装置2715b基于从服务器2715e取得的地图2715f,向机器人2715a 指示清扫场所或移动场所,或操作处于朝向接收装置的方向的电子设备。
(电子设备的状态取得和操作)
图148是表示电子设备的状态取得和操作的状况的图。
通信装置2716a将控制信息变换为发光样式,使发光部朝向电子设备 2716b的受光部2716d发光。
电子设备2716b从该发光样式读取控制信息,如控制信息那样进行动作。电子设备2716b当由受光部2716d受光时,将表示电子设备的状态的信息变换为发光样式,使发光部2716c发光。此外,电子设备2716b在运转结束时或错误发生时等、有想要向用户通知的信息的情况下,将该信息变换为发光样式,使发光部2716c发光。
通信装置2716a将发光部2716c摄像,取得发送的信号。
(电子设备的识别)
图149是表示将摄像的电子设备识别的状况的图。
通信装置2717a具有向电子设备2717b和电子设备2717e的通信路,向各电子设备发送ID显示命令。
电子设备2717b接收ID显示命令,用发光部2717c的发光样式将ID 信号发送。
电子设备2717e接收ID显示命令,使用发光部2717f、2717g、2717h、 2717i在位置样式发送ID信号。
另外,这里,各电子设备发送的ID信号也可以是电子设备具有的ID,也可以是被通信装置2717a指示的内容。
通信装置2717a根据存在于摄像图像中的发光部的发光样式或位置样式,识别被摄像的电子设备、该电子设备与接收装置的位置关系。
另外,为了识别电子设备与接收装置的位置关系,电子设备优选的是具备3点以上发光部。
(扩展现实对象的显示)
图150是表示显示扩展现实对象的状况的图。
显示扩展现实的舞台2718e以发光部2718a、2718b、2718c、2718d的发光样式或位置样式,发送扩展现实对象的信息、及显示扩展现实对象的基准位置。
接收装置基于接收到的信息,将扩展现实对象2718f叠加在摄像图像上而显示。
(用户界面)
在发光部从摄像范围的中央附近偏离的情况下,为了使摄像范围的中心朝向发光部的方向,所以如图151那样,进行敦促用户使摄像范围的中心朝向发光部那样的显示。
在发光部从摄像范围的中央附近偏离的情况下,为了使摄像范围的中心朝向发光部的方向,如图152那样,进行敦促用户使摄像范围的中心朝向发光部那样的显示。
即使是在摄像范围中不能确认发光部的情况,在能够根据其以前的摄像结果或附属于摄像终端的9轴传感器、陀螺仪传感器、麦克风或位置传感器等的信息推测发光部的位置的情况下,如图153那样,进行敦促用户使摄像范围的中心朝向发光部那样的显示。
为了使摄像范围的中心朝向发光部的方向,如图154那样,根据想要使摄像范围移动的距离调整显示的图形的大小。
在发光部的拍摄较小的情况下,为了更大地摄像,如图155那样,进行敦促用户更靠近发光部而摄像那样的显示。
在发光部从摄像范围的中央偏离、并且拍摄的大小不充分的情况下,如图156那样,进行敦促用户使摄像范围的中心朝向发光部的方向、并且更靠近发光部而摄像那样的显示。
在通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图157那样,进行敦促用户使摄像范围旋转那样的显示。
在发光部从摄像范围的中央偏离、并且通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图158那样,进行敦促用户使摄像范围的中心朝向发光部的方向、并且使摄像范围旋转那样的显示。
在发光部的拍摄的大小不充分、并且通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图159那样,进行敦促用户更靠近发光部而摄像、并且使摄像范围旋转那样的显示。
在发光部从摄像范围的中央偏离、并且发光部的拍摄的大小不充分、并且通过使发光部与摄像范围所成的角度变化而容易接收发光部的信号的情况下,如图160那样,进行敦促用户使摄像范围的中心朝向发光部的方向、并且更靠近发光部而摄像、并且使摄像范围旋转那样的显示。
在信号接收中,如图161那样,进行传达正在接收信号的情况的显示、或显示接收到的信号的信息量。
在判明了接收的信号的尺寸的情况下,在信号接收中,如图162那样,通过进度条显示接收完成的信号的比例或信息量。
在信号接收中,如图163那样,用进度条显示接收完成的信号的比例、接收部位、或接收到的信号的信息量。
在信号接收中,如图164那样,叠加到发光部上,显示接收完成的信号的比例或信息量。
在检测到发光部的情况下,如图165那样,例如通过使发光部闪烁等的显示,显示该物体是发光部。
在接收来自发光部的信号的过程中,如图166那样,例如通过使发光部闪烁等的显示,显示正在从该发光部接收信号。
在图167中,在检测到多个发光部的情况下,通过使用户轻击某个发光部,使用户指定接收信号或进行操作的发送装置。
(实施方式8)
(向ITS的应用)
以下,作为本发明的应用例,说明ITS(Intelligent Transport Systems:智能交通系统)。在本实施方式中,实现了可视光通信的高速通信,能够实现向ITS领域的适用。
图168是说明搭载有可视光通信功能的交通系统与车辆或步行者的通信的图。信号机6003搭载有本实施方式的可视光通信功能,能够进行与车辆6001及步行者6002的通信。
从车辆6001及步行者6002与信号机6003的信息发送通过前照灯或步行者持有的便携终端的闪光灯发光部等进行。从信号机6003向车辆6001 及步行者6002的信息发送通过信号机6003具有的照相机传感器或车辆 6001具有的照相机传感器进行信号的照明。
另外,以后也说明通过道路照明或道路信息板等设置在路上的交通支援的物体与车辆6001或步行者6002进行通信实现的功能,但关于通信方式可以应用相同的方式,所以省略说明。
如图168所示,信号机6003向车辆6001提供道路交通信息。这里,所谓道路交通信息,是拥堵信息或事故信息、周边服务区域的信息等,辅助驾驶那样的信息。
信号机6003由于搭载有LED照明,所以通过进行由该LED照明实现的通信,能够不搭载新的装置而进行向车辆6001的信息提供。此外,由于车辆6001一般高速移动,所以通过以往的可视光通信技术能够发送的数据量较少,但根据本实施方式,由于通信速度提高,所以有能够向车辆发送的数据尺寸变多的效果。
此外,通过信号机6003及照明6004,能够按照信号或照明而提供不同的信息。由此,可以例如仅对在右转道中行驶的车辆进行信息发送等,发送与车辆的位置对应的信息。
此外,同样对于步行者6002,也能够仅对处于特定的地点的步行者6002 提供信息,所以能够仅对例如在特定的交叉点的横穿人行道进行信号等待的步行者发送例如是事故较多的交叉点的信息、或街中地点信息等。
进而,信号机6003和别的信号机6005也能够通信。由此,例如在信号机6003将提供的信息变更的情况下,能够不新向信号机连通信号线或通信机,而通过信号机彼此的通信的中继将信号机分发的信息变更。通过本方式,可视光通信的通信速度较大地提高,所以能够进行更短时间中的分发信息的变更。由此,例如能够1天中变更几次分发信息。此外,能够将积雪或降雨信息等立即分发。
进而,通过照明将当前的位置信息分发,也能够对车辆6001或步行者 6002提供位置信息。在商店街或隧道等房顶上有房檐的施设有难以进行使用GPS的位置信息取得的情况,但如果使用可视光通信,则具有在这样的状况下也能够取得位置信息的优点。此外,通过本实施方式,由于通信速度与以往相比能够更高速化,所以例如在通过店铺或交叉点等特定的地点的期间中能够接收信息。
另外,本实施方式是将可视光通信高速化的,所以当然能够对其他的使用可视光通信的ITS系统全部应用。
图169是在车辆彼此使用可视光通信进行通信的车车间通信中采用本发明的情况下的概略图。
车辆6001通过制动灯或其他LED照明向后方的车辆6001a传递信息。此外,也可以通过前照灯或其他照射前方的灯向面对的车辆6001b发送数据。
这样,通过在车辆间用可视光通信,能够共享车辆彼此的信息。例如,通过将前方交叉点处的事故信息向后方车辆以中继形式传递,能够将拥堵信息或引起注意的信息向后方车辆传递。
此外,同样通过向对向的车辆传递拥堵信息或从制动的传感器信息取得的急制动信息,对于对向车也能够传递辅助运转的信息。
通过本发明,由于可视光通信的通信速度提高,所以有能够一边与对向车错车一边发送信息的优点。此外,对于后方车辆,也由于信息发送的间隔变短,所以能够以更短的期间向许多车辆传递信息。此外,通过通信速度提高,也能够发送声音或图像信息。由此,能够将更丰富的信息在车车间共享。
(位置信息报知系统及施设系统)
在图170中,表示使用本实施方式的可视光通信技术的位置信息报知系统及施设系统的概略图。例如以在医院内将患者的病历或输送物、药品等用机器人配送的系统为代表进行说明。
机器人6101搭载有可视光通信功能。照明分发位置信息。机器人6101 通过取得照明的位置信息,能够将药或其他物品送到特定的病房。由此,医生的负担减轻。此外,由于照明不会泄漏到相邻的房间,所以有机器人 6101不会弄错房间的效果。
另外,使用本实施方式的可视光通信的系统并不限定于医院内,能够应用到使用照明器具分发位置信息的系统中。例如也可以作为在室内的购物中心中从向导显示板的照明将位置及向导信息发送的构造,也可以用于机场内的推车的移动。
此外,还可以通过在店铺的照明中搭载可视光通信技术而分发赠券信息或销售信息。通过将信息叠加到可视光中,用户能够直观地理解从该店铺的光获得信息,所以有用户的方便性提高的效果。
此外,在发送是房间之中/外的信息的情况下,如果使用无线LAN分发位置信息,则由于电波泄漏到相邻的房间或走廊,所以在外壁中需要将电波阻断的功能,以使电波不会飞到房间之外。此外,如果用外壁将电波阻断,则有便携电话等的与外部通信的设备不能使用的问题。
如果使用本实施方式的可视光通信发送位置信息,则仅在照明可达的范围中能够进行通信,所以有例如容易将特定的房间的位置信息向利用者发送的效果。此外,由于外壁通常将光遮挡,所以有不需要特别的装置的效果。
此外,在大厦或大规模施设、普通住宅中,通常照明的位置不会变化,所以各照明发送的位置信息不会频繁地变化。由于各照明的位置信息的数据库的更新频度较低,所以有位置信息管理的维护成本较低的效果。
(超级市场的系统)
在图171中,说明在商店中、将搭载有本实施方式的通信方式的设备搭载到购物推车中、从商品货架的照明或室内照明取得位置信息的超级市场的系统。
推车6201搭载有使用本实施方式的通信方式的可视光通信设备。照明 6100通过可视光通信将位置信息及该货架的信息分发。推车能够接受从照明分发的商品信息。此外,通过接受位置信息,能够掌握自己处于哪个货架,所以例如如果在推车中预先存储货架的位置信息,则仅通过向推车指定用户想去的货架或想要的商品,就能够在推车上显示应去哪个方向。
通过可视光通信,能够得到知道货架的位置的程度的高精度的位置信息,所以能够取得并利用推车的移动信息。例如,还能够将推车从照明取得的位置信息进行数据库化。
使用可视光通信,在照明中与推车的信息一起发送,或者使用无线LAN 等向服务器发送。或者,在推车中搭载存储器,通过在店铺的闭店后将数据收集等,能够将推车通过了怎样的路径的情况汇集到服务器中。
通过收集推车的移动信息,能够掌握哪个货架有人气、最多通过哪个通路,所以有能够用于市场营销的效果。
(便携电话终端与照相机的通信)
在图172中表示使用本实施方式的可视光通信的应用例。
便携电话终端6301使用闪光灯向照相机6302发送数据。照相机6302 从由摄像部接收到的光信息中接收便携电话终端6301发送的数据。
预先在便携电话终端6301中进行照相机的摄影设定,向照相机6302 发送。由此,能够利用便携电话终端的丰富的用户界面进行照相机的设定。
此外,通过利用照相机的摄影传感器,在照相机与便携电话终端通信时,能够不搭载无线LAN等的新的通信设备而从便携电话终端对照相机发送设定信息。
(水中通信)
在图173中表示将本实施方式的通信方式应用于水中通信的情况下的概略图。由于水不通过电波,所以水中的潜水员彼此或海上的船与海中的船不能通过无线进行通信。在本实施方式的可视光通信中,在水中也能够利用。
另外,本实施方式的可视光通信方式能够从发光的物体或建筑物发送数据。如果将受光部面向建筑物,则能够取得该建筑物的向导信息及详细信息,所以能够对观光客提供有益的信息。
另外,本实施方式的可视光通信方式能够应用到从灯塔与船舶的通信中。由于能够进行比以往大容量的通信,所以能够交换更详细的信息。
另外,本实施方式的可视光通信由于使用光,所以能够进行仅在特定的房间中进行通信等的以房间单位的通信控制。例如在图书馆中向仅在特定的房间能够阅览的信息访问的情况下使用本实施方式的通信方式,或者应用到将本实施方式的通信方式用于密钥信息的交换、实际的通信使用无线LAN等的通信进行等的用途中。
另外,本实施方式的通信方式能够转用到通过LED的通信及具备MOS 传感器的摄像装置的全部中,例如当然能够应用到数字照相机及智能电话中。
(实施方式9)
(服务提供例)
以下,在本实施方式中,作为本发明的应用例,使用图174说明向用户的服务提供例。图174是用来说明实施方式9的向用户的服务提供例的图。在图174中,表示了网络服务器4000a、发送机4000b、4000d、4000e、接收机4000c、4000f和建筑物4000g。
接收机4000c、4000f从处于家室内外的多个发送机4000b、4000d、 4000e接收信号,通过处理,能够向用户提供服务。另外,发送机及接收机既可以能够单独地处理信号、向用户提供服务,也可以能够与构成网络的网络服务器4000a协同,按照来自网络的指示,一边使它们的动作及发信的信号变化,一边向用户提供服务。
另外,发送机及接收机既可以装备到人或车辆等运动的物体上,也可以装备到静止的物体上,也可以能够之后装备到已有的物体上。
图175是用来说明实施方式9的向用户的服务提供例的图。在图175 中表示了发送机4001a和接收机4001b。
如图175那样,接收机4001b接收多个发送机4001a发信的信号,通过将信号中包含的信息处理,向用户提供服务。另外,在信号中包含的内容中,有关于唯一地表示设备的设备ID、位置信息、地图、标识、观光信息、交通信息、地域服务、赠券、广告、商品说明、人物角色(characters)、音乐、运动图像、照片、声音、菜单、广播、紧急向导、时刻表、指引、应用、新闻、公告板、向设备的命令、识别个人的信息、金券、信用卡、安全、URL等的信息。
用户既可以将用来利用这些信号中包含的信息的登记处理等事前在网络服务器上实施,在实际发送机4001a将信号发信的场所,用户通过用接收机4001b接收这些信号能够接受服务的提供,也可以不经由网络服务器而接受服务的提供。
图176是表示本实施方式的将接收机从发送机接收到的多个信号同时处理的情况的流程图。
首先,在步骤4002a中开始。接着,在步骤4002b中,接收机接收来自多个光源的信号。接着,在步骤4002c中,根据接收到的结果,判断各个光源被显示的区域,从各自的光源提取信号。
将在步骤4002d中取得的信号的数量的处理在步骤4002e中基于信号中包含的信息反复进行,直到数量成为0个。在要处理的数量成为0个的阶段中,在步骤4002f中结束。
图177是表示通过实施方式9的相互通信实现设备间的通讯的情况下的一例的图。在图175中表示通过具有发送机及接收机的多个收发机 4003a、收发机4003b、收发机4003c相互通信而实现设备间的通讯的情况下的一例。另外,收发机既可以如图175那样仅在相同设备间进行通信,也可以能够在不同的设备间通信。
此外,本实施方式通过将应用利用本实施方式提供的通信机构或其他网络、拆装式的存储设备向便携电话、智能电话、个人计算机、游戏机等分发,从这些应用利用已经装备的设备的仪器(LED、光电二极管、图像传感器),能够向用户提供服务。另外,应用也可以从最初就搭载在设备中。
(利用指向性的服务的例子)
此外,作为本发明的应用例,对利用本实施方式的指向性的特性的服务进行说明。具体而言,是在电影院、音乐厅、博物馆、医院、公民馆、学校、公司、商店街、百货商店、政府机关、食品店等那样的公共施设中利用本发明的情况下的例子。本发明与以往的可视光通信相比,由于能够使发送机向接收机产生的信号的指向性变低,所以能够向存在于公共施设中的许多接收机同时发信信息。
图178是用来说明利用实施方式9的指向性的特性的服务的图。在图 178中表示屏幕4004a、接收机4004b和照明4004c。
如图178那样,通过在电影院中利用本实施方式,能够在电影的上映中抑制用户进行与其他用户的舒适的电影的视听妨害相联系的设备(便携电话、智能电话、个人计算机、游戏机等)的利用。发送机以向显示电影的屏幕4004a投影的影像内或装备在施设上的照明4004c等发出的光为信号,使这些信号内包含控制接收机4004b的命令。通过接收机4004b接收该命令,控制接收机4004b的动作,能够防止妨碍其他用户的电影视听那样的行为。控制接收机4004b的命令有电源或接收发出的声音、通信功能、 LED的显示、振动等的ON、OFF、水平调整等。
此外,接收机通过将发送机发送的信号利用光源的强度等过滤,能够控制指向性的强度。在本实施方式中,通过将指向性设定得较低,能够向存在于施设中的接收机一齐发送命令及信息。
另外,在想要使指向性变高的情况下,也可以发送机侧限制光源的量,也可以通过在接收机侧降低受光光源的感度、或将受光的光源的量进行信号处理来加以制约。
另外,在将本实施方式在如食品店、政府机关等那样接受来自用户的订购、现场处理订购那样的店铺等中利用的情况下,通过配置在能看遍店的场所的接收机接收由处于用户的手边的发送机发信的包含订购的信号,能够检测出哪个座席的用户订购了什么菜单。服务提供者通过设置时间轴处理订购,能够向用户提供公平性较高的服务。
另外,也可以通过在发信机与接收机间利用预先设定的秘密密钥或公开密钥将信号中包含的信息加密、解密,限制能够发送信号的发送机、能够接收信号的接收机。此外,也可以在发送机及接收机间的发送路利用在因特网中在标准中利用的SSL等的协议抑制来自其他设备的信号的监听。
(现实世界与因特网上的世界的融合的服务例)
此外,作为本发明的应用例,对将由照相机摄像的现实世界与因特网上的世界的信息叠加、向用户提供服务的服务进行说明。
图179是用来说明实施方式9的向用户的服务提供例的另一例的图。具体而言,图179表示利用在便携电话、智能电话、游戏机等的接收机中搭载的照相机4005a应用本实施方式的情况下的服务的一例。这里,在图 179中表示了照相机4005a、光源4005b和叠加的内容4005c。
从照相机4005a的摄像结果中提取多个光源4005b发信的信号4005d,将在这些信号4005d中包含的信息向照相机4005a叠加而显示。另外,向照相机4005a叠加的内容4005c有字符串、图像、运动图像、人物角色、应用、URL等。另外,不仅是与照相机的叠加,也可以利用声音、振动等将信号中包含的信息处理。
图180是表示在发送机发送的光源中包含的信号的格式例的图。在图 180中,表示光源的特性4006a、服务种类4006b和关于服务的信息4006c。
关于将接收机接收到的信号向照相机叠加的服务的信息4006c是根据在发送机发出的信号中包含的服务种类4006b等的信息及从照相机到光源的距离、将能够从信号取得的信息过滤的结果。另外,接收机过滤的内容既可以遵照预先设定的接收机的设定,也可以遵照用户设定在接收机中的用户的嗜好。
此外,接收机可以推测到发出信号的发信机的距离,显示到光源的距离。接收机通过将由照相机摄像的发信机发出的光量进行数字信号处理,推测到发信机的距离。
但是,接收机用照相机摄像的各个发信机的光量根据光源的位置及强度而不同,所以如果仅用摄像的发信机的光量推测距离,则有大幅偏离的情况。
为了解决该问题,使发信机发出的信号内包含表示光源的强度及颜色、种类等的光源的特性4006a。接收机通过进行添加了信号中包含的光源的特性的数字信号处理,能够推测精度较高的距离。在接收机摄像的发信机的光源有多个的情况下,在全部的光源的强度相同的情况下,用光源的光量推测距离。在有接收机摄像的光源的强度不相同的发送机的情况下,不仅根据光源量推测距离,而与其他距离测量手段组合来推测从发送机到接收机的距离。
作为其他距离测量手段,也可以利用由二眼透镜摄像的影像的视差推测距离,也可以使用红外线或微波读取器等推测距离,也可以通过9轴传感器或搭载在接收机中的摄像等取得接收机的移动量,推测将移动的距离与三角测量组合的距离。
另外,不仅是接收机利用在发送机侧发生的信号的强度或距离将信号过滤、显示,也可以作为接收机调整从发送机接收的信号的指向性的手段利用。
(实施方式10)
图181是表示实施方式10的原理的图。图182~图194是表示实施方式10的动作的一例的图。
图181(a)所示的图像传感器的各行1的曝光时间按照行而发生延迟,。在通常的快门速度下由于在时间上各行具有重叠的部分,所以相同时间的光信号混合在各行中,所以不能判别。这里,在使快门的开时间变短的情况下,如果曝光时间变短到某一定的快门速度以下,则如图181(a)那样不再重叠,所以能够按照行将光信号在时间上分离而读取。
如果在此状态下给出图181(a)的上部那样的“1011011”的光信号,则最初的“1”的光信号在行1的快门开时间中入光,所以在行1中被光电变换,作为图181(b)的电信号的“1”输出。同样,下个光信号“0”成为(b)的电信号“0”,7比特(bit)的“1011011”的光信号被正确地变换为电信号。
实际上,由于如图181(b)那样因垂直空白时间而有不感时间,所以一部分的时间带的光信号不能取出。为了解决该问题,在本实施方式中,当从“通常的摄影模式”切换为“光信号的读出模式”时,变更为CMOS等的摄像仪器的访问地址,通过在处于最下方的最后的读出行1h的接着将最初的读出行1a读出,解决了空白期间的问题。虽然给画质带来一些不良影响,但能得到连续(无缝)读出的效果,传送效率大幅提高。
在本实施方式中,由于在1行中最高能分配1个符号,所以在采取后述那样的同步方式的情况下,当使用1000行30fps的摄像元件时,在理论上最大能够进行30kbps的传送。
另外,在取同步的情况下,如图182那样,能够观看照相机的受光元件的信号、通过将行的访问用的时钟上下变更来取同步,以得到最高对比度或者数据的错误率变低。在图像传感器的行的时钟比光信号快的情况下,如图182那样,通过用2行或3行的否行接收光信号的1符号,能够取同步。
此外,如果将图183的TV或图184的左图的TV那样的显示器、或在纵向上被分割为n个例如10个的光源用便携电话的照相机切换为本发明的高速电子快门或无空白等的检测模式而摄影,则如图184的右图那样,能够将本实施方式特有的条状的样式分别独立地检测10条,所以成为10倍 (n倍)的转送速率。
例如在将30fps1000行的图像传感器10分割的情况下,成为300kbps。由于在HD影像中在水平上有1980像素,所以能够分割为50条。于是成为 1.5Mbps,运动图像的影像数据成为能够接收。如果是200条,则能够传送 HD影像。
为了得到本实施方式中的效果,如果设能够检测的最长的曝光时间为 T0,则需要使快门时间变短到T0以下。如果如图181的右上图那样将帧同波数设为fp,则需要使快门时间为1/fp的一半以下。这是因为,在摄影时发生的空白最大为1帧的一半的大小。即,这是因为,由于空白时间是摄影时间的一半以下,所以实际的摄影时间也在最短的时间下为1/2fp。
但是,由于为了抑制闪变而需要4值PPM等,所以成为1(fp×2×4) 分之1,即8fp分之1。由于通常的便携电话的照相机是fp=30、60,所以只要设定为1/240、1/480、即1/480以下的快门速度,就能够在保持互换性的同时,将本实施方式的可视光的光通信使用便携电话等的照相机接收。
实际上,由于没有采用本实施方式的同步方式的便携电话在世界上存在许多,所以最初为非同步型的通信。在此情况下,通过使用光信号的时钟的2倍以上、具体为2~10倍的扫描行接收1符号,实现虽然信息速率下降但具有互换性的通信。
在需要防止闪变的照明设备的情况下,在4值PPM、即4个比特中的1 个时间带中灭灯或减光而发光。在此情况下位速率下降到一半,但由于不再有闪变,所以能够在照明设备中使用,能够清楚地传送数据。
图185表示在室内在共通时间带中从全部的照明机送来共通信号、在个别时间带中从个别的照明机L4送来个别的副信息的状况下,接收光信号的状况。L4由于面积较小,所以为了传送大量的数据而花费时间。因而,在个别时间带中仅传送数位的ID,在共通时间带中L1、L2、L3、L4、L5的全部传送相同内容的共通信息。
如果使用图186A详细地说明,则在图186A下的时间带A中,作为房间中的全部的照明的主区域M的2条照明、和处于其一部分中的S1、S2、S3、 S4一齐将作为共通信息的“房间的基准位置的位置信息、各ID的个别设备的配置信息(从基准位置的差位置信息)、服务器的URL、数据广播、LAN 发送数据”发信光信号。由于房间中被用相同的光信号照射,所以具有在共通时间带中便携设备的照相机部能够可靠地接收数据的效果。
另一方面,在时间带B中,如右上的俯视图所示,主区域M不闪烁,以通常的1/n的光量连续地发光。在4值PPM的情况下,如果以通常的3/4 即75%发光,则平均光量不变化,所以能防止闪变。如果在平均光量不变化的范围中闪烁,则没有闪变,但在时间带B的部分区域S1、S2、S3、S4的接收中成为噪声,所以不优选。在时间带B中,S1、S2、S3、S4分别发送不同的数据内容的光信号。由于主区域M不传送调制信号,所以如右上的便携设备的画面那样在位置上被分离。因此,例如在将S1的区域的图像取出的情况下,由于噪声较少,所以容易检测在区域中发生的条,所以能够稳定地得到数据。
图186B是用来说明本实施方式的发送机及接收机的动作的图。
发送机8161例如构成为标牌,使记载有“A shop”的区域A和记载有“B shop”的区域B亮度变化。由此,从各个区域发送信号A及信号B。例如,在信号A及信号B的各自中,包含表示共通的内容的共通部分和表示相互不同内容的固有部分。将信号A及信号B的各自的共通部分同时发送。结果,接收机8162如果将信号A的共通部分及信号B的共通部分中的至少一方接收,则将该标牌整体的图像显示。此外,发送机也可以将信号A的固有部分和信号B的固有部分同时发送,也可以以相互不同的定时发送。接收机8162如果接收到例如信号B的固有部分,则将与上述的区域B对应的例如店铺的详细的信息显示。
图186C是用来说明本实施方式的发送机及接收机的动作的图。
例如,发送机8161如上述那样,将信号A及信号B的共通部分同时发送,接着将信号A及信号B的各自的表示相互不同的内容的独自部分同时发送。接收机8162通过将发送机8161摄像,从该发送机8161接收信号。
这里,当发送机8161将信号A及信号B的共通部分发送时,能够不将发送机8161分为两个区域而作为1个较大的区域捕捉。结果,接收机8162 即使处于距发送机8161较远的位置,也能够将该共通部分接收。此时,接收机8162从服务器取得与该共通部分建立了对应的信息并显示。例如,服务器将在作为发送机8161的标牌上显示的全部的店铺的信息向接收机 8162发送。或者,服务器从这些店铺中选择任意的店铺的信息并向接收机8162发送。例如,服务器在这些店铺中将支付了最多的登记金额的店铺的信息优先地向接收机8162发送。或者,服务器将与处于由接收机8162的照相机摄影的范围的中心的区域(区域A或区域B)对应的店铺的信息发送。或者,服务器随机地选择店铺并将该店铺的信息向接收机8162发送。
此外,接收机8162当处于距发送机8161较近的位置时,能够将信号A 或信号B的独自部分接收。此时,接收机8162从服务器取得与该独自部分建立了关联的信息。
例如,如图187所示那样照相机进行横向(水平方向)的扫描时,在为4值PPM的情况下,照明L2被前面照相机摄影,如果如右侧那样看到3 根条,则能够将“0101”即每帧4比特的数据解调。由于其中有ID的数据,所以具有通过运算共通数据的基准位置信息与个别数据的各ID的距离差信息或配置信息、能够高速即在短时间中检测便携终端的位置的效果。这样仅通过发送例如2比特的ID,就能够将4个光源的数据和位置用1个帧信息在瞬间识别。
使用图188,说明使用该个别光源的低位的ID信息的例子。
在本实施方式中,在图188的共通数据101中,如图中所示那样是基准位置、服务器的URL、各ID的配置信息。将分区域数据广播的大容量数据使用全部的照明在共通时间带中发送。
如上述那样,能够将图188(a)的L1、L2、L3、L4~L8的个别ID进行3 比特解调。
如图188(b)那样,即使发送频率f1和频率f2的信号,也由各照明部检测出本发明特有的条,变换为与频率对应的ID或与调制数据对应的ID 数据。如果将该样式使用配置信息运算,则可知是从哪个位置摄影的。即,由于从L0能够得到各ID的配置信息和基准位置信息,所以能够确定终端的位置。
通过如图188(b)那样,将频率f1、f2分配给各ID,例如设为f1=1000Hz, f2=1100Hz,…,f16=2500Hz,能够将16值即4位的值通过频率表现。通过使发送频率按照一定时间变化,能够发送更多的信号。在将频率变更时或将调制开始/结束时,通过在变更的前后将平均亮度保持为一定,得到使人的眼睛不感到闪变的效果。
另外,接收机由于根据信号的周期求出频率,所以与将频率等间隔地分配给信号相比,以频率的倒数或对数为等间隔的方式分配信号更能够减少接收错误。
例如,如果按照1/15秒使信号变化,则能够以60位每秒发送。一般的摄像装置由于1秒钟摄影30帧的图像,所以如果在1/15秒钟以相同的频率发送信号,则即使发送机仅拍摄在摄像图像的1部分中,也能够可靠地进行摄像。
此外,通过在1/15秒间以相同频率发送信号,在接收机的负荷较高、有不能处理的帧的情况下、或在1秒间仅能够摄影15帧的图像的摄像装置的情况下,也能够接收信号。
如果在与曝光行垂直的方向上将亮度值通过傅立叶变换等进行频率解析,则发送信号的频率表现为尖峰。在频率的切换部分等、多个频率被摄像到1帧内的情况下,与将单一频率信号傅立叶变换的情况相比为较弱的尖峰,可得到多个尖峰。在频率的切换部分中,为了避免前后的频率混合,也可以设置保护部分。
根据该方法,在一个画面内将以多个频率依次发送的光摄像的情况下也能够将发送频率解析,即使以1/15秒、或比1/30秒短的时间将发送信号的频率变更,也能够接收。
为了识别发送信号的顺序,只要在比1画面短的范围中进行傅立叶变换就可以。此外,也可以将摄像出的画面连结,以比1画面长的范围进行傅立叶变换。在此情况下,将摄像的空白时间的亮度值作为不明处置。保护部分设为特定的频率的信号,或者不进行亮度变化(频率0Hz)。
如图188(b)那样,通过发送频率f2的FM调制信号、持续发送PPM 调制信号,将FM调制信号和PPM调制信号交替地发送,即使是仅对应于某个方法的接收机也能够接收,此外,通过将重要度较高的信息分配给接收比较容易的FM调制信号,能够将重要度较高的信息优先地发送。
在本实施方式中,由于能够同时得到各设备的ID和画面上的位置,所以能够将处于与照明链接的URL上的云型的服务器的数据库中的、与照明的各ID链接的图像信息、位置信息及应用程序下载,使用AR的方法将关联的商品等的图像叠加显示到具有ID的照明的设备的影像上。在此情况下,通过将本实施方式的解调模式切换为摄影模式,具有能够得到叠加到更好看的影像上的AR图像的效果。
通过如图185所示那样、在时间带A中发送各ID的光源与基准位置的东西南北的距离差d,可知照明L4的cm单位的正确的位置。接着,根据顶棚的高度H、便携电话拿持者的身高求出高度h,将便携电话的姿势信息通过9轴传感器修正,求出正确的照相机方向的角度θ2和照明与便携电话的角度θ1,通过d=(H-h)×arctan·θ1等的运算计算d。
这样,能够以较高的精度求出便携电话的位置。通过这样在时间带A 中发送共通光信号,在时间带B中发送个别光信号,能得到能够可靠地将大容量的共通信息和ID等的小容量的个别信息大致同时发送的效果。
如图186A的右上部的便携终端那样将个别光源S1~S4摄影。如图186A 的下方的时间图那样,在时间C中,仅S1传送光信号。如图189的t=C那样,仅1个发生条纹(stripe),所以具有能够不受噪声的影响而检测的效果。
此外,也可以如t=D、E那样传送两个个别数据。如t=H、I那样,通过将在空间上最远离的个别数据传送,在画面上容易分离,所以有错误率变低的效果。
在图189的t=C的状况下,只要仅S1进行解调就可以,所以不需要其他区域的图像传感器的扫描。因而,通过如t=C那样以S1的区域进入的方式使扫描条数减少,仅将S1区域扫描,能够将数据解调。因此,具有不仅是高速化,还能够仅通过S1的较窄的区域将大容量的数据解调的效果。
但是,在此情况下,有可能通过手抖动而区域S1从图像传感器的扫描范围内脱离。
因而,图190所示那样的手抖动修正变得重要。内置在便携电话中的陀螺仪传感器通常不能检测到手抖动那样的范围减小的微细的旋转。
因而,在如图190的左图那样将L2的光信号用前面照相机接收的情况下,在限定了扫描的情况下等,难以使用来自前面照相机的图像根据图像检测手抖动。因而,通过使内照相机为ON、根据内照相机的图像检测手抖动、将扫描范围或检测范围修正,能够减轻手抖动的影响。这是因为,前面照相机的手抖动与内照相机的手抖动相同。
使前面照相机的光信号样式以外的扫描区域的快门速度变慢,从该区域得到正常的图像,能够根据该图像进行手抖动修正。在此情况下,能够用1个照相机进行手抖动检测和信号检测。这在使用图190右图的内照相机的情况下也有同样的效果。
图191用前面照相机进行光信号检测,首先获得终端的位置信息。
在根据此时的地点求出移动距离l2的情况下,便携电话用的9轴传感器由于精度较差,所以不实用。在此情况下,使用与前面照相机相反的内照相机,能够根据终端的姿势和地面的图样的变化如图191那样求出移动距离l2。也可以用前面照相机检测顶棚的图样。
以下,说明实际的应用例。
图192是表示在车站的建筑物内从顶棚的照明接收作为共通数据的数据广播、根据个别数据获得自己的位置的状况的图。
如图193所示,在咖啡店中从显示有条码的便携终端显示认证信息,在店的终端读取后,从店的终端的发光部发光,便携终端使用本发明接收,进行相互认证,能够使安全性提高。认证也可以相反地进行。
如果拿持着该便携终端的顾客就座到桌旁,则将获得的位置信息用无线LAN等向店的终端发送,所以在店员的终端上显示顾客的位置,所以店员能够将订购的饮料向订购的顾客的位置信息的桌子运送。
图194中,在列车或飞机中,乘客使用本实施方式的方法知道自己的位置,用终端订购食物等的商品。乘务员在推车上有本发明的终端,在画面的订购的顾客的位置上显示有订购的商品的ID号码,所以向顾客的地方可靠地将订购的ID的商品送达。
图184是表示在TV等的显示器的背灯中使用本实施方式的方法或装置的情况的图。由于荧光灯、LED或有机EL能够施加低亮度调制,所以能够进行本实施方式的发送。但是,在特性上,扫描方向是重要的。在如智能电话那样纵向使用的情况下在水平方向上扫描,所以通过在画面的下部设置横长的发光区域,使TV等的影像的对比度变淡,向白色靠近,具有能够容易地接收信号的效果。
在如数字照相机那样在垂直方向上扫描的情况下,设置图183的画面右侧那样的纵长的显示。
通过将这两个设置在一个画面内、从两者发光相同的光信号,通过哪个扫描方向的图像传感器都能够接收信号。
另外,在要用在水平方向上扫描的图像传感器接收垂直方向的发光部的情况下,通过对终端的画面发出“请旋转为横向而摄影”那样的显示,能够向使用者敦促更可靠地高速接收。
另外,通过如图182那样将照相机的图像传感器的扫描行读取时钟控制为发光部的发光样式而取同步,能够将通信速度大幅提高。
在如图182(a)那样将发光样式的1符号用两行检测的情况下,在左边那样的样式中进行同步。在中图那样的样式的情况下,由于图像传感器的读取较快,所以使影像元件的读出时钟低速化而同步。在右图那样的样式的情况下,进行高速化而同步。
在图182(b)的将1符号用3个行检测的情况下,在中图那样的样式中低速化,在右图中高速化。
这样,能够进行高速的光通信。
另外,在双向通信的情况下,由于在发光部的照明设备中作为人感传感器而设有红外线受光部,所以通过将其兼用于接收,在照明机中能够不进行零件的追加而进行双向接收。终端侧既可以使用照相机用的频闪灯发送,也可以另外设置便宜的红外发光部。这样,能够不怎么追加零件而实现双向通信。
(实施方式11)
(通过相位调制的信号传送)
图195是实施方式11的信息通信装置的发送信号的时间图。
在图195中,基准波形(a)是周期T的时钟信号,为发送信号的定时的基准。发送符号(b)表示基于发送的数据列制作的符号列。这里,作为一例而表示每1符号1位的情况,所以与发送数据的二进制数相同。发送波形(c)是对于基准波形按照发送符号进行了相位调制的发送波形,按照该波形驱动发送光源。相位调制对于基准波形通过对应于符号将相位错开而实施,在该例中,符号0为相位0°,符号1为相位180°的分配。
图196是表示实施方式11的发送信号与接收信号的关系的图。
发送信号与图195是同样的,仅在发送信号为1的期间中光源发光,该发光期间用向右下降斜线的区域表示。用向右上升斜线涂敷的带表示图像传感器的像素被曝光的期间(曝光时间tE),在与表示发光期间的向右下降斜线重叠的区域中生成图像传感器的像素的信号电荷。像素值p与该重复区域的面积成比例。这里,在曝光时间tE与周期T之间,式1的关系成立。
tE=T/2×(2n+1)n:自然数(式1)
另外,图196~图200表示n=2的情况。即,tE=2.5T。
接收波形表示各行的像素值p。这里,像素值轴的值将1周期的受光量正规化为1。如上述那样,由于曝光时间tE具有T(n+1/2)的区间,所以像素值p总是存在于n≤p≤n+1的范围,关于图196的例子为2≤p≤3。
图197~图199是关于与图196分别不同的符号列表示发送信号与接收信号的关系的图。
发送信号具有包括(未图示的)连续的相同的符号列(例如连续的符号0的列)的前同步码,接收侧通过该前同步码中的连续的符号列,制作用于接收的基准信号,作为从接收波形将符号列读出的定时信号。具体而言,对于连续的符号0,如在图196中表示那样,接收波形返回重复2→3 →2的一定的波形,基于将该像素值3输出的定时,生成时钟信号作为基准信号。
接着,从接收波形的符号的读出可以将上述基准信号的1区间中的接收信号读出,在像素值3的情况下作为符号0读出,在像素值2的情况下作为符号1读出。在图197~图199中,表示将位于第4周期的符号读出的状况。
图200是将图196~图199汇总的图,由于是行密集地排列的状态,所以行方向的像素的分隔省略而连续化作图。这里,表示将从第4周期到第8 周期的符号值读出的状况。
通过这样的结构,在本实施方式中,在对于与基准波的周期相比充分长的时间取光信号的强度的平均的情况下,总为一定。并且,如果将基准波的频率适当地设定得较高,则能够将该时间设定得比人感知光量变化的时间短,所以在从人的眼睛观察发送发光源的情况下,感知为光源一定地发亮。因此,不会感知为光源的闪变,具有不会有前实施方式的使人感到烦躁的优点。
此外,在各行的曝光时间较长、与相邻行的曝光期间重复的时间变长的状况下,在上述的实施方式的振幅调制(开启关闭调制)中,发生不能提高信号的频率(符号速率)而不能得到充分的信号传送速度的问题,但在本实施方式中,在这样的状况下也能够检测到信号的上升、下降的边沿,所以能够提高信号的频率,能够实现较高的信号传送速度。
另外,这里记述的“相位调制”是指对基准信号波形的相位调制。在本来的意义下,输送波是光,将其振幅调制(开启关闭调制)而传送,所以该信号传送的调制方式是振幅调制的一种。
此外,上述发送信号是一例,每个符号的位数也可以设定为2以上,此外,符号与相位移动的对应也并不限定于0°、180°,也可以具有偏移量。
另外,在上述中省略了说明,但不言而喻,在图1~图77中说明的在实施方式1~6中说明的光信号发生机构和光信号接收机构的结构及动作、效果,如果使用图78以后的图、替换为在实施方式7以后说明的高速型的光发光机构和光信号接收机构构成而动作,也有同样的效果。此外,如果相反将实施方式7以后的高速型的光发光机构及接收机构替换为低速型的光发光机构及接收机构也同样。
例如,在图191中,表示使用作为便携电话的显示部侧的照相机的前面照相机、和在图190中处于相反侧的内照相机接收根据来自照明机的光信号的位置信息等的数据的例子。在此情况下,通过使用9轴传感器,能够用重力检测上下方向。
在如图193那样、在餐厅中用处于桌子上的便携电话接收光信号的情况下,通过在根据9轴传感器的信号而便携电话的表侧朝上的情况下使前面照相机动作,在朝下的情况下切换为内照相机而接收光信号,能够削减耗电、或者迅速地接收光信号,能够将无用的照相机的动作停止。在此情况下,能够根据照相机的明亮程度检测处于桌子上的照相机的朝向而进行同样的动作。此外,当照相机从摄影模式切换为光信号的接收模式时,发送使快门速度变快的命令,并且如果向摄像电路部传送将摄像元件的感度提高的命令则有感度提高、图像变亮的效果。如果提高感度,则噪声增加,但是是白噪声。另一方面,由于光信号处于特定的频率域中,所以通过用频率过滤器分离或除去,能够提高检测感度。因此,能够检测到来自较暗的照明设备的光信号。
本发明主要从处于室内的空间的照明设备产生光信号,通过具有通信部、声音麦克风、声音扬声器、显示部、内照相机和前面照相机的照相机部的便携终端的照相机部接收光信号,得到位置信息等,但如果从室内出到室外,则能够通过利用卫星的GPS检测位置信息。因此,得到来自光信号区域的边界的位置信息,起动来自GPS的信号接收,通过自动地进行该切换,具有能够无缝地进行位置检测的效果。
当从室外向室内移动时,通过GPS等的位置信息检测边界,进行向光信号的位置信息的自动切换。此外,在便携电话的显示部上显示条码、用商店、飞机的搭乘口的POS终端进行认证的情况下,如果使用服务器则花费应答时间,所以并不现实,所以仅能够进行单方向的认证。
但是,通过使用本发明从POS等的终端的读取机的发光部向便携电话的前面照相机部发送光信号,能够进行相互认证,所以安全性提高。
(实施方式12)
在本实施方式中,对使用上述实施方式1~11的智能电话等的接收机、和作为LED的闪烁样式发送信息的发送机的各应用例进行说明。
图201是表示实施方式12的接收机和发送机的应用例的图。
例如作为餐厅的标牌的发送机7001a将发送机7001a的识别信息(ID) 向例如构成为智能电话的接收机7001b发送。接收机7001b从服务器取得与该ID建立了对应的信息并显示。该信息例如是到餐厅的路径、空席状况及赠券等。
图202是表示实施方式12的接收机和发送机的应用例的图。
例如作为电影的标牌的发送机7042b将发送机7042b的识别信息(ID) 向例如构成为智能电话的接收机7042a发送。接收机7042a从服务器取得与该ID建立了对应的信息并显示。该信息例如是敦促电影的预约的图像 7042c、表示电影的上映时刻的图像7042d、表示空席状况的图像7042e、以及通知预约完成的图像7042f。
图203是表示实施方式12的接收机和发送机的应用例的图。
例如作为影视剧的标牌的发送机7043b将发送机7043b的识别信息 (ID)向例如构成为智能电话的接收机7043a发送。接收机7043a如果接收到该ID,则从服务器取得与该ID建立了对应的信息并显示。该信息例如是敦促影视剧的录像预约的图像7043c、敦促将影视剧录像的记录机的选择的图像7043d、以及通知预约完成的图像7043e。
图204是表示实施方式12的接收机和发送机的应用例的图。
例如作为构成为店铺的屋顶招牌或放置在路上的招牌的标牌的发送机 7044d或7044c将发送机7044b或7044c的识别信息(ID)向例如构成为智能电话的接收机7044a发送。接收机7044a从服务器取得与该ID建立了对应的信息并显示。该信息例如是表示该店铺的空席状况及赠券等的图像 7044b。
图205是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图是与图201~图204所示的应用例对应的。
首先,将发送机的ID、与向接收到ID的接收机传递的信息建立关联而向服务器存储(7101a)。这里,在向接收机传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。
接着,从发送机发送ID(S7101b)。将接收机的照相机朝向发送机,接收ID(S7101c)。
接收机将接收到的ID向服务器发送,将与ID关联的信息向接收机存储(S7101d)。
接收机将终端ID及用户ID一起向服务器保存(S7101e)。进而,接收机作为向接收机显示的内容而显示存储在服务器中的信息(S7101f)。
接收机基于保存在接收机或服务器中的用户简况,调整显示内容 (S7101g)。例如,进行变更字符的大小、使年龄限制内容为不显示、或将根据过去的用户的行为而推测为喜好的内容优先地显示等的控制。
接收机显示从当前位置到店铺或商品卖场的道路顺序(S7101h)。接收机适当从服务器取得信息,将空席信息或预约信息更新而显示(S7101i)。接收机显示用来将所取得的信息保存的按钮、或用来将保存显示内容的动作中止的按钮(S7101j)。
用户轻击用来将接收机取得的信息保存的按钮(S7101k)。接收机将所取得的信息保存,以便能够通过用户的操作而再显示(S7101m)。店铺的读取机读取接收机发送的信息(S7101n)。作为发送方法,有可视光通信、经由wifi或bluetooth的通信、通过二维条码的通信等。在发送信息中,也可以包括接收机的ID或用户ID。
店铺的读取装置将所读取的信息和店铺的ID向服务器保存(S7101p)。服务器将发送机、接收机和店铺建立关联而保存(S7101q)。由此,能够分析标牌的广告效果。
图206是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标牌的发送机7002a将发送机7002a的识别信息(ID)向例如构成为智能电话的接收机7002b发送。接收机7002b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,显示与标牌相同的显示内容。如果用户进行用来选择希望的店铺的轻击选择或声音输入,则接收机7002b显示该店铺的内容。
图207是表示实施方式12的接收机7002b和发送机7002a的处理动作的一例的流程图。
将发送机7002a的ID与向接收到ID的接收机7002b传递的信息建立关联而向服务器存储(7102a)。在向接收机7002b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的 URL等的信息。将向发送机7002a显示的内容的位置关系向服务器存储。
从标牌等的发送机7002a发送ID(7102b)。将接收机7002b的照相机朝向发送机7002a,接收ID(7102c)。接收机7002b将接收到的ID向服务器发送,得到与ID关联的信息(7102d)。接收机7002b作为向接收机7002b 显示的内容而显示存储在服务器中的信息(7102e)。作为该信息的图像也可以保持着显示在发送机7002a上的图像的位置关系而显示在接收机 7002b上。
用户通过画面的轻击或声音的指定,选择显示在接收机7002b上的信息(7102f)。接收机7002b显示由用户指定的信息的详细情况(7102g)。
图208是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标牌的发送机7003a将发送机7003a的识别信息(ID)向例如构成为智能电话的接收机7003b发送。接收机7003b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,将标牌的显示内容中的、距接收机7003b的照相机的摄影图像的中心较近的部分(例如最近的部分)的内容显示。
图209是表示实施方式12的接收机7003b和发送机7003a的处理动作的一例的流程图。
将发送机7003a的ID与向接收到ID的接收机7003b传递的信息建立关联而向服务器存储(7103a)。在向接收机7003b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的 URL等的信息。将向发送机7003a显示的内容的位置关系向服务器存储。
从标牌等的发送机7003a发送ID(7103b)。将接收机7003b的照相机朝向发送机7003a,接收ID(7103c)。接收机7003b将接收到的ID向服务器发送,得到与ID关联的信息(7103d)。接收机7003b将标牌的显示内容中的、与摄像图像的中心或指定部分在位置上最近的内容显示(7103e)。
图210是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标牌的发送机7004a将发送机7004a的识别信息(ID)向例如构成为智能电话的接收机7004b发送。接收机7004b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,将标牌的显示内容中的、距接收机7004b的照相机的摄影图像的中心较近的部分的内容 (例如表示店铺“B咖啡”的内容的图像)显示。这里,如果用户向左方向划动,则接收机7004b将用标牌表示处于店铺“B咖啡”的右侧的店铺“C 书店”的内容的图像。即,接收机7004b显示与发送源的标牌相同的位置关系的图像。
图211是表示实施方式12的接收机7004b和发送机7004a的处理动作的一例的流程图。
将发送机7004a的ID、与向接收到ID的接收机7004b传递的信息建立关联而向服务器存储(7104a)。在向接收机7004b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的 URL等的信息。将向发送机7004a显示的内容的位置关系向服务器存储。
从标牌等的发送机7004a发送ID(7104b)。将接收机7004b的照相机朝向发送机7004a,接收ID(7104c)。接收机7004b将接收到的ID向服务器发送,得到与ID关联的信息(7104d)。作为向接收机7004b显示,而显示存储在服务器中的信息(7104e)。
用户对接收机7004b进行划动操作(7104f)。接收机7004b根据用户操作变更显示内容,以成为与显示在发送机7004a上的信息相同的位置关系(7104g)。例如,在用户将画面向左方向划动而要显示当前显示的部分的右侧的情况下,在发送机7004a的显示中,使接收机7004b显示在当前接收机7004b上显示的内容的右侧显示的内容。
图212是表示实施方式12的接收机和发送机的应用例的图。
例如作为表示多个店铺的标牌的发送机7005a将发送机7005a的识别信息(ID)向例如构成为智能电话的接收机7005b发送。接收机7005b如果接收到该ID,则从服务器取得与该ID建立了对应的信息,将标牌的显示内容中的、距接收机7005b的照相机的摄影图像的中心较近的部分的内容 (例如表示店铺“B咖啡”的内容的图像)显示。这里,如果用户轻击接收机7005b的画面的左端(或向左的箭头),则接收机7005b将在标牌上表示处于店铺“B咖啡”的左侧的店铺“A餐厅”的内容的图像显示。此外,如果用户轻击接收机7005b的画面的下端(或朝下的箭头),则接收机7005b 将在标牌上表示处于店铺“B咖啡”的下侧的店铺“E事务所”的内容的图像。此外,如果用户轻击接收机7005b的画面的右端(或朝右的箭头),则接收机7005b将在标牌上表示处于店铺“B咖啡”的右侧的店铺“C书店”的内容的图像。即,接收机7004b显示与发送源的标牌相同的位置关系的图像。
图213是表示实施方式12的接收机7005b和发送机7005a的处理动作的一例的流程图。
将发送机7005a的ID、和向接收到ID的接收机7005b传递的信息建立关联而向服务器存储(7105a)。在向接收机7005b传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的 URL等的信息。将向发送机7005a显示的内容的位置关系向服务器存储。
从标牌等的发送机7005a发送ID(7105b)。将接收机7005b的照相机朝向发送机7005a,接收ID(7105c)。接收机7005b将接收到的ID向服务器发送,得到与ID关联的信息(7105d)。作为向接收机7005b显示,将存储在服务器中的信息显示(7105e)。
用户轻击显示在接收机7005b上的端部的部分、或显示在接收机7005b 上的表示上下左右的方向的部分(7105f)。接收机7005b根据用户操作将显示内容变更,成为与显示在发送机7005a上的信息相同的位置关系 (7105g)。例如,在用户轻击画面的右端或表示右方向的部分的情况下,在发送机7005a的显示中,使接收机7005b显示在当前接收机7005b上显示的内容的右侧显示的内容。
图214是表示实施方式12的接收机和发送机的应用例的图。另外,图 214是将汽车从后方观察的图。
例如具有车的两个尾灯(发光部或灯)的发送机(车)7006a将发送机 7006a的识别信息(ID)向例如构成为智能电话的接收机发送。接收机如果接收到该ID,则从服务器取得与该ID建立了对应的信息。例如,该信息是表示该车或发送机的ID、发光部间的距离、发光部的大小、车的大小、车的形状、车的重量、车的号码、前方的样子或表示危险的有无的信息。此外,接收机也可以从发送机7006a直接取得这些信息。
图215是表示实施方式12的接收机和发送机7006a的处理动作的一例的流程图。
将发送机7006a的ID、和向接收到ID的接收机传递的信息建立关联而向服务器存储(7106a)。在向接收机传递的信息中,也可以包括作为发送机7006a的发光部的大小、发光部间的距离、将发送机7006a作为构成要素的一部分的物体的形状及重量、车体号码等的识别号码、或难以从接收机观察的场所的状况及危险的有无等的信息。
发送机7006a发送ID(7106b)。在发送内容中,也可以包括上述服务器的URL、或存储在上述服务器中的信息。
接收机将发送来的ID等的信息接收(7106c)。接收机从服务器取得与接收到的ID建立了联系的信息(7106d)。接收机将接收到的信息及从服务器取得的信息显示(7106e)。
接收机根据发光部的大小信息、和摄像的发光部的看起来的大小,或根据发光部间的距离信息和摄像的发光部间的距离,通过三角测量的要领,计算接收机与发光部的距离(7106f)。接收机基于难以从接收机观察的场所的状况及危险的有无等的信息,进行危险的警告等(7106g)。
图216是表示实施方式12的接收机和发送机的应用例的图。
例如具有车的两个尾灯(发光部或灯)的发送机(车)7007b将发送机 7007b的信息向例如构成为停车场的收发装置的接收机7007a发送。发送机 7007b的信息表示发送机7007b的识别信息(ID)、车的号码、车的大小、车的形状或车的重量。接收机7007a如果接收到该信息,则发送停车的可否、核款信息或停车位置。另外,接收机7007a也可以接收ID,从服务器取得ID以外的信息。
图217是表示实施方式12的接收机7007a和发送机7007b的处理动作的一例的流程图。另外,发送机7007b由于不仅是发送还进行接收,所以具备车载发送机和车载接收机。
将发送机7007b的ID、与向接收到ID的接收机7007a传递的信息建立关联,向服务器(停车场管理服务器)存储(7107a)。在向接收机7007a 传递的信息中,也可以包括将发送机7007b作为构成要素的一部分的物体的形状、重量、车体号码等的识别号码、发送机7007b的用户的识别号码、或用于支付的信息。
发送机7007b(车载发送机)发送ID(7107b)。在发送内容中,也可以包括上述服务器的URL、或向上述服务器存储的信息。停车场的接收机 7007a(停车场的收发装置)将接收到的信息向管理停车场的服务器(停车场管理服务器)发送(7107c)。停车场管理服务器以发送机7007b的ID为键字,取得与ID建立了联系的信息(7107d)。停车场管理服务器调查停车场的空闲状况(7107e)。
停车场的接收机7007a(停车场的收发装置)将停车的可否、停车位置信息、或保持这些信息的服务器的地址发送(7107f)。或者,停车场管理服务器将这些信息向别的服务器发送。发送机(车载接收机)7007b接收上述发送的信息(7107g)。或者,车载系统从别的服务器取得这些信息。
停车场管理服务器进行停车场的控制以便容易进行停车(7107h)。例如进行立体停车场的控制。停车场的收发装置将ID发送(7107i)。车载接收机(发送机7007b)基于车载接收机的用户信息和接收到的ID,对停车场管理服务器进行询问(7107j)。
停车场管理服务器根据停车时间等进行核款(7107k)。停车场管理服务器进行停车场的控制,以便容易达到停车的车辆(7107m)。例如进行立体停车场的控制。车载接收机(发送机7007b)显示向停车位置的地图,进行从当前地开始的导航(7107n)。
图218是表示实施方式12的接收机和发送机的应用例的图。
例如作为构成为店铺的屋顶招牌或放置在路上的招牌的标牌的发送机 7008a或7008b将发送机7008a或7008b的识别信息(ID)向例如构成为智能电话的接收机7008c发送。接收机7008c如果接收到该ID,则从服务器取得与该ID建立了对应的信息并显示。该信息例如是表示该店铺的空席状况、赠券及二维条码等的图像。
图219是表示实施方式12的接收机7008c和发送机7008a或7008b的处理动作的一例的流程图。另外,以下举发送机7008a及7008b中的发送机7008a为例进行说明,但发送机7008b的处理动作也与发送机7008a的处理动作相同。
首先,将发送机7008a的ID、和向接收到ID的接收机7008c传递的信息建立关联而向服务器存储(7108a)。在向接收机7008c传递的信息中,也可以包括店铺名、商品名、向店铺的地图信息、空席信息、赠券信息、商品的库存数、电影或戏剧的上映时刻、预约信息、进行预约或购买的服务器的URL等的信息。
从标牌等的发送机7008a发送ID(7108b)。将接收机7008c的照相机朝向发送机7008a,将ID接收(7108c)。接收机7008c将接收到的ID向服务器发送,将与ID关联的信息向接收机7008c存储(7108d)。接收机7008c 将终端ID及用户ID一起向服务器保存(7108e)。
接收机7008c作为向接收机7008c显示的内容而显示存储在服务器中的信息(7108f)。接收机7008c显示从当前位置到店铺或商品卖场的道路顺序(7108g)。接收机7008c适当从服务器取得信息,将空席信息或预约信息更新并显示(7108h)。
接收机7008c显示预约或订购座席或商品的按钮(7108i)。用户轻击显示在接收机7008c上的预约按钮或订购按钮(7108j)。接收机7008c将预约或订购的信息向管理它们的服务器发送(7108k)。
图220是表示实施方式12的接收机和发送机的应用例的图。
例如构成为智能电话的接收机(终端)7009b被放置到例如店铺的座席之前的桌子上。此时,例如作为照明设备的发送机7009a将发送机7009a 的识别信息(ID)向接收机7009b发送。接收机7009b如果接收到该ID,则从服务器取得与该ID建立了对应的信息。并且,接收机7009b进行该座席的预约、临时预约的确认、或预约时间的延长等。
图221是表示实施方式12的接收机和发送机的应用例的图。
从服务器取得了信息的接收机7009b例如显示店铺的空席状况、和用来选择“付款”、“延长”及“追加订购”的某个的按钮。
图222是表示实施方式12的接收机7009b和发送机7009a的处理动作的一例的流程图。
将发送机7009a的ID、和向接收到ID的接收机7009b传递的信息建立关联而向服务器存储(7109a)。在向接收机7009b传递的信息中,也可以包括发送机7009a的位置或形状的信息。从顶棚照明等的发送机7009a发送ID(7109b)。
用户将接收机7009b向桌子等放置(7109c)。接收机7009b根据陀螺仪传感器、9轴传感器的信息,识别出接收机7009b被放置在桌子等上,开始接收处理(7109d)。接收机7009b从加速度传感器的上方判别朝向上方的照相机,使用该照相机接收ID。
将接收机7009b的照相机朝向发送机7009a,接收ID(7109e)。接收机7009b将接收到的ID向服务器发送,将与ID关联的信息向接收机7009b 存储(7109f)。接收机7009b推测接收机7009b的位置(7109g)。
接收机7009b将接收机7009b的位置向店铺管理服务器发送(7109h)。店铺管理服务器确定接收机7009b被放置的座席(7109i)。店铺管理服务器将座席号码向接收机7009b发送(7109j)。
图223是表示实施方式12的接收机和发送机的应用例的图。
例如作为顶棚照明的发送机7011a将发送机7011a的识别信息(ID) 向例如构成为智能电话的接收机7011b发送。接收机7011b如果接收到该 ID,则从服务器取得与该ID建立了对应的信息,推测(确认)自己位置。并且,如果该接收机7011b被置于电子设备7011c中,则接收机7011b作为电子设备7011c的操作终端发挥功能。由此,能够用接触面板或声音输出等的丰富的接口操作电子设备7011c。
图224是表示实施方式12的接收机7011b和发送机7011a的处理动作的一例的流程图。
将电子设备的位置向服务器存储(7110a)。也可以将电子设备的ID、型式、拥有的功能、及用于操作的界面信息(画面、输入输出声音、对话模型)与位置信息建立关联而存储。
将发送机7011a的ID、和向接收到ID的接收机7011b传递的信息建立关联,向服务器存储(7110b)。在向接收机7011b传递的信息中,也可以包括发送机7011a的位置或形状的信息。
从顶棚照明等的发送机7011a发送ID(7110c)。将接收机7011b的照相机朝向发送机7011a,将ID接收(7110d)。接收机7011b将接收到的ID 向服务器发送,将与ID关联的信息向接收机7011b存储(7110e)。接收机 7011b推测接收机7011b的位置(7110f)。
用户将接收机7011b放置到电子设备上(7110g)。接收机7011b根据陀螺仪传感器、9轴传感器的信息识别出接收机7011b静止,开始以下的处理(7110h)。接收机7011b在最后推测接收机7011b的位置起经过一定时间以上的情况下,通过上述方法推测自己位置(7110i)。
接收机7011b根据陀螺仪传感器、9轴传感器的信息,推测从最后进行自己位置推测起的移动,推测当前位置(7110j)。接收机7011b从服务器取得距当前位置最近的电子设备的信息(7110k)。接收机7011b经由 bluetooth或wifi从电子设备取得电子设备的信息(7110m)。或者取得保存在服务器中的电子设备的信息。
接收机7011b将电子设备的信息显示(7110n)。接收机7011b作为电子设备的操作终端而受理输入(7110p)。接收机7011b将电子设备的操作信息经由bluetooth或wifi向电子设备发送(7110q)。或者经由服务器向电子设备发送。
图225是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7012a的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7012b。此时,接收机7012a接收从发送机 7043b发送的发送机7043b的识别信息(ID)。接收机7043a从服务器取得与该ID建立了对应的信息。由此,接收机7012a作为处于照相机被朝向的方向的电子设备的操作终端发挥功能。即,接收机7012a通过bluetooth 或wifi等与发送机7012b无线连接。
图226是表示实施方式12的接收机7012a和发送机7012b的处理动作的一例的流程图。
将发送机7012b的ID、和向接收到ID的接收机7012a传递的信息建立关联,向服务器存储(7111a)。在向接收机7012a传递的信息中,也可以包括电子设备的ID、型式、拥有的功能、及用于操作的界面信息(画面、输入输出声音、对话模型)。
从搭载在电子设备中、或者与电子设备建立了关联的发送机7012b发送ID(7111b)。将接收机7012a的照相机朝向发送机7012b,将ID接收 (7111c)。接收机7012a将接收到的ID向服务器发送,将与ID关联的信息向接收机7012a存储(7111d)。接收机7012a以接收到的ID为键字,从服务器取得电子设备的信息(7111e)。
接收机7012a经由bluetooth或wifi从电子设备取得电子设备的信息 (7111f)。或者取得保存在服务器中的电子设备的信息。接收机7012a将电子设备的信息显示(7111g)。
接收机7012a作为电子设备的操作终端而受理输入(7111h)。接收机 7012a将电子设备的操作信息经由bluetooth或wifi向电子设备发送 (7111i)。或者经由服务器向电子设备发送。
图227是表示实施方式12的接收机和发送机的应用例的图。
例如构成为智能电话的接收机7013b受理从用户输入的目的地。并且,将该接收机7013b的照相机朝向构成为照明设备(光亮)的发送机7013a。此时,接收机7013b将从发送机7013a发送的发送机7013a的识别信息(ID) 接收。接收机7013b从服务器取得与该ID建立了对应的信息。基于该取得的信息,接收机7013b进行自己位置的推测(确认)。并且,接收机7013b 用声音等将用户向目的地导航。此外,在用户是视觉障碍者的情况下,接收机7013b将障碍物详细地向用户报告。
图228是表示实施方式12的接收机7013b和发送机7013a的处理动作的一例的流程图。
用户将目的地向接收机7013b输入(7112a)。用户将接收机7013b朝向亮光(发送机7013a)(7112b)。即使是视觉有障碍的用户,只要能够识别较强的亮光,就能够将接收机7013b朝向那里。
接收机7013b接收叠加在亮光中的信号(7112c)。接收机7013b以接收到的信号为键字,从服务器取得信息(7112d)。接收机7013b从服务器取得从当前地到目的地的地图(7112e)。接收机7013b显示地图,进行从当前地到目的地的导航(7112f)。
图229是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7014a具备前面照相机7014b。并且,接收机7014a当该前面照相机7014b的摄像方向相对于地平面朝向一定角度以上时,进行通过该前面照相机7014b的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7014a在具备前面照相机7014b以外的其他照相机的情况下,将该前面照相机7014b的优先级比其他照相机提高。
图230是表示实施方式12的接收机7014a的处理动作的一例的流程图。
判断前面照相机7014b的摄像方向相对于地平面是否朝向一定角度以上(7113a)。如果判断结果是真(是),则开始通过前面照相机7014b的接收(7113b)。或者,提高由前面照相机7014b进行的接收处理的优先级。并且,如果经过一定时间(7113c),则结束由前面照相机7014b进行的接收(7113d)。或者,将由前面照相机7014b进行的接收处理的优先级降低。
图231是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7015a具备外照相机(out cemera)7015b。并且,接收机7014a当该外照相机7015b的摄像方向的相对于地平面的角度为一定角度以下时,进行通过该外照相机7015b的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机 7015a在还具备外照相机7015b以外的其他照相机的情况下,将该外照相机 7015b的优先级比其他照相机提高。
另外,当外照相机7015b的摄像方向的相对于地平面的角度为一定角度以下时,接收机7015a是被纵置的状态,接收机7015a的具备外照相机 7015b的面的相对于地平面的角度为一定角度以上。
图232是表示实施方式12的接收机7015a的处理动作的一例的流程图。
判断外照相机7015b的摄像方向相对于地平面是否是一定角度以下 (7114a)。如果判断结果是真(是),则开始由外照相机7015b进行的接收(7114b)。或者,将由外照相机7015b进行的接收处理的优先级提高。并且,如果经过一定时间(7114c),则结束由外照相机7015b进行的接收(7114d)。或者,将由外照相机7015b进行的接收处理的优先级降低。
图233是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7016a具备外照相机。并且,接收机7016a在被向该外照相机的摄像方向移动(突出)时,进行通过该外照相机的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,在接收机7016a还具备外照相机以外的其他照相机的情况下,将该外照相机的优先级比其他照相机提高。
另外,当被向外照相机的摄像方向移动时,移动方向与(移动结束时点的)摄像方向之间的角度为一定角度以下。
图234是表示实施方式12的接收机7016a的处理动作的一例的流程图。
将接收机7016a移动,判断移动方向与移动结束时点的外照相机的摄像方向是否是一定角度以下(7115a)。如果判断结果是真(是),则开始由外照相机进行的接收(7115b)。或者,将由外照相机进行的接收处理的优先级提高。并且,如果经过一定时间(7115c),则结束由外照相机进行的接收(7115d)。或者,将由外照相机进行的接收处理的优先级降低。
图235是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7017a具备规定的照相机。并且,接收机7017a当进行了与规定的照相机对应的显示器操作或专用按钮的按下时,进行通过该规定的照相机的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7017a在也具备规定的照相机以外的其他照相机的情况下,将该规定的照相机的优先级比其他照相机提高。
图236是表示实施方式12的接收机7017a的处理动作的一例的流程图。
判断是否对接收机7017a进行了显示器操作或专用按钮的按下 (7115h)。如果判断结果是真(是),则开始与显示器操作或专用按钮的按下对应的通过照相机的接收(7115i)。或者,将由该照相机进行的接收处理的优先级提高。并且,如果经过一定时间(7115j),则结束与显示器操作或专用按钮的按下对应的由照相机进行的接收(7115k)。或者,将由该照相机进行的接收处理的优先级降低。
图237是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机(终端)7018a具备前面照相机(face camera)7018b。并且,接收机7018a当该前面照相机7018b的摄像方向相对于地平面朝向一定角度以上、并且接收机7014a沿着相对于地平面处于一定角度以下的方向移动时,进行通过该前面照相机7018b进行的信号接收的处理(将来自发送机的信号通过摄像接收的处理)。此外,接收机7018a 在还具备前面照相机7018b以外的其他照相机的情况下,将该前面照相机7018b的优先级比其他照相机提高。
图238是表示实施方式12的接收机7018a的处理动作的一例的流程图。
将前面照相机7018b的摄像方向相对于地平面朝向一定角度以上,判断是否相对于地平面以一定角度以下平行移动(7116a)。如果判断结果是真(是),则开始由前面照相机7018b进行的接收(7116b)。或者,将由前面照相机7018b进行的接收处理的优先级提高。并且,如果经过一定时间 (7116c),则将由前面照相机7018b进行的接收结束(7116d)。或者,将由前面照相机7018b进行的接收处理的优先级降低。
图239是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7019b的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7019a。此时,接收机7019b将从发送机 7019a(发送机7019a的显示器)发送的、视听中的频道的识别信息(ID) 接收。接收机7019b从服务器取得与该ID建立了对应的信息。由此,接收机7019b将电视节目的关联商品的购买页、或电视节目的关联信息显示。此外,接收机7019b通过投票或应召到现场而参加电视节目。另外,发送机(TV)7019a也可以具备存储有用户的住址的住址存储部,向存储在该住址存储部中的住址发送关联的信息。接收机7019b通过将接收到的ID和接收到ID的时刻向服务器发送,能够将从ID接收到服务器访问的延迟的影响去除而从服务器取得数据。发送机7019a也可以从内置时钟或广播波取得时刻信息或根据时刻变化的ID并发送。由此,能够不依存于接收机的时刻设定而将广播者设定的数据从服务器向接收机发送。
图240是表示实施方式12的接收机和发送机的应用例的图。
发送机7019a及接收机7019b如图240(a)所示,也可以直接收发为了实现图239所示的应用例而需要的信息。
此外,如图240(b)所示,发送机7019a将视听中的频道的ID向接收机7019b发送。接收机7019b从服务器取得与该ID建立了对应的信息、即为了实现图239所示的应用例而需要的信息。
此外,如图240(c)所示,发送机7019a也可以将在发送机(TV)7019a 的ID或无线连接中需要的信息向接收机7019b发送。在此情况下,接收机 7019b接收该ID或信息,基于该ID或信息,对发送机7019a或记录机询问视听中的频道。进而,接收机7019b从服务器取得通过询问得到的关于频道的信息,即实现图239所示的应用例而需要的信息。
例如,发送机7019a作为Wi-Fi或Bluetooth(注册商标)等的无线连接所需要的信息而发送SSID(Service Set Identifier)、口令、IP地址或设备ID等。接收到这样的信息的接收机7019b基于该信息与发送机7019a 进行无线连接。并且,接收机7019b通过无线连接,从发送机7019a取得正被用户视听的节目的信息,将该节目的信息向服务器发送。服务器如果接收到该节目的信息,则将与该节目的信息建立了关联而保持的内容向接收机7019b发送。接收机7019b如果取得从服务器发送的内容,则将该内容显示。
图241是表示实施方式12的接收机和发送机的应用例的图。
发送机7019a也可以具备TV2021b和记录机2021a。在该发送机7019a 中,记录机2021a在录像时将录像的频道的识别信息(ID)及录像时刻保持。或者,记录机2021a从服务器取得并保持与录像的频道的识别信息(ID) 及录像时刻建立了对应的信息。并且,在再现时,TV2021b将保存在该记录机2021a中的信息的一部分或全部向接收机7019b发送。此外,TV2021b 和记录机2021a的至少一方也可以进行服务器的作用。当记录机2021a进行服务器的作用时,记录机2021a将服务器的地址替换为记录机2021a的地址,将该地址从TV202b向接收机7019b发送。
图242是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7022c的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7022b。此时,接收机7022c将从发送机 7022b(发送机7022b的显示器)发送的信息接收。接收机7022c基于该信息与发送机7022b进行无线通信。这里,发送机7022b当从服务器7022a 取得包括向接收机7022c显示的图像等的信息并向接收机7022c发送时,将在该信息中包含的服务器7022a的地址替换为发送机7022b的地址。
图243是表示实施方式12的接收机和发送机的应用例的图。
例如记录机7023b在电视节目的录像时,将实现图239所示的应用例而需要的信息从服务器7023a一起取得。
在电视节目的再现时,记录机7023b将再现画面、和为了实现图239 所示的应用例而需要的信息向作为发送机的电视机7023c发送。电视机 7023c接收该再现画面和信息,显示再现图像并将该信息从显示器发送。例如构成为智能电话的接收机7023d如果接收到该信息,则基于该信息与电视机7023c进行无线通信。
或者,在电视节目的再现时,记录机7023b将再现画面、和记录机7023b 的地址等的为了进行无线通信而需要的信息向作为发送机的电视机7023c 发送。电视机7023c接收该再现画面和信息,显示再现图像并将该信息从显示器发送。例如构成为智能电话的接收机7023d如果接收到该信息,则基于该信息与记录机7023b进行无线通信。
图244是表示实施方式12的接收机和发送机的应用例的图。
将例如构成为智能电话的接收机7045a的照相机朝向构成为电视受像机(TV)等的电子设备的发送机7045b。发送机7045b显示歌曲节目等的电视节目的影像,并从显示器发送信息。此时,接收机7045a接收从发送机7045b(发送机7045b的显示器)发送的信息。并且,接收机7045a基于该信息,显示提示在该歌曲节目中视听的歌曲的购买的画面7045c。
图245是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图与图239~图244所示的应用例对应。
搭载在电视机或录像机等中的发送机从服务器作为与放映中的节目关联的信息而取得想要向接收机传递的信息(7117a)。发送机将信号叠加到显示器的背灯中而发送(7117b)。在发送的信号中,也可以包括发送机的 URL、发送机的SSID、或用来向发送机访问的口令。
图246是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图与图239~图244所示的应用例对应。
接收机从显示器接收信息(7118a)。判断在接收到的信息中是否包含视听中的频道信息(7118b)。如果其判断结果是假(否),则从具有接收到的信息中包含的ID的电子设备取得视听中的频道信息(7118c)。
另一方面,如果上述判断结果是真(是),则从服务器取得与视听中的画面关联的信息(7118d)。电视机及录像机也可以发挥服务器的作用。接收机将从服务器取得的信息显示(7118e)。接收机基于保存在接收机或服务器中的用户简况调整显示内容(7118f)。例如,进行变更字符的大小、将年龄限制内容不显示、或将根据过去的用户的行动推测为喜欢的内容优先地显示等的控制。
图247是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图与图239~图244所示的应用例对应。
录像机在节目录像的同时,从服务器取得与节目关联的信息并保存 (7119a)。在关联的信息随着时刻而变化的情况下,将该时刻也一起保存。
录像机在将录像的图像再现时,将上述保存的信息向显示器发送 (7119b)。也可以将上述保存的信息中的上述服务器的访问信息(URL或口令)替换为显示器的访问信息。
录像机在将录像的图像再现时,将上述保存的信息向接收机发送 (7119c)。也可以将上述保存的信息中的上述服务器的访问信息(URL或口令)替换为录像机的访问信息。
图248是表示实施方式12的发送机的亮度变化的图。
发送机通过使从亮度急剧上升时到下次亮度急剧上升时之间的时间的长度按照代码(0或1)不同,将向接收机发送的信息编码。由此,能够不改变发送的信息的内容,而通过PWM(Pulse Width Modulation)控制进行人感觉的明亮程度的调节。另外,亮度的波形也可以不是正确的矩形波。
图249是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示伴随着图248所示的亮度变化的与发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7120a)。计测从之前亮度急剧上升到下次亮度急剧上升的时间(7120b)。或者计测从之前亮度急剧下降到下次亮度急剧下降的时间。通过上述时间识别信号的值(7120c)。例如,当上述时间为300微秒以下时识别为0,当以上时识别为1。
图250是表示实施方式12的发送机的亮度变化的图。
发送机通过使表示亮度的增减的波长变化,表现向接收机发送的信息的开始点。或者,发送机通过使其波长变化,在1个信息中叠加别的信息。
图251是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示伴随着图250所示的亮度变化的与发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7121a)。求出亮度急剧变化的期间的时间幅度的最低值(7121b)。寻找不是上述最低值的整数倍的亮度变化幅度(7121c)。以不是上述整数倍的亮度变化幅度为信号的开始点,将信号解析(7121d)。求出具有不是上述整数倍的亮度变化幅度的部分间的时间幅度(7121e)。
图252是表示实施方式12的发送机的亮度变化的图。
发送机通过以比接收机的曝光时间短的间隔使亮度变化,能够调整在人的眼睛中看到的明亮程度。此外,能够将随着时间经过而积累的亮度变化复位。
图253是表示实施方式12的发送机的处理动作的一例的流程图。另外,该流程图表示伴随着图252所示的亮度变化的与发送机对应的接收机的处理动作。
当亮度或控制亮度的电流低于一定值时,以相比接收机的曝光时间足够短的时间幅度进行电流的关闭开启(S7125a)。由此,使电流回到初始值,能够防止发光部的亮度下降。此外,当亮度或控制亮度的电流高于一定值时,相比接收机的曝光时间足够短的时间幅度进行电流的开启关闭 (S7125b)。由此,使电流回到初始值,能够防止发光部的亮度上升。
图254是表示实施方式12的发送机的亮度变化的图。
发送机通过使亮度的载波频率不同,表现不同的信号(信息)。接收机能够将载波频率在比信号内容早的时点识别。因而,使载波频率不同,适合于表现发送机的ID等应优先识别的内容。
图255是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示与伴随着图254所示的亮度变化的发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7122a)。求出亮度急剧变化的期间的时间幅度的最低值(7122b)。将上述最低值识别为载波频率(7122c)。以载波频率为键字,从服务器取得信息(7122d)。
图256是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图表示伴随着图254所示的亮度变化的与发送机对应的接收机的处理动作。
接收机观测发送机发出的光的亮度(7123a)。将亮度变化进行傅立叶变换,将最大成分识别为载波频率(7123b)。以载波频率为键字,从服务器取得信息(7123c)。
图257是表示实施方式12的发送机的处理动作的一例的流程图。另外,该流程图表示伴随着图254所示的亮度变化的发送机的处理动作。
将发送信号表现为亮度变化(7124a)。制作以将亮度变化进行傅立叶变换后的最大成分为载波频率那样的亮度变化(7124b)。如制作出的亮度变化那样使发光部发光(7124c)。
图258是表示实施方式12的发送机的结构例的图。
发送机7028a具有发送信号A的部分7028b、发送信号B的部分7028d、和发送信号C的部分7028f。这样,通过沿着接收机的摄像部(照相机)同时曝光的方向具有发送相互不同的信号的部分,接收机能够同时接收多个信号。另外,在各个部分7028b、7028d、7028f之间,也可以设置不发出信号的部分、或者发出特别的缓冲部分7028c、7028e。
图259是表示实施方式12的发送机的结构例的图。另外,基于该发送机的结构的发光的方式是将基于图258所示的结构的发光的方式发展来的。
在发送机中,也可以将图258所示的发送各信号的部分7029a分别如图259所示那样配置。由此,在将接收机倾斜的情况下,接收机的摄像部 (照相机)也能够将信号A、B及C的许多部分同时接收(摄像)。
图260是表示实施方式12的发送机的结构例的图。另外,基于该发送机的结构的发光的方式是将基于图258所示的结构的发光的方式发展来的。
发送机的圆形的发光部具备排列为同心圆状的、发送各信号的多个圆环状的部分7030a、7030b、7030c。部分7030a发送信号C,部分7030b发送信号B,部分7030c发送信号A。这样,在发送机的发光部为圆形的情况下,通过如上述那样将发送各信号的部分排列,接收机能够将从各部分发出的信号A、B及C的许多部分同时接收(摄像)。
图261是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图表示具备图258~图260的任一个所示的发光装置的发送机和接收机的处理动作。
接收机计测同时受光的行的各自的位置的亮度(7126a)。通过在与同时受光行垂直方向上将分别发送的信号接收,能够高速地接收信号 (7126b)。
图262是表示由实施方式12的接收机和发送机进行的显示和摄影的例子的图。
发送机将在与接收机的受像部(照相机)同时曝光的方向垂直的方向上构成为均匀的图像的多个一维条码分别作为帧1(7031a)、帧2(7031b) 及帧3(7031c)依次显示。另外,一维条码由沿着与上述同时曝光的方向垂直的方向的线(棒)构成。接收机通过将由发送机显示的图像如上述各实施方式那样摄像,取得帧1(7031d)及帧2(7031e)。接收机通过在一维条码的棒中断的部分将一维条码分割,能够依次识别被连续显示的一维条码。在此情况下,不需要使通过发送机的显示与通过接收机的摄像的定时同步,接收机能够将由发送机显示的内容全部识别。此外,由发送机进行的显示的帧速率也可以比由接收机进行的摄像的帧速率快。但是,由发送机进行的显示的1帧的显示时间需要比由接收机摄像的帧间的空白时间长。
图263是表示实施方式12的发送机的处理动作的一例的流程图。另外,该流程图表示进行图262所示的显示的发送机具备的显示装置的处理动作。
显示装置将一维条码显示(7127a)。显示装置以比接收机的摄像的空白时间长的间隔使条码显示变化(7127b)。
图264是表示实施方式12的接收机的处理动作的一例的流程图。另外,该流程图进行进行图262所示的摄影的接收机的处理动作。
接收机将显示在显示装置上的一维条码摄影(7128a)。在条码的行中断的地方,显示装置识别为显示下个条码(7128b)。通过该方法,即使不进行显示与摄像的同步,接收机也能够接收全部的显示内容。此外,还能够接收以比接收机的摄像帧速率快的帧速率显示的信号。
图265是表示实施方式12的接收机和发送机的应用例的图。
例如作为照明设备的发送机7032a将发送机7032a的加密的识别信息 (ID)发送。例如构成为智能电话的接收机7032b如果接收到该加密的ID,则将该加密的ID向服务器7032c发送。服务器7032c如果接收到该加密的 ID,则将该加密的ID解密。或者,接收机7032b如果接收到该加密的ID,则将该加密的ID解密,向服务器7032c发送。
图266是表示实施方式12的接收机7032b和发送机7032a的处理动作的一例的流程图。
发送机7032a保持一部分或全部被加密的信息(7129a)。接收机7032b 将从发送机7032a发送的该信息接收,将接收到的信息解密(7129b)。或者,接收机7032b将加密的状态的信息向服务器7032c发送。在将加密的状态的信息发送的情况下,服务器7032c将该加密的状态的信息解密 (7129c)。
图267是表示实施方式12的接收机的状态的图。
用户为了打电话,将例如构成为智能电话的接收机7033a贴在耳朵上。此时,装备在接收机7033a的扬声器附近的照度传感器检测表示较低的照度的照度值。结果,接收机7033a将接收机7033a的状态推测为通话中,停止来自发送机的信息的接收。
图268是表示实施方式12的接收机7033a的处理动作的一例的流程图。
接收机7033a根据照度传感器的传感器值等判断是否推测为通话中 (7130a)。在该判断结果是真(是)的情况下,接收机7033a将由前面照相机进行的接收结束(7130b)。或者,接收机7033a将由前面照相机进行的接收处理的优先级降低。
图269是表示实施方式12的接收机的状态的图。
例如构成为智能电话的接收机7034a在作为用来将来自发送机的信息接收(摄像)的摄像装置的照相机(例如前面照相机)附近具备照度传感器7034b。如果由该照度传感器7034b检测到一定值以下的表示较低的照度的照度值,则接收机7034a将来自发送机的信息的接收中止。或者,在接收机7034a具备其他照相机的情况下,将该照度传感器7034b附近的照相机(例如前面照相机)的优先级比其他照相机降低。
图270是表示实施方式12的接收机7034a处理动作的一例的流程图。
接收机7034a判断照度传感器7034b的传感器值是否是一定值以下 (7131a)。在该判断结果是真(是)的情况下,接收机7034a将由前面照相机进行的接收结束(7131b)。或者,接收机7034a将由前面照相机进行的接收处理的优先级降低。
图271是表示实施方式12的接收机的处理动作的一例的流程图。
接收机根据照度传感器的传感器值计测照度变化(7132a)。以用摄像装置(照相机)计测亮度变化而接收信号的方式,接收机根据照度值的变化接收信号(7132b)。由于照度传感器比摄像装置便宜,所以能够将接收机便宜地制造。
图272是表示实施方式12的发送机的波长的一例的图。
发送机如图272的(a)及(b)所示,通过输出同色异谱的光7037a、 7037b,表现向接收机发送的信息。
图273是表示实施方式12的接收机和发送机的处理动作的一例的流程图。另外,该流程图表示输出图272所示的波长的光的发送机和接收机的处理动作。
发送机将对人而言识别为等色但分光分布不同的光(同色异谱的光) 用不同的信号表现,使发光部发光(7135a)。接收机计测分光分布而接收信号(7135b)。根据该方式,能够不注意到闪变而发送信号。
图274是表示实施方式12的包括接收机和发送机的系统的结构例的图。
该系统具备ID解决服务器7038a、中继服务器7038b、接收机7038c、发送机7038d及发送机侧控制装置7038e。
图275是表示实施方式12的系统的处理动作的一例的流程图。
ID解决服务器7038a将发送机7038d的ID、和发送机侧控制装置7038e 与接收机7038c通信的方法建立关联而存储(7136a)。接收机7038c接收发送机7038d的ID,从ID解决服务器7038a取得与发送机侧控制装置7038e 的通信方法(7136b)。接收机7038c判断接收机7038c和发送侧控制装置 7038e是否能够直接通信(7136c)。在其判断结果为假(否)的情况下,接收机7038c经由中继服务器7038b与发送侧控制装置7038e通信(7136d)。另一方面,在其判断结果为真(是)的情况下,接收机7038c与发送侧控制装置7038e直接通信(7136e)。
图276是表示实施方式12的包括接收机和发送机的系统的结构例的图。
该系统具备服务器7039g、店铺侧设备7039a及便携设备7039b。店铺侧设备7039a具备发送机7039c和摄像部7039d。便携设备7039b具备接收机7039e和显示部7039f。
图277是表示实施方式12的系统的处理动作的一例的流程图。
便携设备7039b在显示部7039f上以二维条码等的形式显示信息 (7137a)。店铺侧设备7039a将显示在显示部7039f上的内容用摄像部7039d 摄像,取得信息(7137b)。店铺侧设备7039a将某些信息从发送机7039c 发送(7137c)。
便携设备7039b将发送的信息用接收机7039e接收(7137d)。便携设备7039b基于接收到的信息使显示部7039f的显示内容变化(7137e)。向显示部7039f显示的内容既可以由便携设备7039b决定,也可以由服务器 7039g基于接收到的内容决定。
店铺侧设备7039a将显示在显示部7039f上的内容用摄像部7039d摄像,取得信息(7137f)。店铺侧设备7039a判断所取得的信息与发送的信息的一致性(7137g)。该判断既可以由店铺侧设备7039a进行,也可以由服务器7039g进行。在一致的情况下,正常地完成交易(7137h)。
通过该方法,能够防止将显示在显示部7039f上的赠券信息复制而不正当地使用。此外,还可以通过该方法进行加密密钥交换。
图278是表示实施方式12的接收机的处理动作的一例的流程图。
接收机开始接收处理(7138a)。接收机设定摄像装置的曝光时间 (7138b)。接收机设定摄像装置的增益(7138c)。接收机根据摄像图像的亮度接收信息(7138d)。
图279是表示实施方式12的接收机的处理动作的一例的流程图。
设定曝光时间(7139a)。判断是否存在使曝光时间变化的API (ApplicationProgram Interface)(7139b)。在该判断结果是假(否)的情况下,将摄像装置朝向光源等亮度较高的物体(7139c)。进行自动曝光设定(7139d)。如果自动曝光设定值的变化足够小,则将曝光设定值固定 (7139e)。
另一方面,在上述判断结果是真(是)的情况下,利用API开始曝光时间的设定(7139f)。
图280是表示实施方式12的包括接收机和发送机的系统的结构例的图。
该系统具备服务器7036a、接收机7036b及至少1个发送机7036c。接收机7036b从服务器取得关于存在于接收机7036b的附近的至少1个发送机7036c的信息。
图281是表示实施方式12的接收机的处理动作的一例的流程图。
接收机7036b根据GPS及基站等的信息进行自己位置推测(7133a)。接收机7036b将推测出的自己位置和推测误差范围向服务器7036a发送 (7133b)。接收机7036b从服务器7036a取得存在于接收机7036b的位置附近的发送机7036c的ID、和与该ID建立了关联的信息并存储(7133c)。接收机7036b从发送机7036c接收ID(7133d)。
接收机7036b判断是否存储有与接收到的ID建立了关联的信息 (7133e)。在其判断结果为假(否)的情况下,接收机7036b以接收到的ID 为键字,从服务器7036a取得信息(7133f)。接收机7036b根据从服务器7036a接收到的信息和发送机7036bc的位置关系进行自己位置推测,从服务器7036a取得附近的其他发送机7036c的ID、和与该ID建立了关联的信息并存储(7133g)。
在上述步骤7133e中判断为真(是)的后,或者进行上述步骤7133g 后,接收机7036b将与接收到的ID建立了关联的信息显示(7133h)。
图282是表示实施方式12的接收机和发送机的应用例的图。
在建筑物a(7040a)中,配设有例如构成为照明设备的发送机7040c 及7040d,在建筑物b(7040b)中,配设有例如构成为照明设备的发送机 7040e及7040f。发送机7040c及7040e发送信号A,发送机7040d及7040f 发送信号B。例如构成为智能电话的接收机(终端)7040g接收从某个发送机发送的信号。
图283是表示实施方式12的接收机的处理动作的一例的流程图。
接收机7040g检测进入到建筑物中的情况(7134a)。接收机7040g将推测出的自己位置、推测误差范围、和推测为接收机7040g存在的建筑物的名称等向服务器发送(7134b)。接收机7040g从服务器取得在接收机 7040g存在的建筑物中存在的发送机的ID、和与该ID建立了关联的信息并存储(7134c)。接收机7040g从发送机接收ID(7134d)。
接收机7040g判断是否存在与接收到的ID建立了关联的信息(7134e)。在其判断结果是假(否)的情况下,接收机7040g以接收到的ID为键字,从服务器取得信息(7134f)。接收机7040g从服务器取得在与接收到ID的发送机存在的建筑物相同的建筑物内存在的其他发送机的ID、和与该ID 建立了关联的信息(7134g)。
在上述步骤7134e中判断为真(是)后,或者在进行步骤S7134g后,接收机7040g显示与接收到的ID建立了关联的信息(7134h)。
图284是表示实施方式12的包括接收机和发送机的系统的结构例的图。
例如构成为照明设备的发送机7041a发送信号A,发送机7041b发送信号B,发送机7041c发送信号C,发送机7041d发送信号B。例如构成为智能电话的接收机(终端)7041e接收从某个发送机发送的信号。这里,在基于GPS或基站等的信息(其他手段)推测的接收机7041e的自己位置的误差范围中,有发送机7041a、7041b、7041c。
图285是表示实施方式12的系统的处理动作的一例的流程图。
接收机7041e从发送机接收ID(7140a)。接收机7041e进行自己位置推测(7140b)。接收机7041e判断自己位置推测是否成功(7140c)。在其判断结果是假(否)的情况下,接收机7041e将地图及输入表格显示,使用户输入当前位置(7140d)。
接收机7041e将接收到的ID、推测出的自己位置、和自己位置推测的误差范围向服务器发送(7140e)。
服务器判断从接收机7041e的推测自己位置在推测误差范围(推测误差半径)以内是否仅存在一个发送接收机7041e接收到的ID的发送机 (7140f)。在其判断结果是假(否)的情况下,接收机7041e将从步骤7140d 起的处理重复执行。另一方面,在其判断结果是真(是)的情况下,服务器将与该发送机建立了关联的信息向接收机7041e发送(7140g)。
图286是表示实施方式12的接收机的处理动作的一例的流程图。
首先,接收机检测发出了信号的发光装置(发送机)(7141a),接收信号(7141b)。并且,接收机将接收状况、已接收数据量、发送数据量、对于发送数据量的已接收数据量的比例(7141c)。
接着,接收机确认是否已将发送数据全部接收(7141d)。在确认了已接收的情况下(7141d的是),接收机将接收处理中止(7141e),进行接收完成的显示(7141f)。进而,接收机响起通知音(7141g),进行振动(7141h)。
在步骤7141d中,在确认了没有接收的情况下(7141d的否),接收机确认是否在由接收机的摄像装置(照相机)得到的影像中从发送机离开屏幕(frame)起经过了一定时间(7141i)。这里,在确认经过了一定时间的情况下(7141i的是),接收机将已接收数据丢弃,将接收处理停止(7141m)。进而,接收机响起通知音(7141n),进行振动(7141p)。
在步骤7141i中,在确认了没有经过一定时间的情况下(7141i的否),接收机确认由接收机的9轴传感器得到的传感器值是否以一定值以上的大小变化了,或者是否能够推测出将接收机朝向了别的方向(7141j)。这里,如果确认了以一定值以上的大小变化、或者能够推测出朝向了别的方向 (7141i的是),则进行上述步骤7141m以后的处理。
另一方面,如果确认了没有以一定值以上的大小变化,或者不能推测为朝向了别的方向(7141i的否),接收机确认是否接收机的9轴传感器的传感器值以一定的节奏变化了、或者能够推测出接收机被晃动(7141k)。这里,如果确认以一定的节奏变化了、或者能够推测出被晃动,则接收机进行上述步骤7141m以后的处理。另一方面,如果确认没有以一定的节奏变化、或者不能推测出被晃动(7141k的否),则接收机将从步骤7141b起的处理重复执行。
图287A是表示实施方式12的发送机的结构的一例的图。
发送机7046a具备发光部7046b、二维条码7046c和NFC芯片7046d。发光部7046b将与二维条码7046c及NFC芯片7046d的至少一方共通的信息通过上述各实施方式的方法发送。或者,发光部7046b也可以将与二维条码7046c及NFC芯片7046d的至少一方不同的信息通过上述各实施方式的方法发送。在此情况下,接收机也可以以从发光部7046b发送的信息的内容为键字,从服务器取得与二维条码7046c及NFC芯片7046d的至少一方共通的信息。此外,接收机也可以在从发光部7046b接收信息的情况、和从二维条码7046c及NFC芯片7046d的至少一方接收信息的情况中进行共通的处理。在上述哪种情况下,接收机对共通的服务器访问,显示共通的信息。
图287B是表示实施方式12的发送机的结构的另一例的图。
发送机7046e具备发光部7046f,使其发光部7046f显示二维条码 7046g。即,该发光部7046f兼具备图287A所示的发光部7046b及二维条码7046c的各自的功能。
这里,发光部7046b、7046f也可以通过发送表示发光部7046b、7046f 的大小的信息,使接收机推测从接收机到发送机7046a、7046e的距离。由此,接收机能够将二维条码7046c、7046g更简单或鲜明地摄影。
图288是表示实施方式12的接收机和发送机7046a、7046e的处理动作的一例的流程图。另外,以下举发送机7046a及发送机7046e中的发送机7046a为例说明,但发送机7046e的处理动作也与发送机7046a的处理动作相同。
发送机7046a发送表示发光部7046b的大小的信息(步骤7142a)。另外,将发光部7046b的任意的2点间的距离的最大值作为发光部7046b的大小。另外,该一系列的处理由于速度较重要,所以优选的是,发送机7046a 将表示发送机7046a的发光部7046b的大小的信息直接发送,接收机不经由服务器通信而取得表示该大小的信息。此外,优选的是通过能够将发送机7046a的明暗变化的频率等迅速接收的方法发送。
接着,接收机接收作为上述信息的信号,取得发送机7046a的发光部 7046b的大小(步骤7142b)。并且,接收机基于发光部7046b的大小、摄像的发光部7046b的图像的大小、和接收机的摄像部(照相机)的特性,计算从接收机到发光部7046b的距离(步骤7142c)。接着,接收机将摄像部的焦点距离匹配于计算出的距离而摄影(步骤7142d)。接收机在将二维条码摄影的情况下取得其内容(步骤7142e)。
(实施方式13)
在本实施方式中,对使用上述实施方式1~12的智能电话等的接收机、和作为LED或有机EL的闪烁样式而发送信息的发送机的各应用例进行说明。
图289是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7201a中,发送机发出特定的频率的声音或以特定的样式变化的声音(该频率例如是2kHz到20kHz等,优选的是人难以听到、用一般的集音器能够集音的频率的声音。此外,由于一般的集音器的采样频率是 44.1kHz左右,所以通过采样定理,虽然仅能够正确地识别到其一半的频率,但只要知道发送信号,就能够高精度地推测是否将该信号集音。所以,利用该性质,也可以利用20kHz以上的频率的信号)。
在步骤7201b中,用户按下接收机的按钮,从电源断开状态或休眠状态成为电源开启状态。在步骤7201c中,接收机将集音部起动。在步骤7201d 中,接收机将发送机发出的声音集音。在步骤7201e中,接收机将在附近存在发送机的情况通过在画面上显示、或响起声音、或振动而向用户通知。在步骤7201f中,接收机开始接收并结束。
图290是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7202a中,用户按下接收机的按钮,从电源断开状态或休眠状态成为电源开启状态。在步骤7202b中,接收机将照度传感器起动。在步骤7202c中,接收机从照度传感器识别照度的变化。在步骤7202d中,接收机从照度传感器接收发送信号。在步骤7202e中,接收机将在附近存在发送机的情况通过在画面上显示、或响起声音、或振动而向用户通知。在步骤7202f中,接收机开始接收并结束。
图291是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7203a中,用户操作接收机,使其开始接收。或者,以某种触发事件,接收机自动地开始接收。在步骤7203b中,使画面整体的平均亮度或亮度最大点的亮度较明亮的摄像部优先地接收并结束。
图292是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7204a中,摄像部通过在同时摄像行或像素中不进行发送机没有拍摄的同时摄像行或像素的摄像,将发送机拍摄的同时摄像行或像素高速地摄影。在步骤7204b中,接收机用陀螺仪或9轴传感器检测接收机的运动或手抖动,通过电子修正调整以使发送机总是拍摄,并结束。
图293是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
在步骤7205a中,接收机显示二维条码A。在步骤7205b中,发送机将二维条码A读取。在步骤7205c中,发送机发送显示变更命令。在步骤7205d 中,接收机显示二维条码B。在步骤7205e中,发送机将二维条码B读取并结束。
图294是表示实施方式13的发送机的应用例的图。
发送机7211a具备表示是发送机的标记7211b。人不能将发送信号与通常的光区别,但由此能够识别出7211a是发送机。同样,发送机7211c具备表示是发送机的标记7211d。同样,发送机7211e仅在发送信号的期间中,显示表示是发送机的标记7211f。
图295是表示实施方式13的发送机的应用例的图。
电视机等的发送机7212a使背灯或画面7212b的亮度变化而发送信号。电视机等的发送机7212c使画面以外的部分、例如边框7212d或图标标记等的亮度变化而发送信号。
图296是表示实施方式13的发送机的应用例的图。
电视机等的发送机7213a在画面7213b上显示紧急新闻或屏上显示 7213c时发送信号。此外,7213c通过对暗色的字符设为亮色的背景、在画面的横向上较大地显示,能够使接收机容易接收信号。
图297是表示实施方式13的发送机和接收机的应用例的图。
当用户进行了接收机或电视机等的遥控器7214a的操作时,从7214a 向发送机7214b发送开始信号,发送机7214b在接受到开始信号后的一定时间中发送信号。发送机7214b显示表示是发送中的显示7214c。由此,即使在电视机本来的显示较暗的情况下,接收机也容易接收信号。显示7214c 的明亮的部分越多、在横向越宽,接收机越容易接收信号。
另外,发送机7214b也可以与显示电视的影像的区域另外地具备用于信号发送的区域7214c。另外,发送机7214b也可以将用户的运动及遥控器 7214a的运动用照相机7214d或麦克风7214e识别而开始信号发送。
图298是表示实施方式13的发送机和接收机的应用例的图。
发送机7215a、7215b将发送机的ID号码发送。发送机的ID既可以是完全唯一的,也可以是在地域内、建筑物内或房间内唯一的ID。在后者的情况下,优选的是使得在几十m以内不存在相同ID。接收机7215c将接收到的ID向服务器7215d发送。也可以向服务器同时发送由GPS等的位置传感器识别的7215c的位置信息、7215c的终端ID或用户ID、会话ID等同时发送。
数据库7215e与发送机发送的ID建立关联,保持别的ID、发送机的位置信息(纬度、经度、高度、房间号码)、发送机的型号、形状或大小、字符、图像、影像或音乐等的内容、使接收机执行的命令或程序、其他服务器的URL、发送机的所有者信息、ID的登记日或有效期限等。
服务器7215d将与接收到的ID建立了关联的信息从数据库读出,向接收机7215c发送。接收机7215c进行将接收到的信息显示、基于接收到的信息向别的服务器访问、或执行接收到的命令等的处理。
图299是表示实施方式13的发送机和接收机的应用例的图。
与图298的情况同样,发送机7216a、7216b将发送机的ID1发送。接收机7216c将接收到的ID1向服务器A7216d发送。服务器A将与ID1建立了关联的ID2和用来向别的服务器B访问的信息(URL或口令等)发送。接收机7216c将ID2向服务器B7216f发送。服务器B7216f将与ID2建立了关联的信息向接收机7216c发送、或进行与ID2建立了关联的处理。
图300是表示实施方式13的发送机和接收机的应用例的图。
与图298的情况同样,发送机7217a、7217b将发送机的ID1发送。接收机7217c将接收到的ID1向服务器A7217d发送。服务器A将与ID1建立了关联的信息、和随机生成的密钥信息向服务器B发送。密钥信息也可以由服务器B生成并向服务器A发送。服务器A向接收机发送密钥信息、和用来向服务器B访问的信息(URL或口令等)。接收机7217c将密钥信息向服务器B7217f发送。服务器B7217f将与ID2建立了关联的信息向接收机 7217c发送,进行与ID2建立了关联的处理。
图301A是表示实施方式13的发送信号的例子的图。
信号由头部7218a、数据部7218b、填充部7218c、数据结尾部7218e 构成。信号将相同的数据在1/15秒间反复发送。由此,在仅接收到信号的 1部分的情况下,也能够将信号解码。接收机从接收到的信号中提取头部,将两个头部之间的部分作为数据部将数据解码。如果使1帧的数据部变短,则即使是在接收机的摄像部中将发送机拍摄得较小的情况也能够解码,如果使数据部变长,则能够使通信速度变快。通过将相同的数据在1/15秒中重复,用在1秒间摄影30帧的接收机,即使有空白,也能够可靠地将数据部的信号摄像。此外,由于通过相邻的某个帧接收相同的信号,所以能够用于接收结果的确认。此外,在通过其他应用的动作而没有进行不连续的帧的处理的情况下,或者通过在1秒间仅能够摄影15帧的接收机,也能够接收信号。此外,由于越接近于头部则越容易接收数据,所以也可以向距头部较近的部分配置重要度较高的数据。
图301B是表示实施方式13的发送信号的另一例的图。
信号与图301A的例子同样,由头部7218a、数据部7218b、填充部7218c、数据结尾(End of Data)部7218e构成。信号将相同的数据在1/30秒间反复发送。由此,即使在仅接收到信号的一部分的情况下,也能够将信号解码。如果使数据部变短,则即使在接收机的摄像部中较小地拍摄有发送机的情况下也能够解码,如果使数据部变长,则能够使通信速度变快。通过将相同的数据在1/30秒间重复,用在1秒间摄影30帧的接收机,即使有空白也能够可靠地将数据部的信号摄像。此外,由于用相邻的某个帧接收相同的信号,所以能够用于接收结果的确认。此外,由于越是接近于头部越容易接收数据,所以也可以在距头部较近的部分配置重要度较高的数据。
图302是表示实施方式13的发送信号的例子的图。
将2位的信号调制为5位的信号的7219a的调制方式与将2位的信号调制为4位的信号的2200.2a等的调制方式相比,虽然调制效率较差,但能够用与数据部分相同的形式表现头样式,所以与插入不同的形式的头样式相比能够抑制闪变。数据结尾也可以通过在数据部中使用头来表现。
图303A是表示实施方式13的发送信号的例子的图。
信号由数据部7220a、缓存部7220b、数据结尾部7220d构成。也可以没有缓存部。信号将相同的数据在1/15秒间反复发送。在使用通过发光频率传送信号的FM调制等的情况下,不再需要7218a那样的头。
图303B是表示实施方式13的发送信号的另一例的图。
信号与图303A的例子同样,由数据部7220a、缓存部7220b、数据结尾部7220d构成。也可以没有缓存部。信号将相同的数据在1/30秒间反复发送。在使用通过发光频率传送信号的FM调制等的情况下,不再需要7218a 那样的头。
图304是表示实施方式13的发送信号的例子的图。
通过频率分配信号。接收机由于根据信号的周期求出频率,所以与将频率等间隔地分配给信号相比,以频率的倒数或对数为等间隔的方式分配信号更能够减少接收错误。在用接收机的摄像部将发送数据1和数据2的光摄像到一个画面内的情况下,如果在与曝光行垂直的方向上将亮度值进行傅立叶变换,则在数据1和数据2的频率中,出现比将发送一个数据的光的情况弱的尖峰。
根据该方法,即使是在一个画面内将用多个频率依次发送的光摄像的情况,也能够将发送频率解析,即使以比1/15秒或1/30秒短的时间变更发送信号的频率也能够接收。
为了识别发送信号的顺序,只要在比1画面短的范围中进行傅立叶变换就可以。此外,也可以将摄像出的画面连结,在比1画面长的范围中进行傅立叶变换。在此情况下,可以将摄像的空白时间的亮度值作为不明处置。
图305A及图305B是表示实施方式13的发送信号的例子的图。
在发送信号的频率是200Hz以下的情况下,人能作为闪烁感觉到,但如果是其以上的频率,则感觉为连续发亮。在照相机中,以500Hz(根据条件以1kHz)左右以内的频率将闪烁摄影。因此,信号频率(输送波的频率) 优选的是1kHz以上。在因在照相机中摄影到闪变带来的影响较低的情况下,信号频率也可以为200Hz以上。由于照明装置的高谐波噪声为20kHz以上变大,所以在避免它的情况下,信号频率只要设为20kHz以下就可以。此外,在500Hz到3kHz的范围中,由于发生因线圈的振动带来的声音,所以需要进行将信号频率设为3kHz以上、或者将线圈固定化等的对策。当将信号频率设为1kHz(1毫秒周期)时,为了非同步地识别该信号,需要将摄像装置的曝光时间设为一半的0.5毫秒(=1/2000秒)以下。在信号的调制方式中使用频率调制的情况下,通过采样定理,同样需要使摄像装置的曝光时间为信号周期的一半以下。但是,如图304那样,在用频率本身表现值的调制方式的情况下,由于能够根据多个时点的信号的值推测频率,所以摄像装置的曝光时间可以是信号周期的4倍左右以下。
图306是表示实施方式13的发送机的应用例的图。
照明等的发送机7223a将ID发送。个人计算机等的接收机7223b接收 ID,向服务器7223d发送ID和文件7223e。服务器7223d将文件7223e与 ID建立关联而存储,对于发送来相同的ID的个人计算机,进行向文件的访问许可。此时,也可以是仅读取的许可、读写的许可等,通过ID进行多个访问控制。个人计算机等的接收机7223c将ID接收,向服务器7223d发送ID,向服务器上的文件7223e访问。服务器7223d在向文件最后有访问起经过了一定时间的情况下、或个人计算机7223b发送来不同的ID的情况下,将文件删除,或者将访问控制初始化。另外,个人计算机7223b或个人计算机7223c也可以将ID发送。
图307是表示实施方式13的发送机的应用例的图。
发送机7224b将自身的ID信息向服务器7224d登记。接收机7224a将赠券、入场票、会员信息或预付款信息向画面显示。发送机7224b将ID发送。接收机7224a将ID接收,将接收到的ID、用户ID、终端ID和显示在画面上的信息向服务器7224d发送。服务器7224d确认接收机7224a显示的内容是有效的,将其结果向显示装置7224c发送。另外,服务器7224d 也可以将随着时间变化的密钥信息向发送机7224b发送,发送机7224b也可以将该密钥信息发送。另外,服务器7224d也可以作为与发送机7224b 或显示装置7224c相同的装置安装。在接收机7224a将赠券、入场票、会员信息或预付款信息用二维条码等的形式显示到画面上、将其读取的方式中,通过显示将画面复制的图像而能够容易地伪装,但通过使用该方式,能够防止通过将画面复制进行的伪装。
图308~图310是用来说明实施方式13的摄像元件的图。
图308表示本发明的摄像元件800的前面图。如使用前面的实施方式的图说明那样,为了使本发明的光通信速度提高,如果如图310那样,一边使光信号发生部830跟踪、一边仅将该区域的830a的扫描行、例如n=4~ n=7之间的行的数据向垂直访问机构802发送扫描行选择信号,反复扫描而取得,则能够如图310的下段的图那样连续地将本发明的光信号取出。具体而言可得到4、5、6、7及空白期间4、5、6、7空白期间的连续的信号。在当前的摄像元件的工序中,该空白能够包含在2μs以下。如果为2μs 以下,则在30fps下是1帧33ms,在1000行中是33μs/行,所以能够将数据大致连续地解调。
在本发明中,在卷帘快门方式的摄像元件(图像传感器)中,首先使快门速度变快,在显示本发明的行后得到信号,然后,光源的图像830通过照相机的摄影者的手抖动而上下左右地移动。于是,图像830一部分从行n=4~7中出来。信号中断而发生错误。因此,首先,如果使用手抖动修正检测修正机构832修正,则图像830被固。或者/并且,如果使用检测图像830的位置的行否的机构834确定图像830的行号码n、由行选择部835 控制垂直访问机构而变更为希望的行n(例如,n=7~10),则可得到图像 830,得到连续的信号,所以成为错误较少的数据,能够进行高速数据接收。
回到图308说明摄像元件800,水平的像素有a~k,能够由水平访问机构801访问。垂直方向的像素从n=1到n=12有12列,803a~803n按照列读出,在读出时读出到行存储器805中,从输出部808输出。
如图309所示,在本发明中,首先,在通常摄影模式中,如(a)所示那样依次读出。在通常的帧与帧之间设有空白期间821,在其之间中进行关于颜色等的影像信号的各种各样的调整作业。
根据摄像元件而不同,但5%~20%的时间带不能得到信号的信号。由于不能得到本发明特有的接收样式,所以在步骤820c中成为数据信号接收模式的情况下,首先使快门速度成为高速,提高增益而接收数据。在是的情况下,通过将上述颜色、明亮程度或感度等的影像摄影作业的一部分中止,成为将空白期间821缩短的空白期间821a。由此,通过将调整作业省略的缩短,在当前的工序中能够将空白期间821a降低到2μs以下,所以能够大幅减少输入信号的猝发错误,所以能够较大地提高传送速度。
接着,当如图310那样仅图像的一部分被摄影了影像830时,由于不能得到n=4~8以外的行的信息,所以成为较大的猝发错误,接收效率下降,传送量大幅下降。
通过图310的图像位置检测机构834检测图像830的位置和大小,在图像较小的情况下,在步骤820d中切换为高速读取模式,仅扫描将图像830 摄影的行(n=4~7)。如(c)那样将行信号803d、803e、803f、803g多次反复读取,将本发明特有的样式无缝地读取。因此,成几乎没有猝发错误的连续的数据接收,能够实现大幅的数据速率的提高。
具体而言,如果在当前的摄像元件中使输送波为4.8KHz,则能得到 2400bps左右的传送速率。将来,随着摄像元件的高速化,能得到几十kbps 的传送速率。
另外,如果在步骤820e中数据的读取完成,则使快门速度低速化,使空白期间变长,向(a)的通常摄影模式返回。
通过上述空白期间的缩短和特定行的反复读出,同步信号及地址的读出变可靠,能够大幅地提高本发明的样式传送方式的传送速度。
(变形例)
这里,对关于上述各实施方式的变形例或补充进行说明。
图311A是表示接收装置(摄像装置)的处理动作的流程图。另外,该图311A表示比图128的处理动作更详细的处理动作。
这里,接收机的摄像部不是使全部的受光元件同时曝光的方式(全局快门方式),而是隔开时间差每次使受光元件的一部分依次曝光的方式(卷帘快门方式、焦平面快门方式)。另外,在本发明的解说中使用的“曝光”,包括通过物理的快门控制光照在摄像元件上的时间的曝光方式、和通过电子快门仅将特定的时间内的摄像元件的输出取出的曝光方式。
首先,在步骤7340a中,在摄像模式是全局快门模式的情况下,变更为卷帘快门模式。接着,在步骤7340b中,设定快门速度,以使得在将5 毫秒以上的时间幅度的移动平均亮度不变化、在5毫秒以下的区域中使亮度变化的被摄体拍摄时摄影出亮线。
在步骤7340c中,设定受光元件的感度,以使上述亮线的较亮的部分与较暗的部分的差变大。接着,在步骤7340d中,将摄像模式设为微距摄像模式。或者,与将焦点对在发送机上相比,将焦点距离设定得较短。由此,通过将发送机模糊而较大地摄像,能够增加将亮线摄像的曝光行。
在步骤7340e中,在与曝光行垂直的方向上观察亮线的亮度的变化。接着,在步骤7340f中,求出上述亮度相比其他场所急剧变高的部位的间隔、或者急剧变低的部位的间隔,从该间隔读取发送信号。或者,求出亮度变化的周期,从该周期读取发送信号。
图311B是将通过通常摄像模式得到的图像、与通过微距摄像模式得到的图像对比表示的图。如该图311B所示,通过将发光的被摄体以微距摄像模式摄像而得到的图像7307b与通过将相同的被摄体用通常摄像模式摄像得到的图像7307a相比包含许多较亮的区域。结果,在微距摄像模式中,能够增加能够对该被摄体生成亮线的曝光行的数量。
图312是表示将影像等显示的显示装置的图。
例如具备液晶显示器等的显示装置7300a在影像区域7300b中显示影像,在信息显示区域7300c中显示各种信息。并且,显示装置7300a构成为发送机(发送装置),通过使背灯的亮度变化来发送信号。
图313是表示显示装置7300a的处理动作的一例的图。
首先,在步骤7350a中,设为信号发送模式。接着,在步骤7350b中,通过使信息显示区域7300c的背灯的亮度变化而发送信号。
图314是表示显示装置7300a的发送信号的部分的例子的图。
显示装置7300a也可以通过使背灯成为开启的部分(7301d、7301f、 7301g、7301i)的亮度变化而发送信号,从其他部分(7301c、7301e、7301h、 7301j)不发送信号。
图315是表示显示装置7300a的处理动作的另一例的图。
首先,在步骤7351a中,设为信号发送模式。接着,在步骤7351b中,为了运动分辨率的提高,在画面切换时将背灯关闭的情况下,仅用背灯成为开启的部分发送信号。并且,在步骤7351c中,在画面的全部的部分的背灯成为关闭的期间中不发送信号。
图316是表示显示装置7300a的发送信号的部分的另一例的图。
显示装置7300a将用于各部分(7302b、7302e、7302g、7202j)的运动分辨率提高的背灯控制关闭,从这些部分发送信号。另一方面,显示装置7300a将用于其他各部分(7302c、7302d、7302h、7301i)的运动分辨率提高的背灯控制开启。
图317是表示由显示装置进行的处理动作的再另一例的图。
首先,在步骤7352a中设为信号发送模式。接着,在步骤7352b中,将用于画面的一部分(7302b、7302e、7302g、7202j)的运动分辨率提高的的背灯控制关闭,从该部分发送信号。
并且,在步骤7352c中,调整背灯的平均亮度,以使发送信号的部分的明亮程度与不发送信号的部分的背灯的平均亮度成为同等。该调整既可以通过信号发送时的背灯的闪烁时间比的调整来进行,也可以通过背灯的最大亮度的调整来进行。
图318是表示包括发送机及接收机的通信系统的结构的图。
该通信系统具备发送机7303a、7303b、控制装置7303c、网络7303d、 ID管理服务器7303e、无线接入点7303f和接收机7303g、7303h。
图319是表示图318的通信系统的处理动作的流程图。
首先,在步骤7353a中,在ID管理服务器7303e中,将发送机的ID、无线接入点7303f的信息(SSID、口令、无线接入点的ID、无线频率、接入点的位置信息、可连接的位置信息等)、和控制装置7303c的信息(IP 地址等)建立关联而存储。接着,在步骤7353b中,发送机7303a或7303b 将发送机7303a或7303b的ID发送。另外,发送机7303a或7303b也可以还发送无线接入点7303f的信息和控制装置7303c的信息。并且,在步骤 7353c中,接收机7303g或7303h接收发送机7303a或7303b的ID,从ID 管理服务器7303e取得无线接入点7303f的信息和控制装置7303c的信息。或者,接收机7303g或7303h接收发送机7303a或7303b的ID和无线接入点7303f的信息。
接着,在步骤7353d中,发送机7303a或7303b连接在无线接入点7303f 上。并且,在步骤7353e中,发送机7303a或7303b将网络上的ID管理服务器7303e的地址、向该ID管理服务器7303e的命令、和发送机7303a或 7303b的ID向控制装置7303c发送。
进而,在步骤7353f中,控制装置7303c将受理ID向接收机7303g或 7303h发送。接着,在步骤7353g中,控制装置7303c进行向网络上的ID 管理服务器7303e的命令,得到应答。此时,控制装置7303c作为代理服务器动作。
进而,在步骤7353h中,控制装置7303c从发送机ID所表示的发送机 7303a或7303b发送上述应答和上述受理ID。该发送也可以反复进行,直到被从接收机7303g或7303h送来接收完成通知、或者直到经过一定时间。
接着,在步骤7353i中,接收机7303g或7303h接收上述应答。进而,在步骤7353j中,接收机7303g或7303h将上述受理ID向控制装置7303c 发送,通知接收完成。
并且,在步骤7353k中,另外,接收机7303g或7303h也可以在处于不能接收到发送机7303a或7303b的信号的位置的情况下向控制装置7303c 通知,以经由无线接入点7303f返回应答。
图320是表示上述各实施方式的信号传送的变形例的图。
在本发明的接收方式中,在接收机的摄像部中越大地摄影了发送机的发光部则信号传送效率越高,所以如果将较小的电球或装备在较高的顶棚上的照明作为发送机的发光部,则信号传送效率较差。所以,通过将发送机7313a的照明光照在墙壁、顶棚、地板及照明的灯罩等上,将其反射光 7313b用接收机7313c摄像,能够提高信号传送的效率。
图321是表示上述各实施方式的信号传送的变形例的图。
发送机7314d通过向展示品7314a投影包含发送信号的照明光、将其反射光7314b用接收机7314c摄像,进行信号传送。
图322是表示上述各实施方式的信号传送的变形例的图。
发送机7315a发送的信号由具备照度传感器的接收机7315b接收。接收机7315b由于不是摄像元件而是使用照度传感器接收信号,所以耗电较低,适合于总是接收信号,轻量,能够便宜地制造。
接收机7315b作为眼镜、耳环、发饰、腕表、助听器、项链、手杖、手推车、购物推车的一部分构成。接收机7315b按照接收到的信号,进行影像显示、声音再现或振动。此外,接收机7315b将接收到的信号通过无线或有线传送路向便携信息终端7315c发送。
图323A是表示上述各实施方式的信号传送的变形例的图。
投影机7316a将投影光作为发送信号而发送信号。接收机7316c将来自屏幕7316b的反射光摄像而接收信号。接收机7316c将投影机7316a投影的内容和其附属信息显示在画面7316d上。向画面7316d显示的内容既可以作为发送信号传送,也可以基于发送信号中包含的ID从服务器7316e 取得。
图323B是表示上述各实施方式的信号传送的变形例的图。
接收机7317b将从发送机7317a发送的信号接收。接收机7317b向登记在接收机7317b中的耳机或助听器7317c发送声音。在登记在接收机7317b中的用户简况中包含视觉障碍的情况下,接收机7317b将视觉障碍者用的解说声音向耳机7317c发送。
图323C是表示上述各实施方式的信号传送的变形例的图。
从发送机7318a、7318b发送的信号由接收机7318c接收。接收机7318c 也可以使用照度传感器接收信号。接收机7318c通过具备指向性较高的照度传感器,能够高精度地推测发送机所在的方向。此外,接收机7318c通过具备多个照度传感器,能够扩大能够接收发送信号的范围。接收机7318c 将接收到的信号向耳机7318d或头戴显示器7318e发送。
图323D是表示包括显示器或投影机和接收机的通信系统的处理动作的流程图。另外,该流程图比哦是与图323A~图323C所示的信号传送的例子对应的处理动作。
首先,在步骤7357a中,将发送机的ID、显示内容ID和向显示器或投影机显示的内容建立关联,向ID管理服务器记录。接着,在步骤7357b中,发送机在显示器或投影机上显示内容,并使用显示器的背灯或投影机的投影光发送信号。发送信号也可以包括发送机的ID、显示内容ID、保存有显示内容的URL、或显示内容本身。
进而,在步骤7357c中,接收机将上述发送信号接收。并且,在步骤 7357d中,接收机基于接收到的信号,取得发送机显示在显示器或投影机上的内容。
接着,在步骤7357e中,在接收机中设定有用户简况的情况下,取得适合于该简况的内容。例如,在设定了听力较差的简况的情况下,取得字幕数据或手边再现用的声音内容,在设定了视力较差的简况的情况下,取得声音解说用的内容。
进而,在步骤7357f中,接收机使接收机的显示器显示所取得的图像内容,使所取得的声音内容从接收机的扬声器、耳机或助听器再现。
图324是表示实施方式12的发送信号的例子的图。另外,该图324是详细地说明图250的发送信号的。
在将发送信号用图84~图87、图302等的方法编码的情况下,接收机只要检测到亮度值急剧变高的点7308c、7308d、7308e,就能够将发送信号解码。此时,发送信号7308a和7308b是等价的,变现相同的信号。
因此,如发送信号7308a和7308b那样,通过调节降低亮度的时间,能够使平均亮度变化。在需要使发送机的亮度变化的情况下,通过这样调节平均亮度,能够不对发送信号的内容添加变化而进行亮度的调节。
图325是表示实施方式7的发送信号的例子的图。另外,该图325是详细地说明图91的发送信号的。
发送信号7309a或7309b如果取7309d左右的长度的平均亮度,则可以看作与发送信号7309c等价。通过如发送信号7309a或7309b那样、以通过其他接收机不能观察的时间幅度使亮度变化,能够叠加别的信号。
图326是表示实施方式7的发送信号的另一例的图。另外,该图326 是详细地说明图91的发送信号的。
通过对发送信号7310a添加用其他接收机不能观察的时间幅度下的亮度变化而成为7310c,叠加别的信号。在发送信号7310a中在亮度下降的区间中不能叠加信号的情况下,通过对高速调制部分加上7310e那样的开始信号和结束信号,能够将高速调制信号断续地发送。
图327A是表示上述各实施方式的接收机的摄像元件的一例的图。
许多的摄像元件由于为7311a那样的配置,所以在将光学黑体摄像的期间中不能将发送机摄像。但是,通过使摄像元件的配置成为7311b那样,能够将发送机进行更长时间摄像。
图327B是表示上述各实施方式的接收机的摄像装置的内部电路的结构例的图。
摄像装置7319a具备切换全局快门模式和卷帘快门模式的快门模式变更部7319b。接收机当开始接收时,将快门模式变更为卷帘快门模式,当接收结束时,将快门模式变更为全局快门模式,或者,回到接收开始前的设定。
图327C是表示上述各实施方式的发送信号的例子的图。
在作为在照相机中不映照出闪变的频率而将输送波设为1kHz的情况下,1时隙为1毫秒(7320a)。此时,在图85的调制方式(4PPM调制)中, 1符号(4时隙)的平均值为75%(7320b)。4毫秒间的移动平均的值域为 75%±调制度/4。调制度越小则闪变越小。在将1符号作为1周期考虑的情况下,在作为人感觉不都闪变的频率而设为200Hz以上的情况下,输送波为800Hz以上,在作为在照相机中不映照出闪变的频率而设为1kHz以上的情况下,输送波为4kHz以上。
同样,当输送波为1kHz时,在图302的调制方式(5PPM调制)中,1 符号(5时隙)的平均值为80%(7320c)。5毫秒间的移动平均的值域为80%±调制度/5。调制度越小则闪变越小。在将1符号作为1周期考虑的情况下,在作为人感觉不都闪变的频率而设为200Hz以上的情况下,输送波为800Hz 以上,在作为在照相机中不映照出闪变的频率而设为1kHz以上的情况下,输送波为5kHz以上。
图327D是上述各实施方式的发送信号的例子。
头样式与表示数据的样式不同,并且为了消除闪变,必须使表示数据的样式与平均亮度相等。作为2200.2a的调制方式的数据样式与平均亮度相等的样式,有7321b、7321c、7321d、7321e等的样式。在能够阶段地控制亮度值的情况下,7321b是优选的。在如7321e那样、亮度的变化相比接收机的摄像装置的曝光时间足够快的情况下,在接收机中如7321b那样观察到。在7219a的调制方式中,以包含头样式的形式决定调制方式。
图328A是用来说明接收机的摄像模式的图。
接收机在通常摄像模式中,通过使用图像传感器中包含的全部的曝光行(摄像行)进行摄像而取得图像7304a。例如,全部的曝光行是3000个。并且,接收机通过该摄像,在时刻t1~t4的期间中取得1张图像,进而在时刻t5~t8的期间中取得1张图像。
这里,在仅在图像的一部分中拍摄有作为发送机的被摄体的情况下,接收机有不能获取来自该被摄体的信号的情况。例如,在仅第1001个~第 2000个曝光行捕捉被摄体、其他曝光行不捕捉被摄体的情况下,当第1001 个~第2000个曝光行不曝光时,即,在第1个~1000个曝光行曝光时(时刻t1~t2,t5~t6)、和第2001个~3000个曝光行曝光时(时刻t3~t4, t7~t8),不能获取来自该被摄体的信号。
所以,接收机如果摄像模式被从通常摄像模式切换为特别摄像模式A,则仅将全部的曝光行中的捕捉了被摄体的曝光行用于摄像。即,接收机在时刻t1~t4的期间和时刻t5~t8的期间中,仅将第1001个~第2000个曝光行用于摄像。此外,在该特别摄像模式A中,持续作为时刻t1~t4或时刻t5~t8的1帧的摄像时间的整体,将第1001个~第2000个曝光行依次仅1次分别均等地曝光。由此,能够防止来自被摄体的信号的遗漏。
图328B是表示接收机的使用特别摄像模式A的处理动作的流程图。
首先,在步骤7354a中,从摄像图像中找到摄像有亮线的部分。接着,在步骤7354b中,将手抖动修正功能开启。
接着,在步骤7354c中,切换为仅使用摄像有亮线的曝光行的像素进行摄像的特别摄像模式A。在特别摄像模式A中,设定各曝光行的曝光时间,以使从开始将曝光行曝光到开始将下个曝光行摄像的时间在将1张图像摄像的期间(例如时刻t1~t4)中在时间上为等间隔。另外,也可以将与曝光行垂直的方向的像素间隔剔除而摄像。
由此,从接收机的摄像部的帧的输出张数与通常摄像模式没有变化,所以该特别摄像模式A适合于具有性能较低的处理装置的接收机、或具有也进行别的处理的处理装置的接收机。
进而,在步骤7354d中,指定以特别摄像模式A摄像的区域。这里,作为上述摄像的区域,通过指定比摄像有亮线的区域窄的区域,即使在因手抖动等而摄像方向变化的情况下也能够继续将亮线摄像。
接着,在步骤7354e中,检测摄像图像的移动。通过使上述摄像的区域在该移动方向上移动,即使在摄像图像的位置变化的情况下也能够将亮线继续摄像。接着,在步骤7354f中,根据亮线的样式取得发送的信息。
图329A是用来说明接收机的其他摄像模式的图。
接收机如果摄像模式被从通常摄像模式切换为特别摄像模式B,则仅将全部的曝光行中的捕捉了被摄体的曝光行用于摄像。即,接收机在时刻t1~ t4的期间和时刻t5~t8的期间中,仅将第1001个~第2000个曝光行用于摄像。此外,在该特别摄像模式B中,遍及作为时刻t1~t4或时刻t5~t8 的1帧的摄像时间的整体,执行多次将第1001个~第2000个曝光行依次曝光的动作。由此,能够防止来自被摄体的信号的遗漏。
图329B是表示使用接收机的特别摄像模式B的处理动作的流程图。
首先,在步骤7355a中,从摄像图像中找出摄像有亮线的部分。接着,在步骤7355b中,将手抖动修正功能开启。
接着,在步骤7355c中,切换为仅使用摄像有亮线的曝光行的像素进行摄像的特别摄像模式B。在特别摄像模式B中,通过仅将摄像有亮线的区域进行摄像,高速地进行摄像。另外,也可以将与曝光行垂直的方向的像素间隔剔除而摄像。
接着,在步骤7355d中,指定由特别摄像模式B摄像的区域。这里,通过作为上述摄像的区域而指定比摄像有亮线的区域窄的区域,在通过手抖动等而摄像方向变化的情况下也能够将亮线持续摄像。
接着,在步骤7355e中,检测摄像图像的移动。通过使上述摄像的区域在该移动方向上移动,即使在摄像图像的位置变化的情况下也能够将亮线继续摄像。接着,在步骤7355f中,取得从亮线的样式发送的信息。
图330A是用来说明接收机的再另一摄像模式的图。
接收机如果摄像模式被从通常摄像模式切换为特别摄像模式C,则仅将全部的曝光行中的捕捉有被摄体的曝光行用于摄像。即,接收机在时刻t1~ t4的期间和时刻t5~t8的期间中,仅将第1001个~第2000个曝光行用于摄像。此外,在该特别摄像模式C中,遍及作为时刻t1~t4或时刻t5~t8 的1帧的摄像时间的整体,执行多次将第1001个~第2000个曝光行依次曝光的动作。进而,在该特别摄像模式C中,不将通过该多次执行得到的多个图像分别单独地输出,将包括该多个图像的1个图像(与以通常摄像模式生成的图像相同的尺寸的图像)输出。由此,能够防止从被摄体的信号的遗漏。
图330B是表示接收机的使用特别摄像模式C的处理动作的流程图。
首先,在步骤7356a中,从摄像图像中找出摄像有亮线的部分。接着,在步骤7356b中,将手抖动修正功能开启。
接着,在步骤7356c中,切换为仅使用摄像有亮线的曝光行的像素进行摄像的特别摄像模式C。特别摄像模式C是仅将摄像有亮线的区域进行摄像、将原来的像素配置忽视、通过将摄像结果排列来制作一张图像的方法。另外,也可以将与曝光行垂直的方向的像素间隔剔除而摄像。
由此,从接收机的摄像部的帧的输出张数与通常摄像模式没有变化,所以该特别摄像模式C适合于具有性能较低的处理装置的接收机、以及具有也进行别的处理的处理装置的接收机。
进而,在步骤7356d中,指定以特别摄像模式C摄像的区域。这里,通过在上述摄像的区域而指定比摄像有亮线的区域窄的区域,即使在通过手抖动等而摄像方向变化的情况下也能够将亮线继续摄像。
接着,在步骤7356e中,检测摄像图像的移动。通过使上述摄像的区域在该移动方向上移动,即使在摄像图像的位置变化的情况下也能够将亮线继续摄像。接着,在步骤7356f中,取得从亮线的样式发送的信息。
以上,基于实施方式对有关一个或多个技术方案的信息通信方法进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形厚度形态、或将不同的实施方式的构成要素组合而构建的形态也包含在一个或多个技术方案的范围内。
图331A是有关本发明的一技术方案的信息通信方法的流程图。
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括步骤SA11、SA12及SA13。
即,该信息通信方法包括:曝光时间设定步骤(SA11),设定上述图像传感器的曝光时间,以使得在通过由图像传感器进行的上述被摄体的摄像得到的图像中,对应于上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;摄像步骤(SA12),通过上述图像传感器将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的图像;信息取得步骤(SA13),通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调,取得信息。
图331B是有关本发明的一技术方案的信息通信装置的块图。
有关本发明的一技术方案的信息通信装置A10是从被摄体取得信息的信息通信装置,具备构成要素A11、A12及A13。
即,该信息通信装置A10具备:曝光时间设定部A11,设定上述图像传感器的曝光时间,以使得在通过由图像传感器进行的上述被摄体的摄像得到的图像中,对应于上述被摄体的亮度变化而发生与上述图像传感器中包含的曝光行对应的亮线;摄像部A12,通过上述图像传感器将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的图像;解调部A13,通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调,取得信息。
图331C是有关本发明的一技术方案的信息通信方法的流程图。
有关本发明的一技术方案的信息通信方法是从被摄体取得信息的信息通信方法,包括步骤SA21~SA26。
即,该信息通信方法包括:第1摄像步骤(SA21),通过使用具有多个曝光行的图像传感器将上述被摄体摄像,取得第1图像;检测步骤(SA22),从上述第1图像中检测摄像有上述被摄体的范围;决定步骤(SA23),决定上述多个曝光行中的将摄像有上述被摄体的范围摄像的规定的曝光行;曝光时间设定步骤(SA24),设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行取得的第2图像中,根据上述被摄体的亮度变化而发生与上述规定的曝光行对应的亮线;第2摄像步骤(SA25),通过使用上述规定的曝光行将亮度变化的上述被摄体以设定的上述曝光时间摄像,取得包含上述亮线的第2图像;信息取得步骤(SA26),通过将由在所取得的上述第2图像中包含的上述亮线的样式确定的数据解调而取得信息。
图331D是有关本发明的一技术方案的信息通信装置的块图。
有关本发明的一技术方案的信息通信装置A20是从被摄体取得信息的信息通信装置,具备构成要素A21~A26。
即,该信息通信装置A20具备:第1图像取得部A21,通过使用具有多个曝光行的图像传感器将上述被摄体摄像,取得第1图像;摄像范围检测部A22,从上述第1图像中检测摄像有上述被摄体的范围;曝光行决定部A23,决定上述多个曝光行中的将摄像有上述被摄体的范围摄像的规定的曝光行;曝光时间设定部A24,设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行取得的第2图像中,根据上述被摄体的亮度变化而发生与上述规定的曝光行对应的亮线;第2图像取得部A25,通过使用上述规定的曝光行将亮度变化的上述被摄体以设定的上述曝光时间摄像,取得包含上述亮线的第2图像;解调部A26,通过将由在所取得的上述第2图像中包含的上述亮线的样式确定的数据解调而取得信息。
另外,上述的亮线的样式与各亮线的间隔的差异是同义的。
图332是表示通过有关本发明的一技术方案的信息通信方法得到的图像的一例的图。
例如,对于以200Hz以上的频率亮度变化的被摄体,将曝光时间设定得比10毫秒短。这里,将图像传感器中包含的多个曝光行分别以相互不同的定时依次曝光。在这样的情况下,如图332所示,在通过图像传感器得到的图像中发生一些亮线。即,该图像包含与曝光行平行的亮线。此外,在信息取得步骤(SA13或SA26)中,将通过该亮线的样式中的、与曝光行垂直的方向的样式确定的数据解调。
在通过这样的图331A及图331B表示的信息通信方法及信息通信装置 A10中,由于将通过被摄体的亮度变化发送的信息通过图像传感器的曝光行的曝光取得,所以例如不需要用来进行无线通信的特别的通信仪器,能够进行多种多样的设备间的通信。进而,在由图331C及图331D表示的信息通信方法及信息通信装置A20中,由于仅使用图像传感器中包含的全部的曝光行中的捕捉有被摄体的曝光行用于包含亮线的第2图像的取得,所以能够将对于没有捕捉到被摄体的曝光行的处理省去,能够提高信息取得的效率,并且能够防止从被摄体的信息的遗漏。
图333A是有关本发明的另一技术方案的信息通信方法的流程图。
有关本发明的另一技术方案的信息通信方法是通过亮度变化发送信号的信息通信方法,包括步骤SB11、SB12及SB13。
即,该信息通信方法包括:决定步骤(SB11),通过将发送对象的信号调制,决定亮度变化的样式;第1发送步骤(SB12),通过发光体按照所决定的上述样式而亮度变化,将上述发送对象的信号发送;第2发送步骤 (SB13),通过上述发光体在将上述发送对象的信号发送后33毫秒以内、按照与所决定的上述样式相同的样式而亮度变化,将与上述发送对象的信号相同的信号发送;在上述决定步骤(SB11)中,决定上述样式,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先设定的范围中。
图333B是有关本发明的另一技术方案的信息通信装置的块图。
有关本发明的另一技术方案的信息通信装置B10是通过亮度变化发送信号的信息通信装置,具备构成要素B11及B12。
即,该信息通信装置B10具备:亮度变化样式决定部B11,通过将发送对象的信号调制,决定亮度变化的样式;发光体B12,通过按照所决定的上述样式而亮度变化,将上述发送对象的信号发送,通过在将上述发送对象的信号发送后33毫秒以内、按照与所决定的上述样式相同的样式而亮度变化,将与上述发送对象的信号相同的信号发送;上述亮度变化样式决定部 B11决定上述样式,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先设定的范围中。
在由这样的图333A及图333B表示的信息通信方法及信息通信装置B10 中,由于决定亮度变化的样式,以使得对于亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先设定的范围中,所以能够防止人感到闪变、并通过亮度变化发送信号。进而,由于在33毫秒以内发送相同的信号,所以即使在接收信号的接收机中有空白,也能够可靠地将信号向该接收机发送。
图334A是有关本发明的再另一技术方案的信息通信方法的流程图。
有关本发明的再另一技术方案的信息通信方法是通过亮度变化发送信号的信息通信方法,包括步骤SC11、SC12、SC13及SC14。
即,该信息通信方法包括:决定步骤(SC11),通过将发送对象的信号调制,决定多个频率;发送步骤(SC12),通过发光体按照所决定的上述多个频率中的某个一定的频率而亮度变化,来发送信号;变更步骤(SC14),将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率。另外,也可以是,在执行发送步骤SC12后,判断是否所决定的全部的频率已在亮度变化中使用(SC13),在判断为还没有使用全部的频率的情况下(SC13中否),执行更新步骤SC14。此外,在上述发送步骤(SC12)中,上述发光体进行亮度变化,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中。
图334B是有关本发明的再另一技术方案的信息通信装置的块图。
有关本发明的再另一技术方案的信息通信装置C10是通过亮度变化发送信号的信息通信装置,具备构成要素C11、C12及C13。
即,该信息通信装置C10具备:频率决定部C11,通过将发送对象的信号调制,决定多个频率;发光体C13,通过发光体按照所决定的上述多个频率中的某个一定的频率而亮度变化,来发送信号;频率变更部C12,将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率。此外,上述发光体C13进行亮度变化,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中。
在通过这样的图334A及图334B表示的信息通信方法及信息通信装置 C10中,由于决定亮度变化的样式,以使对于亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中,所以能够防止人感到闪变、并通过亮度变化发送信号。进而,能够发送FM调制的许多信号。
此外,也可以是,信息通信装置具有管理包括自己的唯一的ID和设备的状态信息的设备信息的信息管理部、发光元件、和作为上述发光元件的闪烁样式而发送信息的光发送部,上述光发送部在上述设备的内部的状态中有变化的情况下,将上述设备信息变换为光的闪烁样式而发送。
此外,也可以是,上述信息通信装置还具备将表示自己的起动状态或用户的使用履历的设备内部的传感到的信息保存的起动履历管理部,上述光发送部取得预先登记有利用的时钟发生装置的性能信息,变更发送速度。
此外,也可以是,上述发光元件具备第一及第二发光元件,在用来通过光的闪烁发送信息的上述第一发光元件的周围配置有上述第二发光元件,上述第二发光元件在通过上述第一发光元件的闪烁进行的信息发信被重复一定次数的情况下,在信息发信的结束与开始之间发光。
此外,上述信息通信装置也可以具备隔开时间差使各摄像元件曝光的摄像部、和利用上述各摄像元件的曝光时间的差异、将被摄像物的1毫秒以下的时间平均亮度的变化从1张摄像图像中读取的信号解析部。
此外,上述时间平均亮度也可以是3万分之1秒以上的时间平均亮度。
上述信息通信装置还可以将发送信息调至为发光样式,通过发光样式发送信息。
上述信息通信装置也可以将发送信号用1毫秒以下的时间平均亮度的变化表现,并且使发光部的亮度变化,以使60毫秒以上的时间平均亮度为均匀的。
上述信息通信装置也可以将上述发送信号用3万分之1秒以上的时间平均亮度的变化表现。
此外,也可以是,上述发送信号与接近的同种的信息通信装置用时间平均亮度表现的信号的共通部分通过以与上述同种的信息通信装置的发光部相同的定时使发光部发光来发送。
进而,也可以是,上述发送信号与接近的同种的信息通信装置用时间平均亮度表现的信号的非共通部分在上述同种的信息通信装置没有用时间平均亮度表现信号的时间带中,通过发光部的时间平均亮度表现。
此外,也可以是,上述信息通信装置具备将上述发送信号用时间平均亮度的变化表现的第1发光部、和不将上述发送信号用时间平均亮度的变化表现的第2发光部,通过第1发光部和第2发光部的位置关系发送信号。
此外,集中控制装置也可以具备集中控制上述某个信息通信装置的控制部。
此外,建筑物也可以具备上述某种信息通信装置或上述集中控制装置。
此外,列车也可以具备上述某个信息通信装置、或上述集中控制装置。
此外,摄像装置也可以是将2维图像摄像的摄像装置,比使全部的摄像元件曝光而摄像更高速地、仅使任意的摄像元件曝光而摄像。
此外,上述任意的摄像元件也可以是将1毫秒以下的时间平均亮度的变化最大的像素摄像的摄像元件、或者包括该摄像元件的1列的摄像元件。
另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成、或者通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过 CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序读出并执行来实现。例如程序使计算机执行由图331A、图 331C、图333A及图334A中的某个流程图表示的信息通信方法。
(上述各实施方式及它们的变形例的总结)
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括:第1摄像步骤,通过使用具有多个曝光行的图像传感器将上述被摄体摄像,取得第1图像;检测步骤,从上述第1图像中检测摄像有上述被摄体的范围;决定步骤,决定上述多个曝光行中的将摄像有上述被摄体的范围摄像的规定的曝光行;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行取得的第2图像中,根据上述被摄体的亮度变化而发生与上述规定的曝光行对应的亮线;第2 摄像步骤,通过使用上述规定的曝光行将亮度变化的上述被摄体以设定的上述曝光时间摄像,取得包含上述亮线的第2图像;信息取得步骤,通过将由在所取得的上述第2图像中包含的上述亮线的样式确定的数据解调而取得信息。
由此,通过被摄体的亮度变化发送的信息通过图像传感器的曝光行的曝光被取得,所以能够不需要例如用来进行无线通信的特别的通信仪器而进行多种多样的设备间的通信。进而,由于仅将图像传感器中包含的全部的曝光行中的、捕捉有被摄体的曝光行用于包含亮线的第2图像的取得,所以能够将对于没有捕捉到被摄体的曝光行的处理省去,能够提高信息取得的效率,并且能够防止从被摄体的信息的遗漏。
另外,曝光行是由图像传感器中包含的同时曝光的多个像素构成的列或行。此外,亮线是在例如由图79等表示的摄像图像中包含的线。
此外,也可以是,上述规定的曝光行仅包括上述多个曝光行中的、将摄像有上述被摄体的范围摄像的曝光行,不包含将没有摄像有上述被摄体的范围摄像的曝光行。
由此,能够更可靠地提高信息取得的效率,并且能够防止被摄体的信息的遗漏。
此外,也可以是,在上述第2摄像步骤中,取得将取得上述第1图像时的第1摄像时间用上述规定的曝光行中包含的行数等分的第2摄像时间,将上述第2摄像时间作为上述规定的曝光行中包含的各曝光行的摄像时间。
由此,例如如图328A及图328B所示,能够从作为发送机的被摄体适当地取得信息。
此外,也可以是,在上述第2摄像步骤中,将上述第1摄像步骤中的上述图像传感器的各曝光行的摄像时间设为上述规定的曝光行中包含的各曝光行的摄像时间。
由此,例如如图329A及图329B所示,能够从作为发送机的被摄体适当地取得信息。
此外,也可以是,在上述第2摄像步骤中,将由上述规定的曝光行摄像的多个上述第2图像合并,生成作为与上述第1图像相同的图像尺寸的第3图像;在上述信息取得步骤中,通过将由上述第3图像中包含的上述亮线的样式确定的数据解调来取得信息。
由此,例如如图330A及图330B所示,能够从作为发送机的被摄体适当地取得信息。
此外,也可以是,在上述决定步骤中,将上述多个曝光行中的、将比摄像有上述被摄体的范围窄的范围摄像的曝光行作为上述规定的曝光行。
由此,例如如图328B、图329B及图330B所示,能够不受手抖动等的影响而从作为发送机的被摄体适当地取得信息。
此外,也可以是,使用上述图像传感器的上述多个曝光行中的全部的曝光行将上述被摄体摄像的第1模式、和使用上述图像传感器的上述多个曝光行中的上述规定的曝光行将上述被摄体摄像的第2模式能够切换。
由此,通过进行切换,能够从作为发送机的被摄体适当地取得信息。
有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被摄体的摄像得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;摄像步骤,通过上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间摄像,取得包含上述亮线的图像;信息取得步骤,通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调而取得信息。
由此,通过被摄体的亮度变化发送的信息通过图像传感器的曝光行的曝光被取得,所以能够不需要例如用来进行无线通信的特别的通信仪器而进行多种多样的设备间的通信。另外,曝光行是由图像传感器中包含的同时曝光的多个像素构成的列或行。此外,亮线是在例如由图79等表示的摄像图像中包含的线。
例如,在上述摄像步骤中,将上述图像传感器中包含的多个曝光行分别以相互不同的定时依次曝光。
由此,通过进行卷帘快门方式的摄像发生的亮线包含在图像内的与各曝光行对应的位置,所以能够从被摄体得到许多信息。
这里,在上述信息取得步骤中,也可以将由上述亮线的样式中的与上述曝光行垂直的方向的样式确定的上述数据解调。
由此,能够适当地取得与亮度变化对应的信息。
此外,也可以是,在上述曝光时间设定步骤中,将上述曝光时间设定得比10毫秒短。
由此,能够更可靠地使图像中产生亮线。
这里,也可以是,在上述摄像步骤中,将以200Hz以上的频率亮度变化的上述被摄体摄像。
由此,例如如图305A及图305B所示,人不会感到闪变而能够从被摄体取得许多信息。
此外,也可以是,在上述摄像步骤中,取得包含与上述曝光行平行的亮线的上述图像。
由此,能够适当地取得与亮度变化对应的信息。
这里,也可以是,在上述信息取得步骤中,按照所取得的上述图像内的、与上述图像传感器中包含的各曝光行对应的区域,将根据在该区域中是否有亮线确定的表示0或1的上述数据解调。
由此,能够从被摄体取得被PPM调制的许多信息。例如如图79所示,当设每1秒的图像的数量(帧速率)为f、构成1个图像的曝光行数为l 时,如果根据各曝光行是否受光一定以上的光取得信息,则能够以最大fl 位每秒的速度取得信息。
此外,也可以是,在上述信息取得步骤中,按照上述区域,根据该区域的亮度值是否是阈值以上,来确定在该区域中是否有亮线。
由此,能够从被摄体适当地取得信息。
这里,也可以是,在上述摄像步骤中,按照规定的期间,将以与该规定的期间对应的一定的频率亮度变化的上述被摄体摄像;在上述信息取得步骤中,按照上述规定的期间,将由根据与该规定的期间对应的一定的频率的亮度变化生成的上述亮线的样式确定的上述数据解调。
由此,能够从被摄体取得被FM调制的许多信息。例如如图188所示,能够根据与频率f1对应的亮线的样式和与频率f2对应的亮线的样式取得适当的信息。
此外,也可以是,在上述摄像步骤中,将亮度变化以通过调整亮度的上升及下降中的一方的变化和下次上述一方的变化之间的时间来发送信号的上述被摄体摄像;在上述信息取得步骤中,将通过上述亮线的样式确定的、作为与上述时间建立了对应的符号的上述数据解调。
由此,例如如图248所示,能够不改变从被摄体发送的信息的内容,而通过PWM控制调整人感到的被摄体(例如照明设备)的明亮度。
这里,也可以是,在上述摄像步骤中,将亮度变化以使得对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中的上述被摄体摄像。
由此,人不会感到闪变而能够从被摄体取得许多信息。例如如图85所示,当调制后的信号为0时为非发光、当1时为发光,如果在发送信号中没有偏倚,则能够使移动平均时的各亮度值成为发光时的亮度值的约75%。结果,能够防止人感到闪变。
此外,也可以是,上述亮线的样式根据上述图像传感器的曝光时间而不同;在上述信息取得步骤中,将由与设定的上述曝光时间对应的上述样式确定的上述数据解调。
由此,例如如图91所示,能够从被摄体取得根据曝光时间而不同的信息。
这里,也可以是,上述信息通信方法还检测具备上述图像传感器的摄像装置的状态;在上述信息取得步骤中,取得表示上述被摄体的位置的上述信息,再基于所取得的上述信息和检测到的上述状态计算上述摄像装置的位置。
由此,例如如图185所示,不能使用GPS等,或者与或GPS等的情况相比能够更正确地确定摄像装置的位置。
此外,也可以是,在上述摄像步骤中,包括以沿着上述曝光行的方式排列的多个区域,将按照区域而亮度变化的上述被摄体摄像。
由此,例如如图258所示,能够从被摄体取得许多信息。
这里,也可以是,在上述摄像步骤中,也可以将以相互不同的定时发出同色异谱的多种光的上述被摄体摄像。
由此,例如如图272所示,人不会感到闪变而能够从被摄体取得许多信息。
此外,也可以是,上述信息通信方法还推测具备上述图像传感器的摄像装置存在的场所;在上述信息取得步骤中,取得上述被摄体的识别信息作为上述信息,并且从服务器取得与上述场所及上述识别信息建立了关联的关联信息。
由此,例如如图282及图283所示,即使是从多个照明设备将相同的识别信息通过亮度变化发送那样的情况,也能够根据摄像装置存在的场所 (建筑物)、即照明设备存在的场所(建筑物)取得适当的关联信息。
这里,有关本发明的一技术方案的信息通信方法是通过亮度变化发送信号的信息通信方法,包括:决定步骤,通过将发送对象的信号调制来决定亮度变化的样式;第1发送步骤,通过发光体按照所决定的上述样式亮度变化,来发送上述发送对象的信号;第2发送步骤,在上述发光体发送上述发送对象的信号后33毫秒以内,通过按照与所决定的上述样式相同的样式亮度变化,将与上述发送对象的信号相同的信号发送;在上述决定步骤中,决定上述样式,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中。
由此,决定亮度变化的样式,以使得相对于亮度变化以5毫秒以上的幅负移动平均时的各亮度值包含在预先决定的范围中,所以能够在防止人感到闪变的同时,通过亮度变化发送信号。进而,例如如图301B所示,由于在33毫秒以内发送相同的信号,所以即使在接收信号的接收机中有空白,也能够可靠地将信号向该接收机发送。
此外,也可以是,在上述决定步骤中,按照将由两位表示的信号分别调制为用表示相同的值的3个位和表示其他值的1个位构成的4位表示的信号的方式,将上述发送对象的信号调制。
由此,例如如图85所示,设当调制后的信号为0时为非发光、为1时为发光,如果在发送信号中没有偏倚,则能够使移动平均时的各亮度值成为发光时的亮度值的约75%。结果,能够更可靠地防止人感到闪变。
这里,也可以是,在上述决定步骤中,通过将亮度的上升及下降中的一方的变化与下次上述一方的变化之间的时间根据上述发送对象的信号调整,来决定上述亮度变化的样式。
由此,例如如图248所示,能够不改变发送对象的信号的内容而通过 PWM控制调整人感到的发光体(例如照明设备)的明亮度。
此外,也可以是,在上述第1发送步骤及上述第2发送步骤中,也可以进行亮度变化,以使具备上述图像传感器的摄像装置取得根据将亮度变化的上述发光体摄像的图像传感器的曝光时间而不同的信号。
由此,例如如图91所示,可以将根据曝光时间而不同的信号向摄像装置发送。
这里,也可以是,在上述第1发送步骤及上述第2发送步骤中,通过多个发光体同步亮度变化,上述多个发光体发送共通的信息,在将上述共通的信息发送后,通过按照发光体而亮度变化,按照该发光体而发送不同的信息。
由此,例如如图98所示,通过多个发光体将共通的信息同时发送,能够将多个发光体看作一个较大的发光体,能够由接收该共通的信息的摄像装置将发光体较大地摄像,所以能够将信息更快、从更远处发送。进而,例如如图186A所示,通过多个发光体将共通的信息发送,能够抑制按照发光体发送的独立的信息的信息量。
此外,也可以是,上述信息通信方法还包括受理是否进行上述发送对象的信号的调制的指示的指示受理步骤;在受理了表示进行上述调制的指示的情况下,执行上述决定步骤、上述第1发送步骤及上述第2发送步骤;在受理了表示不进行上述调制的指示的情况下,不执行上述决定步骤、上述第1发送步骤及上述第2发送步骤而上述发光体点灯或灭灯。
由此,例如如图186A所示,由于切换是否进行调制,所以能够抑制对于其他发光体的亮度变化作为噪声带来的影响。
这里,也可以是,上述发光体包括以沿着将该发光体摄像的图像传感器的曝光行的方式排列的多个区域;在上述第1发送步骤及上述第2发送步骤中,按照上述发光体的区域而亮度变化。
由此,例如如图258所示,能够发送许多信息。
此外,也可以是,在上述第1发送步骤及上述第2发送步骤中,上述发光体也可以通过将同色异谱的多种光以相互不同的定时发出而亮度变化。
由此,例如如图272所示,人不会感到闪变而能够发送许多信息。
这里,也可以是,在上述第1发送步骤及上述第2发送步骤中,作为上述发送对象的信号或上述相同的信号而发送上述发光体的识别信息。
由此,例如如图282所示,由于发送发光体的识别信息,所以接收到该识别信息的摄像装置能够经由因特网等的通信线路从服务器等取得与该识别信息建立了关联的更多的信息。
此外,有关本发明的一技术方案的信息通信方法,也可以是通过亮度变化发送信号的信息通信方法,包括:决定步骤,通过将发送对象的信号调制而决定多个频率;发送步骤,通过发光体按照所决定的上述多个频率中的某个一定的频率亮度变化来发送信号;变更步骤,将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率;在上述发送步骤中,上述发光体进行亮度变化,以使对于上述亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中。
由此,由于决定亮度变化的样式以使对于亮度变化以5毫秒以上的幅度移动平均时的各亮度值包含在预先决定的范围中,所以能够在防止人感到闪变的同时,通过亮度变化发送信号。进而,能够将FM调制后的许多信号发送。例如如图188所示,可以通过将亮度变化的频率(f1、f2等)以 33毫秒以上的周期变更来发送适当的信息。
(实施方式14)
在本实施方式中,对使用上述实施方式1~13的智能电话等的接收机和作为LED或有机EL等的闪烁样式而发送信息的发送机的各应用例进行说明。
图335是表示本实施方式的接收机的各模式的一例的图。
接收机8000在通常摄影模式中,通过以例如1/100秒的快门速度摄影,取得通常摄影图像,将该通常摄影图像显示到显示器上。在此情况下,在该通常摄影图像中,例如鲜明地摄入有街灯或作为店铺的招牌构成的标牌等的被摄体和其周围。
此外,接收机8000在可视光通信模式中,通过以例如1/10000秒的快门速度摄影,取得可视光通信图像。例如,在上述街灯或标牌作为上述实施方式1~13所示的发送机通过亮度变化发送信号的情况下,在该可视光通信图像中,在发送了信号的部位摄入有1个或多个亮线(以下称作亮线图样),在该部位以外什么都不摄入。即,在该可视光通信图像中,仅将亮线图样摄入,没有摄入被摄体的不亮度变化的部分及被摄体的周围。
此外,接收机8000在中间模式中,通过以例如1/3000秒的快门速度摄影,取得中间图像。在该中间图像中,摄入有亮线图样,并且也摄入了上述被摄体的不亮度变化的部分及被摄体的周围。因而,接收机8000通过将该中间图像显示在显示器上,用户能够知道从哪里或哪个位置发送了信号。另外,通过该中间图像摄入的亮线图样、被摄体及其周围分别与可视光通信图像的亮线图样、通常摄影图像的被摄体及其周围相比并不鲜明,但具有可由用户识别的鲜明度。
另外,在以下的说明中,将通常摄影模式或通常摄影模式下的摄影称作通常摄影,将可视光通信模式或可视光通信模式下的摄影称作可视光摄影(可视光通信)。此外,也可以代替通常摄影及可视光摄影而使用中间模式的摄影,也可以代替后述的合成图像而使用中间图像。
图336是表示本实施方式的接收机的摄影动作的一例的图。
接收机8000将摄影模式如通常摄影、可视光通信、通常摄影、…那样切换。并且,接收机8000通过将通常摄影图像与可视光通信图像合成,生成鲜明地摄入了亮线图样、被摄体及其周围的合成图像,将该合成图像显示到显示器上。该合成图像是通过在通常摄影图像中的发送了信号的部位叠加可视光通信图像的亮线图样而生成的图像。此外,通过该合成图像摄入的亮线图样、被摄体及其周围分别是鲜明的,具有对于用户而言可充分识别的鲜明度。通过将这样的合成图像显示,用户能够更明确地知道从哪里或哪个位置发送了信号。
图337是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000具备照相机Ca1及照相机Ca2。在这样的接收机8000中,照相机Ca1进行通常摄影,照相机Ca2进行可视光摄影。由此,照相机Ca1 取得上述那样的通常摄影图像,照相机Ca2取得上述那样的可视光通信图像。并且,接收机8000通过将通常摄影图像及可视光通信图像合成,生成上述合成图像,显示到显示器上。
图338A是表示本实施方式的接收机的摄影动作的另一例的图。
在具有两个照相机的上述接收机8000中,照相机Ca1将摄影模式如通常摄影、可视光通信、通常摄影、…那样切换。另一方面,照相机Ca2持续进行通常摄影。并且,当由照相机Ca1和照相机Ca2同时进行通常摄影时,接收机8000根据由这些照相机取得的通常摄影图像,利用立体视(三角测量的原理),推测从接收机8000到被摄体的距离(以下称作被摄体距离)。通过使用这样推测出的被摄体距离,接收机8000能够将可视光通信图像的亮线图样叠加到通常摄影图像的适当的位置。即,能够生成适当的合成图像。
图338B是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000例如具备3个照相机(照相机Ca1、照相机Ca2及照相机 Ca3)。在这样的接收机8000中,两个照相机(照相机Ca2及照相机Ca3) 持续进行通常摄影,其余的1个照相机(照相机Ca1)持续进行可视光通信。由此,不论是怎样的定时,都基于由进行通常摄影的两个照相机得到的通常摄影图像推测被摄体距离。
图338C是表示本实施方式的接收机的摄影动作的另一例的图。
接收机8000例如具备3个照相机(照相机Ca1、照相机Ca2及照相机 Ca3)。在这样的接收机8000中,各个照相机将摄影模式如通常摄影、可视光通信、通常摄影、…那样切换。这里,在1个期间中,以这些照相机的中的某两个照相机进行通常摄影、其余的1个照相机进行可视光通信的方式,将各个照相机的摄影模式按照期间切换。即,进行通常摄影的照相机的组合周期性地变化。由此,不论是怎样的期间,都能够基于由进行通常摄影的两个照相机得到的通常摄影图像推测被摄体距离。
图339A是表示本实施方式的接收机的照相机配置的一例的图。
在接收机8000具备两个照相机Ca1及Ca2的情况下,如图339A所示,两个照相机Ca1及Ca2被配置在相互离开的位置。由此,能够将被摄体距离精度良好地推测。即,两个照相机的间的距离越长,能够越高精度地推测被摄体距离。
图339B是表示本实施方式的接收机的照相机配置的另一例的图。
在接收机8000具备3个照相机Ca1、照相机Ca2及照相机Ca3的情况下,如图339B所示,通常摄影用的两个照相机Ca1及Ca2被配置在相互离开的位置。此外,可视光通信用的照相机Ca3被配置在例如照相机Ca1与照相机Ca2之间。由此,能够高精度地推测被摄体距离。即,通过将最远离的两个照相机用于通常摄影,能够高精度地推测被摄体距离。
图340是表示本实施方式的接收机的显示动作的一例的图。
接收机8000如上述那样,将摄影模式如可视光通信、通常摄影、可视光通信、…那样切换。这里,接收机8000在最初进行可视光通信时将应用程序起动。并且,接收机8000基于通过可视光通信接收到的信号,如上述实施方式1~13所示那样推测自己的位置。接着,接收机8000在进行通常摄影时,在通过该通常摄影取得的通常摄影图像中显示AR(Augmented Reality)信息。该AR信息是基于如上述那样推测出的位置等取得的信息。此外,接收机8000基于9轴传感器的检测结果及通常摄影图像的运动检测等,推测接收机8000的移动及方向的变化,匹配于该推测出的移动及方向的变化使AR信息的显示位置移动。由此,能够使AR信息追随于通常摄影图像的被摄体像。
此外,接收机8000如果将摄影模式从通常摄影切换为可视光通信,则在该可视光通信时,将AR信息叠加到在紧接着之前的通常摄影时取得的最新的通常摄影图像上。并且,接收机8000将叠加了AR信息的通常摄影图像显示。此外,接收机8000与通常摄影时同样,基于9轴传感器的检测结果,推测接收机8000的移动及方向的变化,匹配于该推测出的移动及方向的变化而使AR信息及通常摄影图像移动。由此,在可视光通信时,也与通常摄影时同样,能够匹配于接收机8000的移动等而使AR信息追随于通常摄影图像的被摄体像。此外,能够匹配于接收机8000的移动等而将该通常图像扩大及缩小。
图341是表示本实施方式的接收机的显示动作的一例的图。
例如,接收机8000也可以如如图341的(a)所示那样显示摄入了亮线图样的上述合成图像。此外,接收机8000也可以如图341的(b)所示,通过代替亮线图样而将作为用来通知发送了信号的具有规定的颜色的图像的信号明示对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。
此外,接收机8000也可以如图341的(c)所示那样显示发送了信号的部位被用点线的框和识别码(例如,ID:101、ID:102等)表示的通常摄影图像作为合成图像。此外,接收机8000也可以如图341的(d)所示,通过代替亮线图样而将作为用来通知发送了特定的种类的信号的具有规定的颜色的图像的信号识别对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。在此情况下,该信号识别对象的颜色根据从发送机输出的信号的种类而不同。例如,在从发送机输出的信号是位置信息的情况下叠加红色的信号识别对象,则从发送机输出的信号是票券的情况下叠加绿色的信号识别对象。
图342是表示本实施方式的接收机的动作的一例的图。
例如,接收机8000也可以在通过可视光通信接收到信号的情况下,将通常摄影图像显示,并输出用来向用户通知发现了发送机的声音。在此情况下,接收机8000也可以根据发现的发送机的个数、接收到的信号的种类或由该信号确定的信息的种类等,使输出的声音的种类、输出次数或输出时间不同。
图343是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户接触在摄入在合成图像中的亮线图样上,则接收机8000 基于从与该接触到的亮线图样对应的从被摄体发送的信号生成信息通知图像并显示该信息通知图像。该信息通知图像例如表示店铺的票券或场所等。另外,亮线图样也可以是图341所示的信号明示对象、信号识别对象或点线框等。关于以下记载的亮线图样一是同样的。
图344是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户接触在摄入在合成图像上的亮线图样上,则接收机8000 基于从与该接触到的亮线图样对应的被摄体发送的信号生成信息通知图像,显示该信息通知图像。该信息通知图像例如将接收机8000的当前地用地图等表示。
图345是表示本实施方式的接收机的动作的另一例的图。
例如,接收机8000从构成为发送机的作为被摄体的两个街灯接收信号。并且,接收机8000与上述实施方式1~13同样,基于这些信号推测自己的当前地。并且,接收机8000显示通常摄影图像,并将表示该推测结果的信息通知图像(表示纬度及经度等的图像)添加到通常摄影图像上而显示。另外,接收机8000也可以将辅助信息通知图像叠加到通常摄影图像中而显示。该辅助信息通知图像例如是用来向用户引导将9轴传感器(特别是地磁传感器)校准的操作、即用来将漂移消除的操作的。通过进行这样的操作,能够以高精度推测上述当前地。
此外,如果由用户接触到显示的信息通知图像,则接收机8000也可以代替通常摄影图像而显示表示该推测出的位置的地图。
图346是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户对显示有合成图像的接收机8000进行划动,则接收机 8000显示与图341的(c)所示的通常摄影图像同样的具有点线框及识别码的通常摄影图像,并以追随于划动的操作的方式显示信息的一览。在该一览中,表示通过从由各识别码表示的部位(发送机)发送的信号确定的信息。此外,划动例如也可以是从接收机8000中的显示器的右侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的上侧、下侧或左侧向中间移动手指的操作。
此外,如果由用户对该一览中包含的信息轻击,则接收机8000显示更详细地表示该信息的信息通知图像(例如表示票券的图像)。
图347是表示本实施方式的接收机的动作的另一例的图。
例如,如果用户对显示有合成图像的接收机8000进行划动,则接收机 8000以追随于划动的操作的方式将信息通知图像叠加在合成图像上而显示。该信息通知图像是将被摄体距离与箭头一起向用户容易理解地表示的。此外,划动例如也可以是从接收机8000的显示器的下侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的左侧、上侧或右侧向中间移动手指的操作。
图348是表示本实施方式的接收机的动作的另一例的图。
例如,接收机8000将表示多个店铺的作为标牌的发送机作为被摄体摄影,显示由该摄影取得的通常摄影图像。这里,如果用户将摄入在通常摄影图像中的被摄体中包含的1个店铺的标牌的图像轻击,则接收机8000基于从该店铺的标牌发送的信号生成信息通知图像,显示该信息通知图像 8001。该信息通知图像8001例如是表示店铺的空席状况等的图像。
图349是表示本实施方式的接收机、发送机和服务器的动作的一例的图。
首先,构成为电视机的发送机8012通过亮度变化将信号向接收机8011 发送。该信号例如包括用来向用户提示与正在视听的节目关联的内容的购买的信息。接收机8011如果通过可视光通信接收到该信号,则基于该信号,显示向用户提示内容的购买的信息通知图像。如果用户进行用来购买该内容的操作,则接收机8011将插入在接收机8011中的SIM(Subscriber Identity Module)卡中包含的信息、用户ID、终端ID、信用卡信息、用于核款的信息、口令及发送机ID中的至少1个向服务器8013发送。服务器8013按照用户将用户ID和支付信息建立联系而管理。并且,服务器8013 基于从接收机8011发送的信息确定用户ID,确认与该用户ID建立了联系的支付信息。通过该确认,服务器8013判断是否对用户许可内容的购买。并且,服务器8013如果判断为许可,则将许可信息向接收机8011发送。接收机8011如果接收到许可信息,则将该许可信息向发送机8012发送。接收到许可信息的发送机8012将该内容例如经由网络取得并再现。
此外,发送机8012也可以通过亮度变化将包含发送机8012的ID的信息对接收机8011发送。在此情况下,接收机8011将该信息向服务器8013 发送。服务器8013如果取得该信息,则能够判断为正在由该发送机8012 视听例如电视机节目,能够进行电视机节目的视听率调查。
此外,接收机8011通过将由用户操作的内容(投票等)包含在上述信息中向服务器8013发送,服务器8013能够将该内容反映到电视机节目中。即,能够实现视听者参加型的节目。进而,接收机8011在受理了用户的写入的情况下,通过将该写入的内容包含在上述信息中向服务器8013发送,服务器8013能够将该写入反映到电视机节目或网络上的公告板等上。
进而,通过发送机8012发送上述那样的信息,服务器8013能够对通过收费广播或点播程序的电视机节目的视听进行核款。此外,服务器8013 可以对接收机8011显示广告,或将向发送机8012显示的电视机节目的详细信息显示,或将表示该详细信息的站点的URL显示。进而,服务器8013 通过取得由接收机8011显示了广告的次数或通过该广告购买的商品的金额等,能够对广告主进行与该次数或金额对应的核款。这样的基于金额的核款即使看到了广告的用户不立即购买该商品也能够进行。此外,服务器8013 当从发送机8012经由接收机8011取得了表示发送机8012的生产商的信息时,能够对通过该信息表示的生产商进行服务(例如对于上述商品的销售的报酬的支付)。
图350是表示本实施方式的接收机的动作的另一例的图。
例如,用户将接收机8021的照相机朝向作为照明体构成的多个发送机8020a~8020d。此时,移动接收机8021以将发送机8020a~8020d分别依次作为被摄体摄影。并且,接收机8021通过在该移动的期间中进行可视光通信,从各发送机8020a~8020d接收信号。在这些信号中包含表示发送机的位置的信息。接收机8021基于由该接收到的来自发送机8020a~8020d 的信号表示的位置、接收机8021中具备的9轴传感器的检测结果和通过摄影得到的图像的运动,使用三角测量的原理推测接收机8021的位置。在此情况下,通过移动接收机8021,将9轴传感器(特别是地磁传感器)的漂移消除,所以能够推测精度更高的位置。
图351是表示本实施方式的接收机的动作的另一例的图。
接收机8030例如构成为具备照相机的头戴显示器。该接收机8030当开始按钮被按下时,开始通过可视光通信模式的摄影即可视光通信。并且,在通过可视光通信接收到信号的情况下,接收机8030将与该接收到的信号对应的信息向用户通知。该通知例如通过从接收机8030所具备的扬声器输出声音来进行、或通过图像的显示来进行。此外,可视光通信在开始按钮被按下时以外,也可以在指示开始的声音的输入被接收机8030受理时或指示开始的信号被接收机8030以无线通信接收到时开始。此外,也可以在通过接收机8030所具备的9轴传感器得到的值的变化幅度超过规定的范围时、或在通常摄影图像中稍稍出现了亮线图样时开始可视光通信。
图352是表示本实施方式的接收机的初始设定的例子的图。
接收机8030在初始设定时显示对位图像8031。该对位图像8031是用来进行通过接收机8030的照相机的摄影得到的图像内由用户指示的位置和由接收机8030显示的图像的对位的。如果用户将指尖对准于由该对位图像 8031表示的圆的位置,则接收机8030将该指尖的位置与圆的位置建立关联而进行对位。即,进行由用户指示的位置的校准。
图353是表示本实施方式的接收机的动作的另一例的图。
接收机8030如果通过可视光通信确定了发送信号的部位,则显示在该部位摄入了亮线图样的合成图像8034。用户对于该亮线图样进行轻击或双轻击等的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图354是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行移动指尖以将合成图像8034中的亮线图样包围的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图355是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行将指尖以预先决定的时间以上碰抵在合成图像8034中的亮线图样上的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图356是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行通过划动将指尖朝向合成图像8034的亮线图样移动的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。
图357是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034。这里,用户进行使将视线朝向合成图像8034的亮线图样的状态持续预先决定的时间以上的操作。或者,用户进行在将视线朝向该亮线图样的状态下以预先设定的次数眨眼的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像 8032。
图358是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034,并显示与合成图像8034 中的亮线图样分别建立了关联的箭头。这些箭头按照亮线图样而朝向不同的方向。这里,用户进行将头沿着某个箭头移动的操作。接收机8030如果基于9轴传感器的检测结果受理了该操作,则确定与对应于该操作的箭头、即朝向将头移动的方向的箭头建立了关联的亮线图样。并且,接收机8030 将基于从与该亮线图样对应的部位发送的信号的信息通知图像8032显示。
图359A是表示在本实施方式的接收机的操作中使用的笔的图。
笔8033具备通过亮度变化发送信号的发送机8033a、按钮8033b和按钮8033c。如果按钮8033b被按下,则发送机8033a将预先决定的第1信号发送,如果按钮8033c被按下,则发送机8033a将与第1信号不同的预先决定的第2信号发送。
图359B是表示本实施方式的使用笔的接收机的动作的图。
笔8033被作为上述用户的指尖的替代物使用,如记录笔那样使用。此外,通过将按钮8033b和按钮8033c区分使用,能够将笔8033作为通常的笔使用,或如擦除橡皮那样使用。
图360是表示本实施方式的接收机的外观的一例的图。
接收机8030具备第1接触传感器8030a和第2接触传感器8030b。这些接触传感器被安装在接收机8030的框架上。例如,如果用户将之间碰抵在第1接触传感器8030a上并移动,则接收机8030在向用户显示的图像上,使指示标匹配于该指尖的运动而移动。此外,如果用户接触在第2接触传感器8030b上,则接收机8030进行在向用户显示的图像上选择指示标被对准的对象的处理。
图361是表示本实施方式的接收机的外观的另一例的图。
接收机8030具备接触传感器8030c。该接触传感器8030c安装在接收机8030的框架上。例如,如果用户将之间碰抵在接触传感器8030c上并移动,则接收机8030在向用户显示的图像上,将指示标匹配于该指尖的运动而移动。此外,如果用户将接触传感器8030c按下,则接收机8030进行在向用户显示的图像上选择指示标被对准的对象的处理。即,接触传感器 8030c构成为所谓可点击接触传感器。
图362是表示本实施方式的接收机的动作的另一例的图。
接收机8030与上述同样地显示合成图像8034,并在合成图像8034中显示上述指示标8035。在接收机8030具备第1接触传感器8030a和第2 接触传感器8030b的情况下,用户通过将指尖碰抵在第1接触传感器8030a 上并移动而移动该指示标,将该指示标对准于作为亮线图样的对象。并且,用户通过对第2接触传感器8030b触碰而使接收机8030选择该亮线图样。接收机8030如果选择了亮线图样,则将基于从该亮线图样的部位发送的信号的信息通知图像8032显示。
此外,在接收机8030不具备接触传感器8030c的情况下,用户通过将指尖碰抵在接触传感器8030c上并移动而移动该指示标,将该指示标对准于作为亮线图样的对象。用户通过将接触传感器8030c按下,使接收机8030 选择该亮线图样。接收机8030如果选择了该亮线图样则,将基于从该亮线图样的部位发送的信号的信息通知图像8032显示。
图363A是表示本实施方式的接收机的动作的另一例的图。
接收机8030基于通过进行可视光通信得到的信号,将手势确认图像 8036显示。该手势确认图像8036例如是为了向用户提供服务而向该用户提示规定的手势的图像。
图363B是表示使用本实施方式的接收机的应用例的图。
用户8038佩戴着接收机8030而处于例如店铺中。这里,接收机8030 向用户8038显示上述手势确认图像8036。用户8038按照该手势确认图像 8036进行规定的手势。这里,处于店铺中的店员8039佩戴着接收机8037。接收机8037构成为具备照相机的头戴显示器,也可以具有与接收机8030 相同的结构。接收机8037也基于通过进行可视光通信得到的信号而显示手势确认图像8036。店员8039判断由显示的手势确认图像8036表示的规定的手势与由用户8038进行的手势是否一致。店员8039当判断为一致时,对用户8038提供与手势确认图像8036建立了关联的服务。
图364A是表示本实施方式的接收机的动作的另一例的图。
接收机8030基于通过进行可视光通信得到的信号而显示手势确认图像 8040。该手势确认图像8040例如是为了许可无线通信而向用户提示规定的手势的图像。
图364B是表示使用本实施方式的接收机的应用例的图。
用户8038佩戴着接收机8030。这里,接收机8030向用户8038显示上述手势确认图像8040。用户8038按照该手势确认图像8040进行规定的手势。这里,处于用户8038的周围的人8041佩戴着接收机8037。接收机8037 构成为具备照相机的头戴显示器,也可以具有与接收机8030相同的结构。接收机8037通过将由用户8038进行的规定的手势摄影,取得在该手势中包含的口令等的认证信息。并且,接收机8037如果判断为该认证信息与预先决定的信息一致,则确立与接收机8030之间的无线连接。在进行该确立后,接收机8030和接收机8037能够相互进行无线通信。
图365A是表示本实施方式的发送机的动作的一例的图。
发送机以例如预先决定的周期将信号1和信号2交替地发送。信号1 的发送和信号2的发送分别通过可视光的闪烁等的亮度变化进行。此外,用来发送信号1的亮度变化的样式和用来发送信号2的亮度变化的样式相互不同。
图365B是表示本实施方式的发送机的动作的另一例的图。
发送机也可以不像上述那样将信号1和信号2连续发送,而隔开缓冲时间断续地将信号1和信号2发送。这里,发送机在缓冲时间中不进行亮度变化。或者,发送机也可以在缓冲时间中将表示是缓冲时间的信号通过亮度变化发送、或进行与用来将信号1及信号2分别发送的亮度变化不同的亮度变化。由此,接收机能够将信号1和信号2不混信而适当地接收。
图366是表示本实施方式的发送机的动作的另一例的图。
发送机将由前同步码、块1、块2、块3及检验信号构成的结构单位的信号列通过亮度变化反复发送。这里,块1具有前同步码、地址1、数据1 及检验信号。块2及块3也与块1同样地构成。此外,通过使用在块1、块 2及块3各自中包含的数据而得到特定的信息。
即,在上述那样的信号列中,将1个数据或信息分为3个块保存。因而,如上述实施方式1~13所示那样在摄影中需要空白期间的接收机即使不能从1个信号列接收到块1、块2及块3的全部的数据,也能够从其他信号列接收其余的数据。结果,即使是需要空白期间的接收机,也能够从至少1个信号列适当地取得特定的信息。
此外,在上述那样的信号列中,相对于3个块的集合配置有前同步码和检验信号。因而,不需要空白期间而能够受光的接收机、例如具备照度传感器等的接收机通过使用相对于该集合配置的前同步码和检验信号,能够将1个信号列一次接收,能够在短期间中取得特定的信息。
图367是表示本实施方式的发送机的动作的另一例的图。
发送机如上述那样,当将包括块1、块2及块3的结构单位的信号列反复发送时,也可以按照信号列将该信号列中包含的块的配置变更。例如,在最初的信号列中,以块1、块2、块3的顺序配置各块,在下个信号列中,以块3、块1、块2的顺序配置各块。由此,能够避免由需要周期性的空白期间的接收机仅取得相同的块。
图368是表示本实施方式的多个发送机与接收机之间的通信形态的一例的图。
接收机8050也可以将从构成为照明体的发送机8051a及发送机8051b 发送并被反射面反射的信号(可视光)接收。由此,能够将来自许多发送机的信号一起接收。此外,在此情况下,发送机8051a及发送机8051b分别发送相互不同的频率或协议的信号。由此,接收机8050能够将来自这些发送机的信号不混信而接收。
图369是表示本实施方式的多个发送机的动作的一例的图。
也可以是,发送机8051a及发送机8051b中的一方监视来自另一方的信号的发送状况,发送信号以防止与另一方的信号的混信。例如,一方的发送机接收从另一方的发送机发送的信号,发送与该信号不同协议的信号。或者,一方的发送机检测从另一方的发送机不发送信号的期间,在该期间中发送信号。
图370是表示本实施方式的多个发送机与接收机之间的通信形态的另一例的图。
发送机8051a及发送机8051b也可以将分别相同的频率或协议的信号发送。在此情况下,接收机8050确定从这些发送机发送的信号的强度,即在通过摄影得到的图像中包含的亮线的边缘强度。接收机8050与发送机之间的距离越长,该强度越弱。在接收机8050与发送机8051a及发送机8051b 的各自之间的距离不同的情况下,能够利用这样的距离的差异。即,接收机8050根据该确定的强度,能够将从发送机8051a及发送机8051b分别发送的信号适当分离并接收。
图371是表示本实施方式的接收机的动作的另一例的图。
接收机8050接收从发送机8051a发送并被反射面反射的信号。此时,接收机8050也可以基于通过摄影得到的图像内的亮度的强度分布(多个位置处的亮度的差)推测发送机8051a的位置。
图372是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7510a用后照相机(外照相机)7510c 将光源7510b摄像,接收从光源7510b发送的信号,根据接收到的信号取得光源7510b的位置和朝向。接收机7510a根据光源7510b的摄像图像中的拍摄方式及接收机7510a中具备的9轴传感器的传感器值,推测接收机 7510a自身的位置和朝向。接收机7510a用前照相机(面部照相机、内照相机)7510f将用户7510e摄像,通过图像处理推测7510e的头部的位置和朝向及视线方向(眼球的位置和朝向)。接收机7510a将推测结果向服务器发送。接收机7510a根据用户7510e的视线方向变更行为(显示器的显示内容及再现音)。通过后照相机7510c的摄像和通过前照相机7510f的摄像既可以同时进行,也可以交替地进行。
图373是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7511d、7511i与上述同样,接收来自光源7511b、7511g的信号,推测自身的位置和朝向,推测用户7511e、7511j 的视线方向。此外,接收机7511d、7511i基于接收到的数据,从服务器取得周边的物体7511a~7511c、7511f~7511h的信息。接收机7511d、7511i 以从用户观察如同透过接收机7511d、7511i看到面向的一侧的物体的方式,使显示器的显示变化。接收机7511d、7511i根据显示器上映射出的内容,显示7511k那样的AR(扩展现实)对象。接收机7511i当用户7511j的视线超过照相机的摄像的摄像范围时,如7511l那样显示是范围外。或者,在范围外的区域中显示AR对象或其他信息。或者,将范围外区域与过去摄像时的图像接合而显示。
图374是表示本实施方式的接收机的应用例的图。
例如构成为智能电话的接收机7512c与上述同样,接收来自光源7512a 的信号,推测自身的位置和朝向,推测用户7512d的视线方向。接收机7512c 进行关于处于用户7512d的视线方向上的物体7512b的处理。例如,将关于物体7512b的信息显示在画面上。当用户7512h的视线方向从物体7512f 向接收机7512g移动时,接收机7512g判断用户7512h的兴趣在于物体 7512f,继续关于物体7512f的处理。例如,保持将物体7512f的信息显示在画面上的原状。
图375是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7513a亮度较高,不论在作为发送信号亮度较高(high)时和亮度较低(low)时,都在由接收机摄像的情况下超过上限的明亮度,如7513b那样不显现亮线。所以,如7513c所示,通过具备如散光板或棱镜那样将光扩散或减弱的部分7513d而使亮度下降,接收机能够如7513e那样将亮线摄像。
图376是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7514a由于光源不是均匀的,所以摄像图像如7514b那样,在亮度中发生不匀,引起接收错误。所以,如7514c 所示,通过具备如散光板或棱镜那样使光扩散的部分7514d而使得亮度变均匀,能够抑制接收错误。
图377是表示本实施方式的接收方法的应用例的图。
发送机7515a、7515b其中心部分的亮度较高,在接收机的摄像图像中不显现亮线,在周边部分显现亮线。接收机虽然因亮线中断而不能从7515d 的部分接收信号,但能够从7515c的部分接收信号。接收机通过以7515e 的路径读取亮线,能够从比7515c的部分多的亮线接收信号。
图378是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7516a、7516b、7516c、7516d与7513a 同样,亮度较高,在用接收机摄像时不易发生亮线。所以,通过具备散光板―棱镜7516e、反射板7516f、反射板―半反射镜7516g、反射板7516h 或散光板―棱镜7516j,能够使光扩散而使发生亮线的部分变大。这些发送机将摄像图像以如7515a那样在周围发生亮线的形式摄像。接收机由于使用摄像图像上的发送机的大小推测接收机与发送机之间的距离,所以通过将光被扩散的部分作为光源的大小、与发送ID建立关联存储到服务器等中,接收机能够正确地推测到发送机的距离。
图379是表示本实施方式的发送机的应用例的图。
例如,构成为照明体的发送机7517a与7513a同样亮度较高,在由接收机摄像时不易发生亮线。所以,通过具备反射板7517b,能够使光扩散而使发生亮线的部分变大。
图380是表示本实施方式的发送机的应用例的图。
发送机7518a通过使来自光源的光被7518c反射,接收机能够将亮线在大范围中摄像。发送机7518d通过将光源朝向散光板或棱镜7518e,接收机能够将亮线在大范围中摄像。
图381是表示本实施方式的接收机的动作的另一例的图。
接收机通过上述那样的合成图像或中间图像等,将亮线图样显示。此时,接收机也可以不能接收来自与该亮线图样对应的发送机的信号。这里,如果用户通过进行对亮线图样的操作(例如轻击)而选择该亮线图样,则接收机通过进行光学缩放,显示该亮线图样的部位被扩大的合成图像或中间图像。通过进行这样的光学缩放,接收机能够将与该亮线图样对应的来自发送机的信号适当地接收。即,即使通过摄像得到的图像过小而不能取得信号,通过进行光学缩放,也能够将该信号适当地接收。此外,即使是显示有能够取得信号的大小的图像的情况,通过进行光学缩放,也能够进行较快的接收。
(本实施方式的总结)
本实施方式的信息通信方法,是从被摄体取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤,通过由上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;图像显示步骤,基于上述亮线图像,以能够识别显现上述亮线的部位的空间位置的方式,显示摄入了上述被摄体和该被摄体的周围的显示用图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得发送信息。
例如,将图335~图337及图341所示那样的合成图像或中间图像作为显示用图像显示。此外,在摄入有被摄体和该被摄体的周围的显示用图像中,将显现有亮线的部位的空间位置通过亮线图样、信号明示对象、信号识别对象或点线框等识别。因而,用户通过观察这样的显示图像,能够容易地找出通过亮度变化发送信号的被摄体。
此外,也可以是,上述信息通信方法还包括:第2曝光时间设定步骤,设定比上述曝光时间长的较长曝光时间;通常图像取得步骤,通过上述图像传感器将上述被摄体和该被摄体的周围以上述较长曝光时间摄影,取得通常摄影图像;合成步骤,基于上述亮线图像确定在上述通常摄影图像中显现上述亮线的部位,通过将作为指示上述部位的图像的信号对象叠加到上述通常摄影图像上,生成合成图像;在上述图像显示步骤中,将上述合成图像作为上述显示用图像显示。
例如,信号对象是亮线图样、信号明示对象、信号识别对象或点线框等,如图336,图337及图341所示,显示合成图像作为显示用图像。由此,用户能够更容易地找到通过亮度变化发送信号的被摄体。
此外,也可以是,在上述第1曝光时间设定步骤中,将曝光时间设定为1/3000秒;在上述亮线图像取得步骤中,取得摄入有上述被摄体的周围的上述亮线图像;在上述图像显示步骤中,将上述亮线图像作为上述显示用图像显示。
例如,如图335所示,取得亮线图像作为中间图像并显示。因而,不需要进行取得通常摄影图像和可视光通信图像并合成等的处理,能够实现处理的简略化。
此外,也可以是,上述图像传感器包括第1图像传感器和第2图像传感器;在上述通常图像取得步骤中,通过由上述第1图像传感器进行摄影而取得上述通常摄影图像;在上述亮线图像取得步骤中,通过上述第2图像传感器与上述第1图像传感器的摄影同时摄影,取得上述亮线图像。
例如,如图337所示,将通常摄影图像和作为亮线图像的可视光通信图像通过各自的照相机取得。因而,与用1个照相机取得通常摄影图像和可视光通信图像的情况相比,能够将这些图像更快地取得,能够使处理高速化。
此外,也可以是,上述信息通信方法还包括:信息提示步骤,在通过用户的操作指定了上述显示用图像中的显现上述亮线的部位的情况下,提示基于从指定的部位的上述亮线的样式取得的上述发送信息的提示信息。例如,上述用户的操作,是轻击、划动、将指尖持续规定的时间以上碰抵在上述部位上的操作,将使视线朝向上述部位的状态持续规定的时间以上的操作,将上述用户的身体的一部分向与上述部位建立关联而表示的箭头移动的操作,将亮度变化的笔尖碰抵在上述部位上的操作,或通过碰触接触传感器而将显示在上述显示用图像上的指示标对准于上述部位的操作。
例如,如图343~图348、图353~图362所示,将提示信息作为信息通知图像显示。由此,能够向用户提示希望的信息。
此外,也可以是,上述图像传感器被装备在头戴显示器上;在上述图像显示步骤中,搭载在上述头戴显示器上的投影机显示上述显示用图像。
由此,例如如图351~图358所示,能够简单地将信息向用户提示。
此外,也可以是从被摄体取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤,通过由上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述亮线图像取得步骤中,通过在上述图像传感器被移动的期间中将多个上述被摄体摄影,取得包含多个显现有上述亮线的部位的上述亮线图像;在上述信息取得步骤中,通过按照上述部位将由该部位的上述亮线的样式确定的数据解调,取得多个上述被摄体各自的位置;上述信息通信方法还包括基于所取得的多个上述被摄体各自的位置及上述图像传感器的移动状态来推测上述图像传感器的位置的位置推测步骤。
由此,例如如图350所示,根据多个照明体等的被摄体的亮度变化,能够正确地推测包括图像传感器的接收机的位置。
此外,也可以是从被摄体取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤,通过由上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;信息提示步骤,将所取得的上述信息提示;在上述信息提示步骤中,对于上述图像传感器的用户将提示预先决定的手势的图像作为上述信息提示。
由此,例如如图363A~图364B所示,能够根据用户是否进行被提示那样的手势来进行对于该用户的认证等,能够提高方便性。
此外,也可以是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;图像取得步骤,通过由上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得包含上述亮线的图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将摄入在反射面上的多个上述被摄体摄影而取得上述亮线图像;在上述信息取得步骤中,根据上述亮线图像中包含的亮线的强度,将上述亮线分离为与多个上述被摄体分别对应的亮线,通过按照上述被摄体将由与该被摄体对应的亮线的样式确定的数据解调,来取得信息。
由此,例如如图370所示,即使是多个照明体等的被摄体分别亮度变化的情况,也能够从被摄体分别取得适当的信息。
此外,也可以是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;图像取得步骤,通过由上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将摄入在反射面上的多个上述被摄体摄影而取得上述亮线图像;上述信息通信方法还包括基于上述亮线图像内的亮度分布来推测上述被摄体的位置的位置推测步骤。
由此,例如如图371所示,能够基于亮度分布推测适当的被摄体的位置。
此外,也可以是通过亮度变化发送信号的信息通信方法,包括:第1 决定步骤,通过将发送对象的第1信号调制来决定亮度变化的第1样式;第2决定步骤,通过将发送对象的第2信号调制来决定亮度变化的第2样式;发送步骤,通过发光体将按照所决定的上述第1样式的亮度变化和按照所决定的上述第2样式的亮度变化交替地进行,将上述第1及第2信号发送。
由此,例如如图365A所示,能够将第1信号和第2信号分别没有延迟地发送。
此外,也可以是,在上述发送步骤中,当将亮度变化用按照上述第1 样式的亮度变化和按照上述第2样式的亮度变化切换时,隔开缓冲时间来切换。
由此,例如如图365B所示,能够抑制第1信号和第2信号的混信。
此外,也可以是通过亮度变化发送信号的信息通信方法,包括:决定步骤,通过将发送对象的信号调制来决定亮度变化的样式;发送步骤,通过发光体按照所决定的上述样式而亮度变化,将上述发送对象的信号发送;上述信号由多个大块构成;上述多个大块分别包括第1数据、与上述第1 数据对应的前同步码、和与上述第1数据对应的检验信号;上述第1数据由多个小块构成,上述小块包括第2数据、与上述第2数据对应的前同步码和与上述第2数据对应的检验信号。
由此,例如如图366所示,不论是需要空白期间的接收机、还是不需要空白期间的接收机,都能够适当地取得数据。
此外,也可以是通过亮度变化发送信号的信息通信方法,包括:决定步骤,通过多个发送机分别将发送对象的信号调制,决定亮度变化的样式;发送步骤,按照发送机,通过该发送机中具备的发光体按照所决定的上述样式而亮度变化,将上述发送对象的信号发送;在上述发送步骤中,将相互频率或协议不同的信号发送。
由此,例如如图368所示,能够抑制来自多个发送机的信号的混信。
此外,也可以是通过亮度变化发送信号的信息通信方法,包括:决定步骤,通过多个发送机分别将发送对象的信号调制,决定亮度变化的样式;发送步骤,按照发送机,通过该发送机中具备的发光体按照所决定的上述样式而亮度变化,将上述发送对象的信号发送;在上述发送步骤中,上述多个发送机中的1个发送机接收从另一方的发送机发送的信号,以不与接收到的信号混信的方式,将其他信号发送。
由此,例如如图369所示,能够抑制来自多个发送机的信号的混信。
(实施方式15)
在本实施方式中,对使用上述实施方式1~14的智能电话等的接收机和作为LED的闪烁样式而发送信息的发送机的各应用例进行说明。
图382是表示实施方式15的发送信号的一例的图。
将发送信号D分割为规定的大小的数据片Dx(例如,Dx=D1、D2、D3),将根据各数据片计算出的错误检测―校正用的帧检验序列FCS和头Hdr向各数据片附加。进而,将根据原数据计算出的错误检测―校正用的帧检验序列FCS2和头Hdr2附加。由Hdr、Dx、FCS构成的数据是用来由图像传感器接收的结构。由于图像传感器适合于在短时间接收连续的数据,所以Hdr、 Dx、FCS连续地发送。由Hdr2、Dx、FCS2构成的数据是用来由照度传感器接收的结构。由图像传感器接收的Hdr和FCS越短越好,但比由照度传感器接收的Hdr2和FCS2可以为更长的信号列。通过在Hdr2中使用较长的信号系列,能够提高头检测精度。通过使FCS2变长,能够采用能够将许多的位错误进行检测―校正的代码,能够使错误检测―校正的性能提高。另外,也可以不发送Hdr2和FCS2,而代之由照度传感器接收Hdr或FCS。照度传感器也可以接收Hdr和Hdr2的两者或FCS和FCS2的两者。
图383是表示实施方式15的发送信号的一例的图。
FCS2信号长较长,如果被频繁地插入,则图像传感器中的接收效率恶化。所以,减小FCS2的插入频度,代之而插入表示FCS2的场所的信号PoFCS2。作为例子,在信号表现中使用每单位时间具有2位的信息量的4PPM的情况下,如果在FCS2中使用CRC32,则需要16单位的发送时间,但值域为0~ 3的PoFCS2能够在1单位时间中发送。通过比仅插入FCS2的情况缩短发送时间,能够使图像传感器接收的效率提高。照度传感器将接着发送信号D 的PoFCS2接收,根据PoFCS2确定FCS2的发送时刻,接收FCS2。进而,接收接着FCS2的PoFCS2,确定下个FCS2的发送时刻,接收下个FCS2。如果先接收到的FCS2与后接收到的FCS2相同,则推测为接收机接收到相同的信号。
图384A~图384C是表示实施方式15的接收机的摄像图像(亮线图像) 的一例的图。
在图384A所示的摄像图像中,由于拍摄较小,所以亮线的数量较少。因而,从该摄像图像一次仅能接收少量的数据。图384B所示的摄像图像是使用缩放摄像的图像,由于拍摄较大,所以亮线的数量较多。因而,如果使用缩放摄像,则一次能接收大量的数据。此外,能够从远处接收数据,即使是较小的发送机的信号也能够接收。在缩放方法中,使用光学缩放或 Ex缩放。光学缩放是通过使透镜的焦点距离变长实现的缩放。Ex缩放是在以比摄像元件的能力低的分辨率摄像的情况下、通过不是使用摄像元件的全部、而是仅使用一部分摄像来将摄像图像的一部分放大的缩放方法。图 384C所示的摄像图像是使用电子缩放(图像的放大)摄像的图像。虽然拍摄变大,但在通过电子缩放实现的放大中,亮线变粗,亮线的数量与缩放前没有变化,所以接收特性与缩放前没有变化。
图385A及图385B是表示实施方式15的接收机的摄像图像(亮线图像) 的一例的图。
图385A所示的摄像图像是将焦点对准于被摄体而摄像的图像,图385B 所示的摄像图像是将焦点偏离而摄像的图像。在图385B所示的摄像图中,由于模糊摄像,所以在实际的发送机的周围能够观察到亮线,能够观察到更多的亮线。因而,如果将焦点偏离而摄像,则一次能够接收较多的数据,此外能够从更远处接收数据。通过使用宏模式摄像,也能够将与图385B所示的摄像图像同样的图像摄像。
图386A~图386C是表示实施方式15的接收机的摄像图像(亮线图像) 的一例的图。
通过将曝光时间设定得比可视光通信模式长、比通常摄像模式短而摄像,能够得到图386A所示那样的图像。将能够得到这样的图像的摄像模式称作亮线检测模式(中间模式)。在图386A所示的图像中,在左中央能够观察到发送机的亮线,在其以外的部分显现较暗的通常的摄像图像。通过将该图像显示到接收机上,用户能够将接收机朝向目标的发送机而容易地摄像。在亮线检测模式中,由于比通常摄像模式更暗地摄像,所以通过以高感度模式摄像,能够将与通常摄像模式接近的、人容易辨识的明亮度的图像摄像。如果将感度设定得过高,则亮线的较暗的部分变得明亮,所以感度设定为能够观察到亮线的程度。接收机转移到可视光通信模式,将在用户以接触图像等的手段指定的部分处摄像的发送机的发送信号接收。接收机也可以在摄像图像中中找到了亮线(发送信号)的情况下自动转移到可视光通信模式而接收信号。
接收机根据摄像图像中的亮线找到发送信号,通过将该部分如图386B 所示那样强调显示,能够将发送了信号的部分向用户容易理解地提示。亮线不仅是发送信号,有通过被摄体的图样也能够观察到的情况。所以,也可以不是根据1张图像的亮线判断发送信号的有无,而是在多个图像中亮线的位置变化的情况下判断为有发送信号。
由于以亮线检测模式摄像的图像比以通常摄像模式摄像的图像暗而辨识性较差,所以也可以将通过图像处理提高了辨识性的图像显示。图386C 所示的图像是提取边缘而将被摄像物的边界强调的图像的一例。
图387是表示实施方式15的接收机的摄像图像(亮线图像)的一例的图。具体而言,图387是将使信号发送的周期为1/9600秒的发送机用图的下部所示的曝光时间的比摄像的图。在比作为发送周期的1/9600秒短的曝光时间中,摄像图像大致相同,能够摄像鲜明的亮线。如果曝光时间变长,则亮线的轮廓模糊,但在该信号表现的例子中,只要是发送周期的约1.5 倍以内的曝光时间,亮线的样式就能够观察,就能够接收信号。此外,在该信号表现的例子中,只要是发送周期的约20倍以内的的曝光时间就能够观察亮线,能够使用该范围的曝光时间作为亮线检测模式的曝光时间。
在何种程度的曝光时间以内能够接收信号,根据信号表现的方法而不同。如果亮线较少、使用亮线间的间隔变长的信号表现规则,则传送效率下降,但通过更长的曝光时间也能够接收信号,此外,通过更长的曝光时间也能够观察亮线。
图388是表示实施方式15的发送信号的一例的图。
接收机由于将接收到的多个数据片合并而接收一系列的信号,所以如果发送信号被突然变更,则变更前后的数据片混杂,不能将信号正确地合并。所以,如图388的(a)那样,发送机在发送信号变更时,作为缓冲带而在规定的时间的期间中进行通常点灯,不发送信号。接收机在比上述规定的时间T1短的规定的时间T2的期间中不能接收信号的情况下,通过将到此为止接收到的数据片丢弃,能够避免变更前后的数据片的混合。或者,如图388的(b)那样,发送机在发送信号变更时,将通知该情况的信号X 反复发送。通过反复发送,防止发送信号变更通知X的漏接收。或者,如图388的(c)那样,发送机在发送信号变更时,将前同步码反复发送。接收机在以比在通常的信号中前同步码出现的周期短的周期接收到前同步码的情况下,将到此为止接收到的数据片丢弃。
图389是表示实施方式15的接收机的动作的一例的图。
图389的(a)所示的图像是以合焦将发送机摄像的图像。接收机通过将焦点偏离摄像,能够摄像出图389的(b)那样的图像。如果进一步将焦点偏离,则摄像图像成为图389的(c)所示的图像那样。在图389的(c) 中,多个发送机的亮线重叠,接收机不能接收信号。因此,接收机调整焦点以使多个发送机的亮线不重叠,进行摄像。在摄像范围中仅存在一个发送机的情况下,接收机调整焦点,以使的在摄像图像中发送机的大小为最大。
接收机也可以将摄像图像在与亮线平行的方向上压缩,但在与亮线垂直的方向上不进行图像压缩。或者,接收机使垂直的方向的压缩的程度变低。由此,能够防止通过压缩而亮线模糊、发生接收错误的情况。
图390及图391是表示在实施方式15的接收机的屏幕上显示的向用户的指示的一例的图。
接收机通过将多个发送机摄像,能够根据各发送机的位置信息、摄像图像中的各发送机的位置和大小及角度,以三角测量的要领推测接收机的位置。所以,在以仅一个发送机能够接收的形式摄像的情况下,用户通过改变接收机的方向、或向后方下降而摄像等而使多个发送机摄像,所以接收机通过显示包含箭头等的图像,能够进行摄像方向及移动方向的指示。图390的(a)是将接收机朝向右方而使右侧的发送机摄像的指示的显示例,图390的(b)是向后下降而使跟前的发送机摄像的指示的显示例。图391 是因为对于接收机而言其他发送机的位置是不明的、所以将接收机摆动等而使其他发送机摄像的指示的显示例。优选的是在一张摄像图像中摄影多个发送机,但也可以使用图像处理或9轴传感器的传感器值来推测多张图像中的发送机的位置关系。接收机也可以使用从一个发送机接收到的ID,将周边的发送机的位置信息向服务器询问,向用户进行指示以将最容易摄像的发送机摄像。
接收机根据9轴传感器的传感器值检测用户使接收机移动的情况,在移动结束而经规定的时间后,进行基于最后接收到的信号的画面的显示。由此,能够防止当用户将接收机朝向想要的发送机时、在接收机的移动中接收到其他发送机的信号而进行基于不想要的发送机的发送信号的处理的情况。
接收机也可以在被移动的期间中也继续接收处理,进行基于接收到的信号的处理,例如以接收信号为键字的来自服务器的信息取得等。在此情况下,在该处理后也继续接收处理,将基于最后接收到的信号的处理作为最终的处理。
接收机也可以将接收到规定的次数的信号处理或向用户通知。接收机也可以将在被移动的期间中最多次数能够接收到的信号处理。
接收机也可以具备当信号的接收成功时、或在摄像图像中检测到信号的存在时向用户通知的通知机构。通知机构通过声音、振动或显示器的更新(弹出显示等)等进行通知。由此,用户能够知道发送机的存在。
图392是表示实施方式15的信号发送方法的一例的图。
例如作为显示器构成的多个发送机被相邻地配置。多个发送机在发送相同的信号的情况下,使信号发送的定时同步,如图392的(a)那样,从整面发送信号。通过该结构,在接收机中多个显示器被作为一个大的发送机观察到,所以接收机能够更高速地、此外能够从更远距离接收信号。在多个发送机发送不同的信号的情况下,如图392的(b)那样,多个发送机设置不发送信号的缓冲带(非发送区域)而发送信号。通过该结构,接收机识别出多个发送机是隔开缓冲带的相互不同的发送机,能够接收各自的信号。
图393是表示实施方式15的信号发送方法的一例的图。
如图393的(a)所示,液晶显示器设置背灯灭灯期间,通过在背灯的灭灯中使液晶的状态变化,使状态变化中的图像不可视,能够提高动态分辨率。对于进行了这样的背灯控制的液晶显示器,如图393的(b)所示,匹配于背灯的点灯周期而叠加信号。通过将一连串的数据(Hdr、Data、FCS) 连续发送,能够提高接收效率。此外,在背灯的点灯期间的最初和最后,发光部为明亮的状态(Hi)。这是因为,如果发光部较暗的状态(Lo)与背灯灭灯期间连续,则在接收机中不能进行是作为信号而发送了Lo、还是因背灯灭灯期间而处于较暗的状态的判断。
背灯灭灯期间也可以叠加使平均亮度变低的信号。
通过叠加信号,与不叠加的情况相比平均亮度变,所以将背灯点灯期间增减或使背灯点灯时的亮度升降而调整,以使平均亮度成为相等。
图394是表示实施方式15的信号发送方法的一例的图。
液晶显示器通过将背灯控制以按照位置而不同的定时进行,能够使画面整体的亮度变化降低。将其称作背灯扫描。背灯扫描通常如图394的(a) 那样以从端部起依次使背灯点灯的方式进行。此时,能得到摄像图像8802a。但是,在摄像图像8802a中,亮线存在的部分被分断,有显示器的画面整体不能推测为一个发送机的情况。所以,如图394的(b)那样,通过在设纵轴为背灯扫描的分割方向的空间轴、设横轴为时间轴显示时,设定背灯扫描的顺序以使发光的(叠加了信号的)部分全部相连,能够得到摄像图像8802b。在摄像图像8802b中,亮线部分全部连结,能够容易地推测出是来自一个发送机的发送信号。此外,由于能够连续接收的亮线的数量增加,所以能够迅速地、从远处接收信号。此外,发送机的大小的推测也变得容易,所以能够根据摄像图像中的发送机的位置、大小、角度高精度地推测接收机的位置。
图395是表示实施方式15的信号发送方法的一例的图。
在时间划分背灯扫描中,在背灯的点灯期间较短、在设纵轴为背灯扫描的分割方向的空间轴、设横轴为时间轴的曲线图上不能将发光的(叠加了信号的)部分相连的情况下,在各自的发光部分中,与图393的情况同样,匹配于背灯的发光定时而叠加信号。此时,通过控制背灯以使其与曲线图上的其他背灯点灯部分的距离成为最大,能够防止相邻部分的亮线混杂。
图396是用来说明实施方式15的使用场景的图。本实施方式的系统由进行可视光通信的照明器具100、具有可视光通信功能的可穿戴设备101、智能电话102及服务器103构成。
本实施方式的目的在于,将用户使用可视光通信在店铺进行购物的情况下的一连串的工夫省去、将购物所花费的时间缩短。以往,在店铺中购买商品时,需要预先检索该店铺的站点而取得票券信息。此外,有在店内搜索作为该票券对象的商品的情况下花费时间的问题。
如图396所示,照明器具100在店铺(作为例子而设想家电量贩店) 之前,定期地使用可视光通信发送本机的照明ID信息。用户的可穿戴设备 101如果接收到该照明ID信息,则使用近距离无线通信,向智能电话102 发送照明ID信息。智能电话102使用携带回线等向服务器103发送用户的信息和照明ID信息。智能电话102从服务器103获取处于用户的眼前的店铺的点信息或票券信息等。用户将从服务器103获取的信息用可穿戴设备 101或智能电话102阅览。用户能够将显示的店铺的商品信息现场购买、或接受指引直到店铺内的展示场所。以下,使用附图详细地说明。
图397是表示智能电话102向服务器103发送的信息表的图。除了保持在智能电话102中的该店铺的会员号码、店铺的ID信息、发送时刻、位置信息以外,智能电话102还发送储存在发送智能电话102中的用户的兴趣信息及生物体信息、检索履历或行动履历信息。
图398是服务器103的块图。收发部201是接收从智能电话102发送的信息。控制部202进行整体的控制。在会员信息DB203中,保存有会员号码、该会员号码的用户的姓名及生年月日、点数信息、购买履历等。在店铺DB204中,保存有店铺ID、在该店铺中销售的商品信息、店铺的陈列信息、店铺的地图信息等店铺内的信息。通知信息生成部205生成遵循用户的兴趣的票券信息及推荐商品信息。
图399是表示上述系统的整体的处理的流程图。可穿戴设备102从照明100接收照明ID(S301)。接着,可穿戴设备101将照明ID使用Bluetooth (注册商标)等的接近无线通信等向智能电话102发送(S302)。接着,智能电话102将图397所示的自身具有的用户的履历信息、会员号码和照明 ID向服务器103发送(S303)。服务器103如果接收到数据,则将数据首先向控制部202发送(S304)。接着,控制部202将会员号码与会员DB203对照,取得会员信息(S305)。接着,控制部202将照明ID与店铺DB204对照,取得店铺信息(S306)。在店铺信息中,包括在店铺中有库存的商品信息、作为店铺想要促进销售的商品的信息、票券信息及店铺的店内地图信息等。控制部202将会员信息和店铺信息向通知信息生成部发送(S307)。通知信息生成部205根据会员信息和店铺信息,生成适合于用户的广告信息,向控制部202发送(S308)。控制部202将会员信息和广告信息向收发部201发送(S309)。在会员信息中,包括用户的点数信息及有效期限信息等。收发部201将会员信息和广告信息向智能电话102发送(S310)。智能电话102将接收到的信息显示到显示画面上(S311)。
进而,智能电话102将从服务器103接受到的信息向可穿戴设备101 转送(S312)。如果可穿戴设备101的通知设定是ON,则可穿戴设备101 显示信息(S314)。另外,当可穿戴设备显示信息时,优选的是通过振动等向用户提示注意唤起。这是因为,由于用户不一定进入该店铺,所以有即使发送票券信息等、用户也注意不到的情况。
图400是表示服务器103向智能电话102发送的信息表的图。所谓店铺地图DB,是在店内的哪个位置陈列有哪个商品的店内的向导信息。所谓店铺的商品信息,是在该店铺中有库存的商品的信息及商品的价格信息等。所谓用户会员信息,是用户的点数信息及会员卡的有效期限信息等。
图401是表示从用户在店铺前从服务器103获取信息到实际购买商品的在可穿戴设备101上显示的画面流的图。在店铺前,显示有在用户来店的情况下赋予的点数和票券信息。如果用户将票券信息轻击,则显示从服务器103发送的、遵循用户的兴趣的信息。例如如果用户将电视机轻击,则显示推荐的电视机的信息。这里,如果按下购买按钮,则显示获取方法的选择画面,能够选择向自宅的配送还是店内的获取。在本实施方式中,由于知道用户处于哪个店铺中,所以有能够在店铺中获取的优点。如果在流程403中选择向卖场的引导,则可穿戴设备101向GuideMode转移。该模式是使用箭头等将用户向特定的场所引导的模式,能够将用户向实际陈列有所选择的商品的场所引导。如果被导引到商品搁架之前,则可穿戴设备101向询问购买的要否的画面变迁。用户通过实际观看对应的商品,能够在尝试尺寸及颜色、使用方便性等之后进行商品的购买判断。
另外,本发明的可视光通信能够高精度地确定用户的位置。因此,例如在如图402那样用户要进入工厂内的危险地域的情况下还能够给出警告。进而,由于是否发出警告能够在可穿戴设备侧决定,所以能够构建例如向特定的年龄以下的儿童发出警告的自由度较高的警告系统。
(实施方式16)
图403是表示使用已经说明的实施方式所记载的接收方法的服务提供系统的图。
首先,对于管理服务器ex8002的企业A ex8000,其他企业B或个人 ex8001委托向便携终端的信息的分发。例如委托对于与标牌可视光通信的便携终端发送详细的广告信息、票券信息或地图信息等。管理服务器的企业A ex8000与任意的ID信息对应而管理向便携终端分发的信息。便携终端ex8003通过可视光通信从被摄体ex8004取得ID信息,将所取得的ID 信息向服务器ex8002发送。服务器ex8002将与ID信息对应的信息向便携终端发送,并将发送了与ID信息对应的信息的次数计数。管理服务器的企业A ex8000将与计数的次数对应的费用对委托的企业B或个人ex8001核款。例如,计数数越大,使核款的金额越大。
图404是表示服务提供的流程的流程图。
在Step ex8000中,管理服务器的企业A从其他企业B接受信息分发的委托。接着,在Step ex8001中,在企业A管理的服务器中,将接受到分发委托的信息与特定的ID信息建立关联。在Step ex8002中,便携终端通过可视光通信从被摄体接收特定的ID信息,向企业A管理的服务器发送。关于可视光通信方法的详细情况,由于在其他实施方式中已经说明,所以省略。服务器将与从便携终端发送的特定的ID信息对应的信息对便携终端发送。在Stepex8003中,在服务器中,将信息分发的次数计数。最后,在Step ex8004中,将与信息分发的计数数对应的费用对企业B核款。这样,通过根据计数数进行核款,能够将与信息分发的宣传效果对应的适当的费用向企业B核款。
图405是表示另一例的服务提供的流程图。关于与图404重复的步骤省略说明。
在Step ex8008中,判断是否从信息分发的开始起经过了规定时间。如果判断为规定时间内,则在Step ex8011中,不进行对企业B的核款。另一方面,在判断为经过了规定期间的情况下,在Step ex8009中,将分发了信息的次数计数。并且,在Step ex8010中,将与信息分发的计数对应的费用对企业B核款。这样,在规定期间内免费进行信息分发,所以企业B能够在确认宣传效果等后接受核款服务。
图406是表示另一例的服务提供的流程图。关于与图405重复的步骤省略说明。
在Step ex8014中,将分发了信息的次数计数。在Step ex8015中,在判断为从信息分发开始起没有经过规定期间的情况下,在Step ex8016 中不进行核款。另一方面,在判断为经过了规定期间的情况下,在Step ex8017中进行分发了信息的次数是否为规定值以上的判断。在分发了信息的次数不到规定值的情况下,将计数数复位,再次将分发了信息的次数计数。在此情况下,关于分发了信息的次数不到规定值的规定期间,对企业B 不进行核款。在Step ex8017中,如果计数数是规定值以上,则在Step ex8018中将计数数复位一次,再次再开始计数。在Step ex8019中,将与计数数对应的费用对企业B核款。这样,通过在免费进行了分发的期间内的计数数较少的情况下再次设置免费分发的期间,企业B能够以适当的定时接受核款服务。此外,企业A也能够在计数数较少的情况下将信息内容分析,例如在为不与季节对应的信息那样的情况下,可以对企业B提案以将信息内容变更。另外,在再次设置免费的信息分发期间的情况下,也可以设为比初次的规定的期间短的期间。通过比初次的规定的期间短,能够使对于企业A的负担变小。此外,也可以做成隔开一定期间再次设置免费的分发期间的结构。例如,如果是受到季节的影响的信息,则可以在季节变化之前隔开一定期间再次设置免费的分发期间。
另外,也可以不取决于信息的分发次数,而根据数据量变更核款费用。也可以做成使一定的数据量的分发为免费、在规定的数据量以上核款的结构。此外,也可以随着数据量变大而使核款费用也变。此外,也可以在将信息与特定的ID信息建立对应而管理时将管理费用核款。通过作为管理费用核款,在委托了信息分发的时点能够决定费用。
以上,关于有关一个或多个形态的信息通信方法基于实施方式进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在一个或多个形态的范围内。
图407A是有关本发明的一技术方案的信息通信方法的流程图。
有关本发明的一技术方案的信息通信方法是从被摄体取得信息的信息通信方法,包括步骤SK21~SK27。
即,该信息通信方法包括:第1曝光时间设定步骤SK21,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;亮线图像取得步骤SK22,通过由上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得包含上述亮线的亮线图像;第2曝光时间设定步骤SK23,设定比上述曝光时间长的较长曝光时间;通常图像取得步骤,通过由上述图像传感器将上述被摄体和该被摄体的周围以上述较长曝光时间进行摄影,取得通常摄影图像SK24;合成步骤SK25,在上述通常摄影图像中确定与上述亮线图像中包含的上述亮线对应的部位,将作为指示上述部位的图像的信号对象叠加到上述通常摄影图像中,从而生成合成图像;图像显示步骤SK26,以能够识别与上述亮线对应的部位的空间位置的方式,显示摄入有上述被摄体和该被摄体的周围的上述合成图像;信息取得步骤SK27,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息。
图407B是有关本发明的一技术方案的信息通信装置的块图。
有关本发明的一技术方案的信息通信装置K20,是从被摄体取得信息的信息通信装置,具备构成要素K21~K27。
即,该信息通信装置K20具备:第1曝光时间设定部K21,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被摄体的摄影得到的图像中,根据上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;亮线图像取得部K22,通过由上述图像传感器将亮度变化的上述被摄体以设定的上述曝光时间进行摄影,取得包含上述亮线的亮线图像;第2曝光时间设定部K23,设定比上述曝光时间长的较长曝光时间;通常图像取得部K24,通过由上述图像传感器将上述被摄体和该被摄体的周围以上述较长曝光时间进行摄影,取得通常摄影图像;合成部K25,在上述通常摄影图像中确定与上述亮线图像中包含的上述亮线对应的部位,将作为指示上述部位的图像的信号对象叠加到上述通常摄影图像中,从而生成合成图像;图像显示部K26,以能够识别与上述亮线对应的部位的空间位置的方式,显示摄入有上述被摄体和该被摄体的周围的上述合成图像;信息取得部K27,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息。
在这样的通过图407A及图407B表示的信息通信方法及信息通信装置 K10中,由于将通过被摄体的亮度变化发送的信息通过图像传感器的曝光行的曝光取得,所以能够不需要例如用来进行无线通信的特别的通信仪器而进行多种多样的设备间的通信。例如,信号对象是亮线图样、信号明示对象、信号识别对象或点线框等,例如显示图336、图337及图341等所示的合成图像。由此,用户能够更容易地发现通过亮度变化发送信号的被摄体。
另外,在上述各实施方式中,也可以通过将各构成要素用专用的硬件构成、或将适合于各构成要素的软件程序执行来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录媒体中的软件程序读出并执行来实现。例如程序使计算机执行由图407A的流程图表示的信息通信方法。
工业实用性
本发明能够用于信息通信装置等中,特别是能够用于在智能电话、平板电脑、便携电话、智能手表、头戴显示器等的便携终端与空调、照明设备、炊饭机、电视机、记录机、投影机等的家电设备的通信方法中利用的信息通信装置等中。
标号说明
1101 电视机
1105 智能电话
1106 电灶
1107 空气净化机
1201 智能电话
1301 发送侧装置
1309 发送速度判断部
1401 接收侧装置
1404 图像取得部
1406 闪烁信息取得部
3001a 移动终端
3001b 门禁电话宅内器
3001c 门禁电话宅外器
3001e 住宅配送订购服务器
3001f 住宅配送者移动终端
4040a 电灶表
4040b 便携设备表
4040c 便携设备机种表
4040d 用户声音特性表
4040e 用户键字声音表
4040f 用户拥有设备位置表
4040h 用户位置表
K20 信息通信装置
K21 第1曝光时间设定部
K22 亮线图像取得部
K23 第2曝光时间设定部
K24 通常图像取得部
K25 合成部
K26 图像显示部
K27 信息取得部

Claims (6)

1.一种信息通信方法,从被摄体取得信息,其特征在于,包括:
曝光时间设定步骤,设定图像传感器的曝光时间,以在通过由所述图像传感器对所述被摄体进行摄影而得到的图像中,按照所述被摄体的亮度变化产生与所述图像传感器中包含的曝光行对应的亮线;
亮线图像取得步骤,通过由所述图像传感器对亮度变化的所述被摄体以设定的所述曝光时间进行摄影,取得包含所述亮线的亮线图像;
第1信息取得步骤,通过对由取得的所述亮线图像中包含的所述亮线的样式确定的数据进行解调,来取得作为所述被摄体的ID的第1信息;
发送步骤,将具有所述图像传感器的接收机的画面上显示的信息和所述第1信息发送到服务器;以及
第2信息取得步骤,由所述被摄体从所述服务器取得表示所述画面上显示的信息是否有效的第2信息。
2.如权利要求1所述的信息通信方法,
所述发送步骤中,还将与具备所述图像传感器的终端的用户有关的第3信息发送到所述服务器,
所述第2信息取得步骤中,从所述服务器取得与基于所述第1信息及所述第3信息判断的所述画面上显示的信息是否有效有关的所述第2信息。
3.如权利要求1或2所述的信息通信方法,
所述画面上显示的信息是预付款信息。
4.如权利要求1所述的信息通信方法,
所述曝光时间设定步骤中,将所述曝光时间设为tE、将所述被摄体的高频噪声设为tHT的情况下,以tE>tHT的方式设定所述曝光时间。
5.一种信息通信装置,从被摄体取得信息,其特征在于,具备:
曝光时间设定部,设定图像传感器的曝光时间,以在通过由所述图像传感器对所述被摄体进行摄影而得到的图像中,按照所述被摄体的亮度变化产生与所述图像传感器中包含的曝光行对应的亮线;
亮线图像取得部,通过由所述图像传感器对亮度变化的所述被摄体以设定的所述曝光时间进行摄影,取得包含所述亮线的亮线图像;
第1信息取得部,通过对由取得的所述亮线图像中包含的所述亮线的样式确定的数据进行解调,来取得作为所述被摄体的ID的第1信息;
发送部,将所述信息通信装置的画面上显示的信息和所述第1信息发送到服务器;以及
第2信息取得部,由所述被摄体从所述服务器取得表示所述画面上显示的信息是否有效的第2信息。
6.一种记录介质,记录有计算机程序,该计算机程序使计算机执行从被摄体取得信息的信息通信方法,其特征在于,该信息通信方法包括:
设定图像传感器的曝光时间,以在通过由所述图像传感器对所述被摄体进行摄影而得到的图像中,按照所述被摄体的亮度变化产生与所述图像传感器中包含的曝光行对应的亮线;
通过由所述图像传感器对亮度变化的所述被摄体以设定的所述曝光时间进行摄影,取得包含所述亮线的亮线图像;
通过对由取得的所述亮线图像中包含的所述亮线的样式确定的数据进行解调,来取得作为所述被摄体的ID的第1信息;
将具有所述图像传感器的接收机的画面上显示的信息和所述第1信息发送到服务器;以及
由所述被摄体从所述服务器取得表示所述画面上显示的信息是否有效的第2信息。
CN201710695761.7A 2012-12-27 2013-11-22 信息通信方法、装置及记录介质 Active CN107547806B (zh)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US201261746315P 2012-12-27 2012-12-27
JP2012286339 2012-12-27
US61/746,315 2012-12-27
JP2012-286339 2012-12-27
US201361805978P 2013-03-28 2013-03-28
US61/805,978 2013-03-28
JP2013-070740 2013-03-28
JP2013070740 2013-03-28
US201361810291P 2013-04-10 2013-04-10
JP2013-082546 2013-04-10
US61/810,291 2013-04-10
JP2013082546 2013-04-10
JPPCT/JP2013/003319 2013-05-24
PCT/JP2013/003319 WO2013175804A1 (ja) 2012-05-24 2013-05-24 情報通信方法
US13/902,436 2013-05-24
US13/902,436 US8823852B2 (en) 2012-05-24 2013-05-24 Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US201361859902P 2013-07-30 2013-07-30
JP2013-158359 2013-07-30
US61/859,902 2013-07-30
JP2013158359 2013-07-30
CN201380066941.9A CN104871451B (zh) 2012-12-27 2013-11-22 信息通信方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380066941.9A Division CN104871451B (zh) 2012-12-27 2013-11-22 信息通信方法

Publications (2)

Publication Number Publication Date
CN107547806A CN107547806A (zh) 2018-01-05
CN107547806B true CN107547806B (zh) 2020-10-16

Family

ID=51020285

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201710695761.7A Active CN107547806B (zh) 2012-12-27 2013-11-22 信息通信方法、装置及记录介质
CN201710695602.7A Pending CN107528633A (zh) 2012-12-27 2013-11-22 信息通信方法
CN201710690983.XA Active CN107395977B (zh) 2012-12-27 2013-11-22 信息通信方法
CN201710695427.1A Active CN107360379B (zh) 2012-12-27 2013-11-22 信息通信方法
CN201380066941.9A Active CN104871451B (zh) 2012-12-27 2013-11-22 信息通信方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201710695602.7A Pending CN107528633A (zh) 2012-12-27 2013-11-22 信息通信方法
CN201710690983.XA Active CN107395977B (zh) 2012-12-27 2013-11-22 信息通信方法
CN201710695427.1A Active CN107360379B (zh) 2012-12-27 2013-11-22 信息通信方法
CN201380066941.9A Active CN104871451B (zh) 2012-12-27 2013-11-22 信息通信方法

Country Status (4)

Country Link
EP (1) EP2940899B1 (zh)
JP (4) JP5530578B1 (zh)
CN (5) CN107547806B (zh)
WO (1) WO2014103152A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016184846A (ja) * 2015-03-26 2016-10-20 パイオニア株式会社 住宅用インターホンシステム、住宅用インターホン方法、住宅用インターホンプログラムおよび記録媒体
US11380230B2 (en) 2015-11-09 2022-07-05 Becton, Dickinson And Company Point of use interaction playback device employing energy harvesting from ambient radio frequency communications
US20180098215A1 (en) * 2016-09-30 2018-04-05 Richard D. Roberts Data processing and authentication of light communication sources
JP6920820B2 (ja) * 2017-01-11 2021-08-18 株式会社共立アイコム 座席状況表示システム
JP7139638B2 (ja) * 2018-03-22 2022-09-21 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
WO2021104852A1 (de) * 2019-11-27 2021-06-03 BSH Hausgeräte GmbH Haushaltsgerätesystem
CN111682901B (zh) * 2020-06-16 2023-11-21 四川大学 一种信息传输方法、信息发送装置、信息接收装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845165A (zh) * 2006-03-25 2006-10-11 福建新大陆电脑股份有限公司 二维码和移动电话在票务系统上的应用方法
JP2007274052A (ja) * 2006-03-30 2007-10-18 Kyocera Corp 可視光受信装置および可視光受信方法
CN102279982A (zh) * 2010-06-09 2011-12-14 北京红马传媒文化发展有限公司 验票系统以及验票方法
US8334901B1 (en) * 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
JP2003179556A (ja) * 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
JP3918813B2 (ja) * 2001-10-23 2007-05-23 ソニー株式会社 データ通信システム、データ送信装置、並びにデータ受信装置
JP2004334269A (ja) * 2003-04-30 2004-11-25 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4258491B2 (ja) * 2004-05-31 2009-04-30 カシオ計算機株式会社 情報受信装置、情報伝送システム、情報受信方法、及び、情報受信プログラム
JP4588368B2 (ja) * 2004-06-15 2010-12-01 富士通セミコンダクター株式会社 露光計測方法及び装置、並びに半導体装置の製造方法
JP4736397B2 (ja) * 2004-10-22 2011-07-27 日本電気株式会社 撮像素子、撮像モジュール及び携帯端末
EP1816858A1 (en) * 2004-11-02 2007-08-08 Japan Science and Technology Agency Image pickup device, and its signal reading method
JP4676494B2 (ja) * 2005-06-30 2011-04-27 パイオニア株式会社 照明光通信装置、照明光通信方法及びコンピュータプログラム
JP4765027B2 (ja) * 2005-07-29 2011-09-07 国立大学法人 奈良先端科学技術大学院大学 情報処理装置及び情報処理システム
JP4371108B2 (ja) * 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP4868217B2 (ja) * 2006-01-25 2012-02-01 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
EP1830582A1 (en) * 2006-03-01 2007-09-05 THOMSON Licensing Method for processing a video sequence for preventing unauthorized recording and apparatus implementing said method
JP2008124922A (ja) * 2006-11-14 2008-05-29 Matsushita Electric Works Ltd 照明装置、および照明システム
JP2008227877A (ja) * 2007-03-13 2008-09-25 Hitachi Ltd 映像情報処理装置
JP2008224536A (ja) * 2007-03-14 2008-09-25 Toshiba Corp 可視光通信の受信装置及び可視光ナビゲーションシステム
US8022994B2 (en) * 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
JP2009159044A (ja) * 2007-12-25 2009-07-16 Panasonic Electric Works Co Ltd 光伝送システム
JP4932751B2 (ja) * 2008-01-25 2012-05-16 シャープ株式会社 端末装置、通信システム、通信方法、通信プログラム、ならびに記録媒体
US20090319388A1 (en) * 2008-06-20 2009-12-24 Jian Yuan Image Capture for Purchases
GR1006531B (el) * 2008-08-04 2009-09-10 Διαμορφωση εντυπου πολλαπλων επιλογων αναγνωσιμου με ηλεκτρονικο μεσο και συστημα και μεθοδος για την ερμηνεια κατ' ελαχιστον μιας επιλογης του χρηστη
JP5339049B2 (ja) * 2008-11-28 2013-11-13 カシオ計算機株式会社 情報復元装置、情報復元方法、及び、プログラム
JP2010147527A (ja) * 2008-12-16 2010-07-01 Kyocera Corp 通信端末および情報発信源特定プログラム
JP4620807B2 (ja) * 2009-05-11 2011-01-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 電子棚札(esl)からコンテンツを取得していくセルフ買物支援
JP5515472B2 (ja) * 2009-07-13 2014-06-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US8879735B2 (en) * 2012-01-20 2014-11-04 Digimarc Corporation Shared secret arrangements and optical data transfer
JP5414405B2 (ja) * 2009-07-21 2014-02-12 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP5449401B2 (ja) * 2009-12-18 2014-03-19 パナソニック株式会社 情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法
KR20120105053A (ko) * 2010-01-15 2012-09-24 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 종래 카메라 센서를 이용한 가시광 통신을 위한 데이터 검출
JP5821019B2 (ja) * 2010-03-09 2015-11-24 パナソニックIpマネジメント株式会社 撮影装置および情報検出方法
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
WO2012023253A1 (ja) * 2010-08-20 2012-02-23 パナソニック株式会社 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法
CN102176741A (zh) * 2011-01-06 2011-09-07 西北工业大学 星空图像中帧转移型ccd传感器拖尾亮线消除方法
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
JP2012244549A (ja) * 2011-05-23 2012-12-10 Nec Commun Syst Ltd イメージセンサ通信装置と方法
EP2538584B1 (en) * 2011-06-23 2018-12-05 Casio Computer Co., Ltd. Information Transmission System, and Information Transmission Method
CN102300056B (zh) * 2011-08-25 2013-07-10 西北核技术研究所 一种提高面阵ccd帧频的方法及高帧频ccd器件
JP5945395B2 (ja) * 2011-10-13 2016-07-05 オリンパス株式会社 撮像装置
JP5936902B2 (ja) * 2012-04-13 2016-06-22 株式会社東芝 伝送システム、送信装置および受信装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845165A (zh) * 2006-03-25 2006-10-11 福建新大陆电脑股份有限公司 二维码和移动电话在票务系统上的应用方法
JP2007274052A (ja) * 2006-03-30 2007-10-18 Kyocera Corp 可視光受信装置および可視光受信方法
CN102279982A (zh) * 2010-06-09 2011-12-14 北京红马传媒文化发展有限公司 验票系统以及验票方法
US8334901B1 (en) * 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias

Also Published As

Publication number Publication date
JP6382542B2 (ja) 2018-08-29
CN107395977A (zh) 2017-11-24
JP2018166342A (ja) 2018-10-25
EP2940899A4 (en) 2015-12-09
JP5530578B1 (ja) 2014-06-25
JP5564630B1 (ja) 2014-07-30
EP2940899B1 (en) 2019-08-14
CN104871451B (zh) 2017-10-24
JP6730380B2 (ja) 2020-07-29
JPWO2014103152A1 (ja) 2017-01-12
EP2940899A1 (en) 2015-11-04
CN107528633A (zh) 2017-12-29
CN107360379B (zh) 2020-06-30
CN104871451A (zh) 2015-08-26
CN107395977B (zh) 2019-12-17
JP2015046860A (ja) 2015-03-12
CN107360379A (zh) 2017-11-17
CN107547806A (zh) 2018-01-05
JP2015046861A (ja) 2015-03-12
WO2014103152A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
JP6568276B2 (ja) プログラム、制御方法、および情報通信装置
CN107635100B (zh) 信息通信方法
JP5525661B1 (ja) 情報通信方法および情報通信装置
CN107370539B (zh) 可视光通信方法、可视光通信装置、记录介质及服务器
JP6730380B2 (ja) プログラム、情報通信装置および情報通信方法
JP5848846B2 (ja) 制御方法、情報通信装置、およびプログラム
JP5607277B1 (ja) 情報通信方法
JP6970146B2 (ja) プログラム、制御方法、および情報通信装置
JP6944571B2 (ja) プログラム、装置および制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1247482

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1247482

Country of ref document: HK