JP2022010060A - 薬剤判別ソフトウェア - Google Patents
薬剤判別ソフトウェア Download PDFInfo
- Publication number
- JP2022010060A JP2022010060A JP2021180746A JP2021180746A JP2022010060A JP 2022010060 A JP2022010060 A JP 2022010060A JP 2021180746 A JP2021180746 A JP 2021180746A JP 2021180746 A JP2021180746 A JP 2021180746A JP 2022010060 A JP2022010060 A JP 2022010060A
- Authority
- JP
- Japan
- Prior art keywords
- drug
- image
- discrimination
- computer
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003814 drug Substances 0.000 title claims abstract description 1065
- 229940079593 drug Drugs 0.000 title claims description 1021
- 239000002775 capsule Substances 0.000 claims description 52
- 238000012856 packing Methods 0.000 claims description 31
- 238000012790 confirmation Methods 0.000 claims description 16
- 238000004806 packaging method and process Methods 0.000 claims 2
- 238000003384 imaging method Methods 0.000 abstract description 55
- 238000005286 illumination Methods 0.000 description 104
- 239000003795 chemical substances by application Substances 0.000 description 32
- 238000000605 extraction Methods 0.000 description 31
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 21
- 238000000701 chemical imaging Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 10
- 239000003550 marker Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000004069 differentiation Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 239000012780 transparent material Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 206010000210 abortion Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007901 soft capsule Substances 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9508—Capsules; Tablets
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
- G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/062—LED's
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Medicinal Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Preparation Storing Or Oral Administration Devices (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
本発明の第一の態様は、薬剤の画像を撮影するのに用いられる薬剤撮影装置に関するものである。この薬剤撮影装置は、載置部と、第1カメラと、第2カメラと、第1光源と、第2光源と、第3光源と、第4光源とを有している。載置部には、薬剤がセットされる。第1カメラは、載置部の上方に設置される。第2カメラは、載置部の下方に設置される。第1光源は、載置部の上方に設置される。第2光源は、第1光源と同種の光源で構成され、載置部の下方に設置される。第3光源は、第1光源とは異種の光源で構成され、載置部の上方に設置される。第4光源は、第3光源と同種の光源で構成され、載置部の下方に設置される。
本発明の第二の態様は、薬剤の鑑別をコンピューターに行わせる薬剤鑑別ソフトウェアに関するものである。この薬剤鑑別ソフトウェアは、コンピューターの表示装置の第1の部分に、薬剤を含む領域を撮影した画像を表示させる(第1ステップ)。また、この薬剤鑑別ソフトウェアは、領域内に表示された薬剤のうち、選択された薬剤を、表示装置の第2の部分に拡大表示させる(第2ステップ)。また、この薬剤鑑別ソフトウェアは、鑑別の結果、選択された薬剤の候補となる薬剤の情報を、表示装置の第3の部分に表示させる(第3ステップ)。さらに、この薬剤鑑別ソフトウェアは、候補となる薬剤の情報の中から使用者によって選択された薬剤の情報を、表示装置の第4の部分に表示させる(第4ステップ)。
本発明の第三の態様は、薬剤の鑑別をコンピューターに行わせる薬剤鑑別ソフトウェアに関するものである。この薬剤鑑別ソフトウェアを備えるコンピューターは、まずは薬剤が表示された画像を取得する(第1ステップ)。次いで、コンピューターは、取得した画像から、薬剤が存在する領域を分離する(第2ステップ)。次いで、コンピューターは、分離した領域内の刻印および/または印刷を抽出する(第3ステップ)。次いで、コンピューターは、抽出した刻印および/または印刷に基づいて、薬剤の検索を行う(第4ステップ)。
態様(1):薬剤の鑑別をコンピューターに行わせる薬剤鑑別ソフトウェアであって、
コンピューターの表示装置の第1の部分に、薬剤を含む領域を撮影した画像を表示するステップと、
前記領域内に表示された薬剤のうち、選択された薬剤を、前記表示装置の第2の部分に拡大表示するステップと、
鑑別の結果、前記選択された薬剤の候補となる薬剤の情報を、前記表示装置の第3の部分に表示するステップと、
をコンピューターに行わせることを特徴とする、薬剤鑑別ソフトウェア。
をさらにコンピューターに行わせる、態様(1)に記載の薬剤鑑別ソフトウェア。
をさらにコンピューターに行わせる、態様(1)または(2)に記載の薬剤鑑別ソフトウェア。
当該選択された薬剤の鑑別が完了している場合には、前記選択された薬剤の候補となる薬剤の情報を、前記表示装置の第3の部分に表示するステップと、
をさらにコンピューターに行わせる、態様(1)~(3)のいずれか1つに記載の薬剤鑑別ソフトウェア。
をさらにコンピューターに行わせる、態様(1)~(3)のいずれか1つに記載の薬剤鑑別ソフトウェア。
をさらにコンピューターに行わせる、態様(4)または(5)に記載の薬剤鑑別ソフトウェア。
前記第1の部分に表示された薬剤のうち、前記第4の部分に表示された薬剤には、使用者による選択が完了したことを示す第3の標識を付すステップと、
をさらにコンピューターに行わせる、態様(1)~(6)のいずれか1つに記載の薬剤鑑別ソフトウェア。
前記候補となる薬剤の情報の中から使用者が選択した薬剤の情報を、前記表示装置の第4の部分に表示するステップと、
前記第1の部分に表示された薬剤のうち、前記第4の部分に表示された薬剤に、選択が完了したことを示す第3の標識を付すステップと、
をさらにコンピューターに行わせ、
前記薬剤の鑑別が完了したことを示す第1の標識と前記選択が完了したことを示す第3の標識とは、異なる色を有する、
態様(1)~(7)のいずれか1つに記載の薬剤鑑別ソフトウェア。
前記第2の部分には、選択された薬剤を上から撮影した画像および/または下から撮影した画像を表示する、
態様(1)~(8)のいずれか1つに記載の薬剤鑑別ソフトウェア。
態様(1)~(9)のいずれか1つに記載の薬剤鑑別ソフトウェア。
態様(10)に記載の薬剤鑑別ソフトウェア。
態様(10)または(11)に記載の薬剤鑑別ソフトウェア。
をさらにコンピューターに行わせる、態様(1)~(12)のいずれか1つに記載の薬剤鑑別ソフトウェア。
態様(13)に記載の薬剤鑑別ソフトウェア。
態様(13)または(14)に記載の薬剤鑑別ソフトウェア。
態様(16):薬剤の鑑別をコンピューターに行わせる薬剤鑑別ソフトウェアであって、
鑑別対象の薬剤が表示された画像を取得するステップと、
前記画像から、薬剤が占める領域を抽出するステップと、
前記領域内の刻印および/または印刷を抽出するステップと、
抽出した刻印および/または印刷に基づいて、薬剤の検索を行うステップと、
をコンピューターに行わせることを特徴とする、薬剤鑑別ソフトウェア。
前記薬剤が占める領域を抽出するステップを行った後、上から撮影した画像に由来して抽出した薬剤の領域と下から撮影した画像に由来して抽出した薬剤の領域とを対応付けるステップ、をさらにコンピューターに行わせる、
態様(16)に記載の薬剤鑑別ソフトウェア。
態様(17)に記載の薬剤鑑別ソフトウェア。
をさらにコンピューターに行わせる、態様(16)~(18)のいずれか1項に記載の薬剤鑑別ソフトウェア。
前記上から撮影した画像および下から撮影した画像とを対比することにより、薬剤が錠剤であるか否かを判定する、
態様(19)に記載の薬剤鑑別ソフトウェア。
この対応付けができた場合には、薬剤が錠剤であると判定する、
態様(20)に記載の薬剤鑑別ソフトウェア。
前記刻印を抽出するステップでは、この撮影画像に基づいて刻印を抽出する、
態様(16)~(21)のいずれか1つに記載の薬剤鑑別ソフトウェア。
前記印刷を抽出するステップでは、この撮影画像に基づいて印刷を抽出する、
態様(16)~(22)のいずれか1つに記載の薬剤鑑別ソフトウェア。
前記薬剤の検索を行うステップでは、刻印および/または印刷の有無に基づいて、検索する薬剤の絞込みを行う、
態様(16)~(23)のいずれか1つに記載の薬剤鑑別ソフトウェア。
前記薬剤の検索の際には、割線の有無の判定結果に基づいて、検索する薬剤の絞込みを行う、
態様(16)~(24)のいずれか1つに記載の薬剤鑑別ソフトウェア。
態様(16)~(25)のいずれか1つに記載の薬剤鑑別ソフトウェア。
態様(16)~(26)のいずれか1つに記載の薬剤鑑別ソフトウェア。
態様(27)に記載の薬剤鑑別ソフトウェア。
態様(29):薬剤の鑑別を行う薬剤鑑別方法であって、
鑑別対象の薬剤が表示された画像を取得する工程と、
前記画像から、薬剤が占める領域を抽出する工程と、
前記領域内の刻印および/または印刷を抽出する工程と、
抽出した刻印および/または印刷に基づいて、薬剤の検索を行う工程と、
を有することを特徴とする、薬剤鑑別方法。
態様(30):薬剤の鑑別を行う薬剤鑑別装置であって、
鑑別対象の薬剤が表示された画像を取得する手段と、
前記画像から、薬剤が占める領域を抽出する手段と、
前記領域内の刻印および/または印刷を抽出する手段と、
抽出した刻印および/または印刷に基づいて、薬剤の検索を行う手段と、
を有することを特徴とする、薬剤鑑別装置。
図1は、薬剤鑑別システムの概要を示す模式図である。同図に示すように、薬剤鑑別システム100は、薬剤撮影装置200と、コンピューター500とで構成される。この薬剤鑑別システム100では、薬剤撮影装置200が薬剤の撮影を行い、得られた薬剤の画像データを基に、コンピューター500が薬剤の鑑別を行う。
図2は、薬剤撮影装置200の外観を示す斜視図である。この図では、ケース210により内部は見えないが、薬剤撮影装置200の内部のほぼ中央部には、薬剤を載置する載置部220が設けられている。より具体的には、薬剤は、図7に示すようなトレイ300に入れられ、このトレイ300が、載置部220にセットされる。以下、説明の便宜上、薬剤撮影装置200のうち、載置部220より上側を上部201、下側を下部202と呼ぶ。
図2に示すように、薬剤撮影装置200では、外側からは、下側ケース211、切り欠き部212、トレイ支持部材221、ガイド部材230、上側ケース213、およびカバー214が見える。
図4および図5は、薬剤撮影装置200のケース類を除去した状態を示す図、すなわち薬剤撮影装置200の内部の主要部材を示した図である。なお、図4は、薬剤撮影装置200の斜視図であり、図5は、正面図である。
§2.3.1 載置用アイテムの第1実施形態
薬剤撮影装置200には、薬剤を置くための載置用アイテムとして図7に示すようなトレイ300が使用される。トレイ300は、四角形平板状の本体320に孔321が形成され、この孔321に透明の筒322が嵌め込まれた構成となっている。この筒322内には、図8に示すようなシャーレ310が設置される。
図27は、薬剤撮影装置にセットされるトレイの第2実施形態を示す分解斜視図である。トレイ300’は、トレイ300と同様に、四角形平板状の本体320に孔321が形成され、この孔321に透明の筒322が嵌め込まれた構成となっている。トレイ300’がトレイ300と大きく異なっている点は、シャーレ310の代わりに、円形で透明の平板330が、筒322の底部に設置される点である。筒322の底部を平板330で構成すると、筒322の底部を構成する材料の選択肢が増える。このため、カメラや照明と最も相性の良い材料を選択することが容易となり、これにより、薬剤の撮影画像の画質をさらに向上できる。この平板330の外周部上には、リング313が設置される。このリング313の外形は、平板330の直径と、ほぼ同じとなっている。さらに、リング313上には、透明な第2筒331が設置される。より具体的には、第2筒331は、その外周が筒322の内周と接するように、設置される。別実施形態では、平板330の外周部上に、第2筒331が直接設置される。そして、第2筒331の内壁と隣接するように、リング313が、平板330上に設置される。すなわち、リング313は、第2筒331内に挿入された状態で、平板330上に設置される。最後に、平板330上には、カプセル載置用部材314が設置される。薬剤撮影装置200にセットされる載置用アイテムをこのような構成とすると、平板330の外縁部と第2筒331の底部との境界部付近で起こる照明光の乱反射が、より低減される。
以上述べた薬剤撮影装置200は、図1に示すように、コンピューター500に接続される。このコンピューター500は、薬剤鑑別ソフトウェア600を有しており、この薬剤鑑別ソフトウェア600によって、コンピューター500が、薬剤撮影装置200の動作を制御する。具体的には、コンピューター500が、薬剤撮影装置200内の照明の制御を行い、カメラに薬剤の撮影を行わせる。そして、コンピューター500は、撮影された薬剤の画像を、薬剤撮影装置200から受信する。コンピューター500は、薬剤の画像データを各種処理・加工して、薬剤の絞り込みおよび検索に必要な情報を得る。そして、コンピューター500は、この情報に基づいて、薬剤の絞り込みおよび検索を行い、その結果を鑑別結果として表示装置530の画面531に表示する。
図9は、薬剤鑑別ソフトウェア600が起動した状態の画面531を示している。より詳細には、服薬指導支援システム610により薬剤鑑別ソフトウェアが呼び出され、この薬剤鑑別ソフトウェアにより、画面531の右下に、錠剤鑑別メニューのウィンドウ620が表示されている。このウィンドウ620から、使用者の目的に沿った鑑別が開始される。図9に示すように、ウィンドウ620には、「錠剤画像鑑別」アイテム621と、「返品錠剤画像鑑別」アイテム622と、「ルーペ」アイテム623とが表示される。なお、ウィンドウ620では、『錠剤鑑別』と命名されているが、薬剤鑑別ソフトウェア600は、錠剤のみならずカプセル類の鑑別も行えるので、付記しておく。また、図9に示す例では、持参薬鑑別ソフトウェアは、別のソフトウェアによって起動されているが、持参薬鑑別ソフトウェアは、例えばそのアイコンをクリックすることにより、単独でも起動、動作することができる。
§3.2.1 グループ化
薬剤鑑別作業中は、図11~15に示すように、第2アイテム表示部分760に、「グループ化」アイテム765が表示される。この「グループ化」アイテム765が選択されると、図16に示すように、「グループ化」ウィンドウ630が、画面531内に開かれる。この「グループ化」ウィンドウ630内で、使用者は、複数の任意の薬剤をグループ化できる。
薬剤鑑別ソフトウェア600は、鑑別結果を自動学習する機能を有している。より具体的には、コンピューター500は、内部に学習データベースを備えている。そして、薬剤鑑別ソフトウェア600は、使用者が選択した薬剤(図14参照)を学習データベースに記録しておき、次回以降、自動鑑別において同様の薬剤がコンピューター500によって特定された場合には、コンピューター500は、第3の部分730のリストの中で、前回使用者が選択した薬剤を、最も高い順位で表示する。
図9に示すように、錠剤鑑別メニューのウィンドウ620には、「返品錠剤画像鑑別」アイテム622が配置されている。使用者がこの「返品錠剤画像鑑別」アイテム622を選択すると、図17に示すように、画面531には、「返品錠剤画像鑑別」ウィンドウ640が表示される。この返品錠剤画像鑑別は、鑑別したい複数の薬剤全てが同一種類の場合に、利用される。
図9に示すように、錠剤鑑別メニューのウィンドウ620には、「ルーペ」アイテム623が配置されている。使用者がこの「ルーペ」アイテム623を選択すると、図21に示すように、画面531には、「ルーペ」ウィンドウ660が表示される。この「ルーペ」ウィンドウ660の機能を使って、使用者は、見たい薬剤を、拡大して見ることができる。
前述したように、使用者は、切り欠き212(図2参照)を通して、長尺状の分包紙を、薬剤撮影装置200内に挿入することができる。そして、薬剤撮影装置200は、この分包紙内の薬剤を、撮影することができる。そして、薬剤鑑別ソフトウェア600は、この撮影した薬剤の鑑別を行うことができる。このように、本実施形態の薬剤鑑別システム100は、分包紙内の薬剤を分包紙を破らずに鑑別できるので、便利である。
以下、薬剤撮影装置200が撮影した画像内の各薬剤に対して、薬剤鑑別ソフトウェア600がどのように鑑別を行うか、詳述する。
使用者は、鑑別を行いたい薬剤をまずトレイ300のシャーレ310に入れる(図7参照)。このとき、錠剤は、シャーレ310の底面311の透明な部分315に直接置き、カプセルは、カプセル載置用部材314上に置くことが推奨される。次いで、使用者は、このトレイ300を、薬剤撮影装置200の載置部220に設置して、カバー214を閉める。そして、使用者は、図10に示す「撮影」アイテム751を選択する。
コンピュータ500は、使用者から薬剤の撮影を行う入力を受け付けると、薬剤撮影装置200を駆動して、シャーレ310の画像を撮影させる。具体的には、コンピュータ500は、下記[画像1]~[画像4]の4枚の画像を取得する。なお、このとき、コンピューター500は、後述する「カメラのピント調整」および「明るさおよび色のキャリブレーション」で得られた設定値(例えばカメラのピント、露出時間およびRGBの各ゲイン)に基づいて、カメラの撮影条件を設定する。これにより、画質の再現性が向上する。
[画像1]第1光源430による照明下、シャーレ310を上から撮影した画像。この画像は、第1リング照明431をオンにして、第1カメラ410で撮影を行うことにより取得できる。
[画像2]第2光源440による照明下、シャーレ310を下から撮影した画像。この画像は、第2リング照明441をオンにして、第2カメラ420で撮影を行うことにより取得できる。
[画像3]第3光源450による照明下、シャーレ310を上から撮影した画像。この画像は、第1バー照明451および第2バー照明452をオンにして、第1カメラ410で撮影を行うことにより取得できる。
[画像4]第4光源460による照明下、シャーレ310を下から撮影した画像。この画像は、第3バー照明461および第4バー照明462をオンにして、第2カメラ420で撮影を行うことにより取得できる。
後述するように、薬剤鑑別システム100では、事前にキャリブレーションが行われており、コンピュータ500は、このキャリブレーションによる較正情報をデータとして保持している。コンピュータ500は、この較正情報を基に、撮影した画像の補正を行う。具体的には、較正情報に基づいて、撮影した画像の座標の補正を行う。これにより、第1カメラ410で撮影した画像の座標軸と第2カメラ420で撮影した画像の座標軸が一致する。
画像補正後、画像内で各薬剤が占有する領域を抽出する。これには、背景と薬剤との明暗が大きく分かれる傾向の大きい[画像1]および[画像2]が好適に用いられる。領域抽出は、各画素の明るさを、閾値で2値化して(閾値未満=背景、閾値以上=薬剤)、閾値以上の領域を分離することにより行われる。
シャーレ310の透明な部分315に直接置かれた薬剤は、上から撮影した画像([画像1]および[画像3])と下から撮影した画像([画像2]および[画像4])の両方に映っている。本ステップにより、上から撮影した画像においてある1つの薬剤が占有する領域、および下から撮影した画像においてこの薬剤が占有する領域を対応づける。具体的には、ステップ130で補正された[画像1]および[画像2]の一方の画像を左右または上下反転させると、一方の画像内で薬剤が占有する領域は、他方の画像内で同じ薬剤が占有する領域とほぼ合致する。この合致した領域が、2つの画像において1つの薬剤がそれぞれ占有する領域である。すなわち、反転していない画像の1つの領域と、反転画像でこれと重なった領域が反転解除により戻った領域が、1つの薬剤にそれぞれ対応した領域となる。この際、2つの画像が反転して重なる重複領域を対応領域とすることもできる。
薬剤領域の対応づけ処理を実行したら、コンピューター500は、その薬剤が錠剤かカプセルかを判定する。錠剤は、シャーレ310の透明な部分315に置かれるので、上から撮影した画像にはその上面が、下から撮影した画像にはその下面が映っている。すなわち、2つの画像([画像1]および[画像2])を対比すると、薬剤が錠剤の場合、上から撮影した画像と下から撮影した画像とで、当該薬剤に対応する領域が、それぞれ存在する。したがって、上記ステップ210で2つの画像に対して1つの領域の対応づけができた場合、すなわち、上から撮影した画像において認識された薬剤の占有領域が、下から撮影した画像において認識された薬剤の占有領域と対応づけられた場合には、当該薬剤は錠剤と判定される。
コンピューター500によって選択された1個の薬剤が錠剤と判定された場合には、処理は、錠剤鑑別処理300に進む。図24は、錠剤鑑別処理300の各処理を示している。まず、コンピューター500は、薬剤が円形であるか否かの判定を行う(ステップ310)。次いで、コンピューター500は、薬剤の表面に付された刻印の抽出処理を行う(ステップ320)。次いで、コンピューター500は、薬剤の表面に付された印刷の抽出処理を行う(ステップ330)。次いで、コンピューター500は、薬剤の表面に付された情報が刻印か印刷かの判定を行う(ステップ340)。次いで、コンピューター500は、薬剤の表面に付された割線を抽出する(ステップ350)。次いで、コンピューター500は、薬剤の代表色を抽出する(ステップ360)。その後、コンピューター500は、当該薬剤に関する絞り込み情報を基に、候補となる薬剤の絞り込みを行う(ステップ370)。最後に、コンピューター500は、薬剤の画像から抽出した刻印および/または印刷情報を基に、テンプレートマッチングを行い、最終検索を行う(ステップ380)。
コンピューター500は、薬剤が占有する領域の円形度を求める。円形度が所定値以上の場合には、コンピューター500は、薬剤が円形であると判定する。また、円形度が所定値未満の場合には、コンピューター500は、薬剤が非円形であると判定する。薬剤が円形であると判定された場合、コンピューター500は、円の中心位置と半径を算出する。薬剤が非円形であると判定された場合には、コンピューター500は、薬剤が占有する領域の長軸がX軸と平行となるように、また、短軸がY軸と平行となるように、薬剤が占有する領域を回転させる。さらには、コンピューター500は、薬剤の長軸と短軸の長さ、および長軸と短軸の長さの比を算出する。
コンピューター500は、[画像1]および[画像2]、すなわち第1光源430および第2光源440による照明下撮影された画像に対して、刻印の抽出処理を行う。本発明者は、第1光源430および第2光源440による照明下薬剤を撮影すると、刻印が強調された薬剤の画像を撮影できることを見い出した(下記数1参照)。
コンピューター500は、[画像3]および[画像4]、すなわち第3光源450および第4光源460による照明下撮影された画像に対して、印刷の抽出処理を行う。本発明者は、第3光源450および第4光源460による照明下薬剤を撮影すると、印刷が強調された薬剤の画像を撮影できることを見い出した(下記数1参照)。
前述したように、第1リング照明431および第2リング照明441の照明下に撮影した画像に対して刻印抽出処理(ステップ320)を行うと、薬剤の表面に付された刻印が好適に抽出された画像が得られる。また、第1バー照明451、第2バー照明452、第3バー照明461および第4バー照明462の照明下に撮影した画像に対して印刷抽出処理(ステップ330)を行うと、薬剤の表面に付された印刷が好適に抽出された画像が得られる(上記数1参照)。コンピューター500は、これら刻印抽出画像および印刷抽出画像を基に、薬剤の表面に付された情報が刻印であるのか印刷であるのか、すなわち、薬剤の表面に刻印および印刷が付されているか否かの判定を行う。
コンピューター500は、ステップ320で得られた刻印抽出画像に対して、割線領域抽出処理を行う。詳しくは、コンピューター500は、薬剤に割線が存在するか否か判定する。また、存在すると判定した場合、薬剤を、割線が存在する領域とそれ以外の領域とに分離する。
次に、コンピューター500は、薬剤の代表色を、刻印または印刷が付された領域と、それ以外の領域とに分けて、別々に抽出する。代表色の抽出は、画素を構成する色に対してクラスタリングを行うことにより、好適に行える。また、別実施形態では、代表色を抽出する代わりに、薬剤の画像、あるいは、刻印または印刷が付された領域とそれ以外の領域とに対して、「白」、「薄い色」「濃い色」の色の濃さの判定を行う。これは、領域内の色が第1閾値未満なら、「濃い色」、第1閾値以上第2閾値未満なら「薄い色」、第2閾値以上なら、「白」と判定することにより行うことができる。
コンピューター500は、データベースにアクセスする。そして、以上のステップで得られたデータに基づいて、候補となる薬剤の検索を行う。まずは、最初の段階として、検索する対象の薬剤の絞り込みを行う。具体的には、コンピューター500は、薬剤の種類(錠剤かそれ以外の薬剤か)、薬剤の形状(円形か非円形か、非円形の場合長軸と短軸の長さの比)、薬剤のサイズ(円形の場合薬剤の直径、非円形の場合薬剤の長軸の長さおよび短軸の長さ)、刻印の有無、印刷の有無、割線の有無、薬剤の代表色(刻印が付された領域の代表色、印刷が付された領域の代表色、およびそれ以外の領域の代表色)の少なくとも1つに基づいて、検索する対象の薬剤を絞り込む。なお、コンピューター500が当該患者の処方履歴(例えばお薬手帳のデータ)にアクセスできる場合には、コンピューター500は、検索する対象の薬剤を、処方履歴に含まれる薬剤に限定することもできる。例えば、患者のスマートフォンに保存されたお薬手帳のデータにコンピューター500がアクセスできる場合には、コンピューター500は、当該お薬手帳のデータにアクセスして、当該患者に処方された薬剤の情報を取得することができる。また、紙に印刷されたお薬手帳が存在する場合には、そのお薬手帳をスキャンして、OCR(optical character recognition)によりテキスト化し、これに基づいて、検索対象の薬剤を絞り込むことができる。これにより、薬剤検索の速度を上げることができる。
その後、前述のステップで得られた刻印抽出画像および/または印刷抽出画像と、データベースに保存された各薬剤の刻印テンプレート画像および/または印刷テンプレート画像との間でテンプレートマッチング(パターンマッチングとも言う)を行い、鑑別対称の薬剤が該当する可能性の高い薬剤をピックアップする。なお、錠剤が円形の場合には、テンプレートマッチングに先立って、円の中心が画像の中心となるように、薬剤が占有する画像の領域を移動・補正する。別実施形態では、刻印および/または印刷の重心が画像の中心となるように、抽出画像およびテンプレート画像を補正してもよい。また、錠剤が円形の場合には、テンプレートマッチングの結果が最大となるように、抽出画像および/またはテンプレート画像を回転させる。その後、両画像に対してテンプレートマッチングを行い、スコアを算出する。このスコアは、両画像が合致している度合いを数値として示している。テンプレートマッチングのスコアが所定値以上の場合、あるいは最上位から所定順位以内である場合には、コンピューター500は、テンプレート画像が属する薬剤を、候補薬としてピックアップする。なお、錠剤が割線を有している場合には、割線が存在する状態でのテンプレートマッチングと、割線を除去した状態でのテンプレートマッチングとの両方を行ってもよい。また、印刷または刻印が単語で構成されている場合には、コンピューター500は、各単語を一単位としてテンプレートマッチングを行ってもよいし、単語を文字・数字・記号に分割し、各文字・数字・記号に対してテンプレートマッチングを行ってもよい。さらには、コンピューター500は、刻印または印刷画像からOCRによりテキスト情報を抽出し、このテキスト情報を基にテンプレートマッチングを行ってもよい。
図23のステップ220に戻って、コンピューター500によって選択された1個の薬剤がカプセルと判定された場合には、処理は、カプセル鑑別処理400に進む。図25は、カプセル鑑別処理400の各処理を示している。まず、コンピューター500は、カプセルを、2つの領域に分割する(ステップ410)。次いで、コンピューター500は、それぞれ2つの領域から、代表色を抽出する(ステップ420)。次いで、コンピューター500は、それぞれ2つの領域から、薬剤の表面に付された印刷の抽出処理を行う(ステップ430)。次いで、コンピューター500は、薬剤の表面に印刷が付されているかの判定を行う(ステップ440)。その後、コンピューター500は、当該薬剤に関する絞り込み情報を基に、候補となる薬剤の絞り込みを行う(ステップ450)。最後に、コンピューター500は、薬剤の画像から抽出した印刷情報を基に、テンプレートマッチングを行い、最終検索を行う(ステップ460)。
まず、コンピューター500は、薬剤を2つの領域に分割する。具体的には、薬剤の画像の色情報、具体的には画素の色をクラスタリングする。次いで、クラスタリングした色情報をグループ化し、この色グループが属する領域を、1つの領域とする。これにより、右半分と左半分とが異なる色で構成されたカプセルは、2つの領域に好適に分割される。
次に、コンピューター500は、薬剤の各領域の代表色を抽出する。これは、領域を構成する画素の色情報をクラスタリングすることにより、好適に行える。
コンピューター500は、ステップ410で分割された各領域に対し、ステップ330と同様の処理を施すことにより、各領域から印刷抽出を行う。本発明者は、カプセルの画像を2つの領域に分割し、それぞれの領域に対して別々に印刷画像の抽出処理を行うと、カプセルからより好適に印刷を抽出できることを見い出した。
コンピューター500は、分割された薬剤の各領域に対してステップ340と同様の処理を行い、各領域に印刷が付されているか否かの判定を行う。
コンピューター500は、ステップ360と同様にして、候補となる薬剤の絞り込みを行う。具体的には、コンピューター500は、薬剤の種類(カプセルかそれ以外の薬剤か)、薬剤の形状(薬剤の長軸と短軸の長さの比)、薬剤のサイズ(薬剤の長軸の長さおよび短軸の長さ)、代表色、各代表色が属する領域における印刷の有無、の少なくとも1つに基づいて、検索する対象の薬剤を絞り込む。
コンピューター500は、ステップ430で得られた印刷抽出画像(入力画像)から、印刷部分を切り出す。次いで、印刷抽出画像に対して、ステップ370と同様にして、ステップ410で分割された領域ごとにテンプレートマッチングを行い、候補薬をピックアップする。
§5.1 <ステップ370>での追加処理
前述したステップ370では、コンピューター500がアクセスするデータベースは、刻印抽出画像および/または印刷抽出画像に対応するテンプレート画像が保存されていることを前提とする。しかしながら、場合によっては、薬剤の単なる写真だけが保存されている場合がある。その場合、この画像データから薬剤の領域を取得して、前記と同様に印刷抽出および刻印抽出を行い、得られた印刷抽出画像および刻印抽出画像をテンプレート画像として用いてもよい。また、この方法によって、データベース内に保存されるテンプレート画像を作成することもできる。なお、画像データから薬剤の領域は、次のようにして取得することができる。まず、背景の色を取得し、背景色と文字以外の部分を、薬剤が占有する領域と判定する。なお、領域が1ヶ所または3箇所以上見つかった場合は、エラーとする。次いで、各領域の重心の位置を求め、この重心の位置から薬剤の左右を判定する。
上記実施形態を好適に実施するためには、第1カメラ410および第2カメラ420の焦点が合っている必要がある。また、第1カメラ410の撮影領域および第2カメラ420の撮影領域を合致させる必要がある。さらには、撮影画像の明るさおよび色も、所定値の範囲内に収める必要がある。このため、薬剤鑑別システム100の工場出荷前、あるいは薬剤鑑別システム100の納品先でのセットアップ時に、以下に述べるようなキャリブレーションを行う。なお、このキャリブレーションは、一度行えば、通常は、再び行う必要はない。
本キャリブレーションでは、まずはカメラの位置合わせを行う。まず、シャーレ310がセットされたトレイ300を、薬剤撮影装置200の載置部220にセットする。次いで、シャーレ310を第1カメラ410で撮影し、この撮影画像をコンピューター500の表示装置530に表示させる。このとき、シャーレ310の画像に、所定の位置に十字形を有する仮想画像を重ねて表示する。そして、この十字形がシャーレ310の内部に納まるように、第1カメラ410の位置と角度を微調整する。同様の操作を、第2カメラ420に対しても行う。
次に、カメラの焦点調整を行う。まずは、所定の文字、記号または図の表記がされたテンプレートを、薬剤撮影装置200の載置部220にセットし、低い倍率で、このテンプレートを撮影する。そして、撮影画像においてテンプレートの表記が最も鮮明となるように、カメラの焦点を粗調整する。これが完了したら、倍率を上げて同様の操作を行い、焦点の微調整を行う。
本キャリブレーションにより、上下のカメラの撮影領域の座標を合致させることができるようになる。また、カメラの解像度を取得することもできる。まずは、図26に示すような、キャリブレーション用ツールであるキャリブレーションシート810を用意する。このキャリブレーションシート810は、所定の厚みを有する板あるいはシートの両面に、所定のサイズの黒色の円が、所定間隔でm×n個(図23に示す例では3×4個)、行列状に配置された構成となっている。また、黒色の円の位置および大きさは、キャリブレーションシート810の表面と裏面とで、同じになっている。キャリブレーション時には、このキャリブレーションシート810を、薬剤撮影装置200の載置部220にセットし、第1カメラ410および第2カメラ420で、キャリブレーションシート810の撮影を行う。次いで、画像中の黒色の円が指定座標に位置し、かつ指定サイズとなるような変換行列を求める。これは、キャリブレーションシート810を上から撮影した画像、および下から撮影した画像の両方に行う。前述したステップ130では、この変換行列に基づいて、シャーレ310を撮影した画像の補正を行う。これにより、シャーレ310を上から撮影した画像および下から撮影した画像の撮影領域の座標位置が一致するようになる。また、変換行列から、画像の解像度(DPI)、すなわち単位長さを構成する画素数も得られる。
本キャリブレーションにより、撮影画像の色の再現性を高めることができる。前記と同様に、キャリブレーションシート810が載置部220に置かれた状態で、次の(a)~(b)を繰り返し行う。
(a)露出の調整:第1光源430がオンの状態で、所定の露出時間で、第1カメラ410による撮影を行う。また、第2光源440がオンの状態で、所定の露出時間で、第2カメラ420による撮影を行う。次いで、撮影された画像の所定の各点の明るさを算出する。この明るさが目標値よりも高い場合には、カメラの露出時間を下げる。目標値よりも低い場合には、カメラの露出時間を上げる。
(b)色(ホワイトバランス)の調整:撮影された画像の所定の各点のRGB値を算出する。B(青色)がR(赤色)よりも大きい場合には、Rのゲインを上げる。BがRよりも小さい場合には、Rのゲインを下げる。また、BがG(緑色)よりも大きい場合には、Gのゲインを上げる。BがGよりも小さい場合には、Gのゲインを下げる。
各値が目標値に達するまで、上記(a)~(b)を繰り返し行う。これにより、撮影時のカメラの設定値が得られる。また、同様の操作を、第3光源450および第1カメラ410を用いて、また、第4光源460および第2カメラ420を用いて行う。
210・・・・ケース
211・・・下側ケース
212・・・切り欠き部
213・・・上側ケース
214・・・カバー
215・・・傾斜部
216・・・斜面
217・・・切り欠き用スペース
220・・・・載置部
221・・・トレイ支持部材
222・・・孔
223・・・嵌合部
230・・・・ガイド部材
231・・・斜面
240・・・・上側内部空間
250・・・・フレーム
300、300’・・・トレイ
310・・・・シャーレ
311・・・底部
312・・・側面
313・・・リング
314・・・カプセル載置用部材
315・・・透明な部分
316・・・凹部
317・・・凹部
320・・・・本体
321・・・孔
322・・・筒
330・・・・平板
331・・・第2筒
410・・・・第1カメラ
420・・・・第2カメラ
430・・・・第1光源
431・・・第1リング照明
440・・・・第2光源
441・・・第2リング照明
442・・・下側支持板
443・・・上側支持板
450・・・・第3光源
451・・・第1バー照明
452・・・第2バー照明
460・・・・第4光源
461・・・第3バー照明
462・・・第4バー照明
520・・・・本体
530・・・・表示装置
531・・・画面
532・・・タッチスクリーン
541・・・キーボード
542・・・マウス
543・・・マウスカーソル
600・・・・・薬剤鑑別ソフトウェア
610・・・・服薬指導支援システムのウィンドウ
620・・・・錠剤鑑別メニューのウィンドウ
621・・・「錠剤画像鑑別」アイテム
622・・・「返品錠剤画像鑑別」アイテム
623・・・「ルーペ」アイテム
630・・・・「グループ化」ウィンドウ
631・・・第1の部分
632・・・アイテム表示部分
633・・・グループ化用標識
634・・・「グループ化」アイテム
635・・・「選択解除」アイテム
636・・・「グループ化一括解除」アイテム
637・・・「確定」アイテム
638・・・「閉じる」アイテム
640・・・・「返品錠剤画像鑑別」ウィンドウ
641・・・第1の部分
642・・・第2の部分
643・・・第3の部分
644・・・計数およびメッセージ表示部分
645・・・アイテム表示部分
646・・・「撮影」アイテム
647・・・メッセージ
648・・・第2標識
649・・・メッセージ
651・・・「鑑別開始」アイテム
652・・・第3標識
653・・・「印刷」アイテム
654・・・「再撮影」アイテム
655・・・「終了」アイテム
656・・・「手動検索」アイテム
657、658・・・第4標識
659・・・メッセージ
671、672・・・第5標識
673、674・・・第2標識
675・・・第6標識
676・・・「残り一括OK」アイテム
677・・・「表裏全切替」アイテム
660・・・・「ルーペ」ウィンドウ
661・・・第1の部分
662・・・アイテム表示部分
663・・・「拡大」アイテム
664・・・「縮小」アイテム
665・・・「照明切り替え」アイテム
666・・・「終了」アイテム
680・・・・「手動検索」ウィンドウ
681・・・検索式入力部分
682・・・検索結果表示部分
683・・・データベース画像表示部分
684・・・アイテム表示部分
685・・・タイプ部分
686・・・検索ボタン
687・・・「対象外」アイテム
688・・・「選択」アイテム
689・・・「新規追加」アイテム
691・・・「終了」アイテム
700・・・・・「錠剤画像鑑別」ウィンドウ
701・・・メッセージ
710・・・・第1の部分
713・・・第1標識
714・・・第2標識
715・・・第3標識
720・・・・第2の部分
721・・・寸法
730・・・・第3の部分
731・・・メッセージ
740・・・・第4の部分
750・・・・第1アイテム表示部分
751・・・「撮影」アイテム
752・・・ゲージ部
753・・・「中止」アイテム
754・・・「登録」アイテム
755・・・「追加撮影」アイテム
756・・・「再撮影」アイテム
757・・・「ページめくり」アイテム
758・・・「終了」アイテム
759・・・「印刷」アイテム
760・・・・第2アイテム表示部分
761・・・「選択」アイテム
762・・・「選択解除」アイテム
763・・・「対象外」アイテム
764・・・「手動検索」アイテム
765・・・「グループ化」アイテム
810、810’・・・キャリブレーションシート
811・・・円
812・・・直線
Claims (19)
- 薬剤の判別を選択部に行わせる薬剤判別ソフトウェアであって、
載置部に載せた判別対象の薬剤が表示された上側と下側の画像を取得するステップと、
前記画像から、薬剤が占める領域を抽出するステップと、
前記領域内の刻印および/または印刷を抽出するステップと、
抽出した刻印および/または印刷に基づいて、薬剤の検索を行うステップと、
前記判別対象の薬剤の、上側と下側の画像情報と、前記薬剤の検索により得られた薬剤の画像情報と、前記薬剤の検索により得られた候補となる薬剤の情報を、少なくとも一つの画面に表示するステップと、
をコンピューターに行わせ、
前記薬剤は、前記載置部のカプセル載置用部材に置かれたカプセル類と、前記カプセル載置用部材以外の部分に置かれた錠剤を含むことを特徴とする、薬剤判別ソフトウェア。 - 前記判別対象の薬剤が表示された上側と下側の画像を取得するステップは、判別対象の薬剤を、当該薬剤の上部と下部から撮影するステップと、
前記撮影するステップにより取得された、薬剤の上部と下部の画像情報のそれぞれを少なくとも一つの画面に表示するステップと、
をコンピューターに、さらに行わせることを特徴とする、請求項1に記載の薬剤判別ソフトウェア。 - 前記薬剤が占める領域を抽出するステップを行った後、上部から撮影した画像に由来して抽出した領域と下部から撮影した画像に由来して抽出した領域とを対応付けるステップ、をさらにコンピューターに行わせ、
この対応付けができた場合には、薬剤が錠剤であると判定する、請求項2に記載の薬剤判別ソフトウェア。 - 一包ごとに分包された長尺状の分包紙に含まれる薬剤を、前記判別対象の薬剤として、前記薬剤の検索により得られた薬剤の画像との照合を実行するステップと、
をコンピューターに行わせることを特徴とする、請求項1に記載の薬剤判別ソフトウェア。 - 前記抽出した刻印および/または印刷に基づいて、薬剤の検索を行うステップは、前記判別対象の薬剤のうち、異なった薬剤として判定された場合に、当該薬剤の画像を表示しないステップと、
をコンピューターに、さらに行わせることを特徴とする、請求項1に記載の薬剤判別ソフトウェア。 - 前記判別対象の、上側と下側の薬剤の画像情報と、前記薬剤の検索により得られた薬剤の画像情報と、前記薬剤に関する情報を、少なくとも一つの画面に表示するステップは、
前記判別対象の薬剤の一部の画像情報を強調して画面表示するステップと、
をコンピューターに、さらに行わせることを特徴とする、請求項1に記載の薬剤判別ソフトウェア。 - 前記薬剤の判別を選択部に行わせる薬剤判別ソフトウェアは、
判別が終了した薬剤が分包された分包紙上に、所定の分包情報を印刷するステップと、
をコンピューターに、さらに行わせることを特徴とする、請求項1に記載の薬剤判別ソフトウェア。 - 前記所定の分包情報とは、タイトル、鑑別した日時および日付、薬剤鑑別装置の識別番号、患者名、薬品連番、薬品名、刻印、印字、薬剤の個数、薬剤の合計数のいずれかが含まれる、ことを特徴とする、請求項7に記載の薬剤判別ソフトウェア。
- 前記所定の分包情報の印刷するレイアウトは、変更可能である、ことを特徴とする、請求項8に記載の薬剤判別ソフトウェア。
- 前記薬剤の上側と下側の画像のうち、選択された画像を、表示装置の選択画像表示エリアに表示するステップと、
前記選択画像表示エリアに表示された各薬剤の候補となる薬剤の情報を、判別結果として前記表示装置の判別結果表示エリアに表示するステップと、
をコンピューターに行わせる、請求項1に記載の薬剤判別ソフトウェア。 - 前記候補となる薬剤の情報の中から選択された薬剤の情報を、前記表示装置の選択結果表示エリアに表示するステップ、
をさらにコンピューターに行わせる、請求項10に記載の薬剤判別ソフトウェア。 - 薬剤の判別を選択部に行わせる薬剤判別ソフトウェアであって、
載置部に載せた判別対象の薬剤が表示された上側と下側の画像を取得するステップと、
前記画像から、薬剤が占める領域を抽出するステップと、
前記領域内の刻印および/または印刷を抽出するステップと、
抽出した刻印および/または印刷に基づいて、薬剤の検索を行うステップと、
をコンピューターに行わせ、
前記薬剤は、前記載置部のカプセル載置用部材に置かれたカプセル類と、前記カプセル載置用部材以外の部分に置かれた錠剤を含み、
前記判別対象の薬剤が表示された上側と下側の画像を取得するステップでは、判別対象の薬剤を上部から撮影した画像と下部から撮影した画像とを取得し、
前記上部から撮影した画像に由来して抽出した薬剤の領域と前記下部から撮影した画像に由来して抽出した薬剤の領域とを対応付ける、
ことを特徴とする、薬剤判別ソフトウェア。 - 前記上部から撮影した画像および下部から撮影した画像のいずれか一方を反転して両画像を重ね合わせるまたは隣り合わせることにより、上部から撮影した画像に由来して抽出した薬剤の領域と下部から撮影した画像に由来して抽出した薬剤の領域とを対応付ける、請求項12に記載の薬剤判別ソフトウェア。
- 薬剤の判別を選択部に行わせる薬剤判別ソフトウェアであって、
載置部に載せた判別対象の薬剤が表示された上側と下側の画像を取得するステップと、
前記画像から、薬剤が占める領域を抽出するステップと、
前記領域内の刻印および/または印刷を抽出するステップと、
抽出した刻印および/または印刷に基づいて、薬剤の検索を行うステップと、
前記薬剤の上側と下側の画像のうち、選択された画像を、表示装置の選択画像表示エリアに表示するステップと、
前記選択画像表示エリアに表示された各薬剤の候補となる薬剤の情報を、判別結果として前記表示装置の判別結果表示エリアに表示するステップと、
前記判別結果表示エリアに表示された各薬剤の候補となる薬剤の情報に、学習データベースに記録された以前選択されたことがある薬剤の情報を高い順位で表示するステップと、
をさらにコンピューターに行わせ、
前記薬剤は、前記載置部のカプセル載置用部材に置かれたカプセル類と、前記カプセル載置用部材以外の部分に置かれた錠剤を含み、
前記判別結果表示エリアに表示された各薬剤の情報の中から正しい薬剤を選択する、
ことを特徴とする、薬剤判別ソフトウェア。 - 使用者による候補となる薬剤の選択結果が、初めての選択であると判定された場合に、前記選択結果を前記学習データベースに記録するステップと、
前記使用者による選択された薬を、前記選択結果表示エリアに追加するステップと、
をさらにコンピューターに行わせる、請求項14に記載の薬剤判別ソフトウェア。 - 使用者による候補となる薬剤の選択結果が、2回目の選択であると判定された場合に、前記学習データベースに記録された学習結果が正しいかに関する確認メッセージを表示するステップと、
前記使用者による確認された正しい学習結果を、確認済みフラグを立てるステップと、
前記使用者による選択された薬剤を、前記選択結果表示エリアに追加するステップと、
をさらにコンピューターに行わせる、請求項14に記載の薬剤判別ソフトウェア。 - 前記使用者による候補となる薬剤の選択結果が、3回目以降の選択であると判定された場合に、前記使用者による選択された薬を、前記選択結果表示エリアに追加するステップと、
をさらにコンピューターに行わせる、請求項14に記載の薬剤判別ソフトウェア。 - 前記薬剤の検索は、処方履歴に含まれる薬剤に限定される、ことを特徴とする、請求項1ないし17のいずれか1項に記載の薬剤判別ソフトウェア。
- 前記薬剤の情報は、前記薬剤の検索により得られた候補薬剤の名称、正しい可能性の度合いを示す数値あるいは順位、候補薬剤の刻印あるいは印刷コード、または候補薬剤を特定するコードの少なくとも一つの情報である、ことを特徴とする、請求項1ない18のいずれか1項に記載の薬剤判別ソフトウェア。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014071130 | 2014-03-31 | ||
JP2014071130 | 2014-03-31 | ||
JP2014126029 | 2014-06-19 | ||
JP2014126029 | 2014-06-19 | ||
JP2020093857A JP2020157077A (ja) | 2014-03-31 | 2020-05-29 | 薬剤判別ソフトウェア |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020093857A Division JP2020157077A (ja) | 2014-03-31 | 2020-05-29 | 薬剤判別ソフトウェア |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022010060A true JP2022010060A (ja) | 2022-01-14 |
JP7238942B2 JP7238942B2 (ja) | 2023-03-14 |
Family
ID=54240545
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016511926A Active JP6607185B2 (ja) | 2014-03-31 | 2015-03-31 | 薬剤撮影装置 |
JP2019024898A Active JP6753479B2 (ja) | 2014-03-31 | 2019-02-14 | 薬剤撮影装置 |
JP2019193769A Active JP6939865B2 (ja) | 2014-03-31 | 2019-10-24 | 薬剤撮影装置 |
JP2020093857A Pending JP2020157077A (ja) | 2014-03-31 | 2020-05-29 | 薬剤判別ソフトウェア |
JP2021180746A Active JP7238942B2 (ja) | 2014-03-31 | 2021-11-05 | 薬剤判別ソフトウェア |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016511926A Active JP6607185B2 (ja) | 2014-03-31 | 2015-03-31 | 薬剤撮影装置 |
JP2019024898A Active JP6753479B2 (ja) | 2014-03-31 | 2019-02-14 | 薬剤撮影装置 |
JP2019193769A Active JP6939865B2 (ja) | 2014-03-31 | 2019-10-24 | 薬剤撮影装置 |
JP2020093857A Pending JP2020157077A (ja) | 2014-03-31 | 2020-05-29 | 薬剤判別ソフトウェア |
Country Status (6)
Country | Link |
---|---|
US (1) | US10969218B2 (ja) |
JP (5) | JP6607185B2 (ja) |
KR (1) | KR102276711B1 (ja) |
CN (1) | CN106415251B (ja) |
AU (1) | AU2015239178B2 (ja) |
WO (1) | WO2015152225A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6009888B2 (ja) | 2012-09-27 | 2016-10-19 | 富士フイルム株式会社 | 薬剤検査装置及び方法 |
US9940439B2 (en) * | 2013-11-29 | 2018-04-10 | Atabak Reza Royaee | Method and device for identification and/or sorting of medicines |
KR102322987B1 (ko) * | 2015-06-26 | 2021-11-09 | (주)제이브이엠 | 약포 검사 장치 및 약포 검사 방법 |
JP2017138693A (ja) * | 2016-02-02 | 2017-08-10 | フロイント産業株式会社 | 固形製剤用テンプレート作成方法、固形製剤用テンプレート作成プログラムを記録したコンピュータが読み取り可能な記録媒体、固形製剤印刷検査方法、及び固形製剤印刷検査装置 |
EP3446673A4 (en) * | 2016-04-19 | 2019-10-02 | Yuyama Mfg. Co., Ltd. | PICTURE PROCESSING PROGRAM AND PICTURE PROCESSING DEVICE |
JP2018079240A (ja) * | 2016-11-18 | 2018-05-24 | 株式会社Screenホールディングス | 印刷装置およびバリデーション方法 |
CN110418627B (zh) * | 2017-03-23 | 2021-11-16 | 富士胶片富山化学株式会社 | 药剂识别装置、药剂识别方法及药剂识别程序 |
JP6750732B2 (ja) * | 2017-04-14 | 2020-09-02 | 株式会社湯山製作所 | 薬剤仕分装置、仕分容器、及び薬剤返却方法 |
CN107084992B (zh) * | 2017-04-20 | 2020-04-21 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于机器视觉的胶囊检测方法及系统 |
JP2018186857A (ja) * | 2017-04-28 | 2018-11-29 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、情報処理システムの制御方法、およびプログラム |
WO2019039301A1 (ja) * | 2017-08-22 | 2019-02-28 | 富士フイルム株式会社 | 薬剤識別装置、画像処理装置、画像処理方法及びプログラム |
WO2019039016A1 (ja) * | 2017-08-25 | 2019-02-28 | 富士フイルム株式会社 | 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム |
WO2019039015A1 (ja) * | 2017-08-25 | 2019-02-28 | 富士フイルム株式会社 | 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム |
WO2019044439A1 (ja) | 2017-08-31 | 2019-03-07 | 富士フイルム株式会社 | 薬剤監査装置、画像処理装置、画像処理方法及びプログラム |
KR102175160B1 (ko) * | 2018-03-12 | 2020-11-06 | 민팃(주) | 다중 파장 광원을 이용하여 촬영하는 중고 단말기의 가치평가를 위한 외관 촬영 분석 시스템 |
CN112087995A (zh) * | 2018-08-28 | 2020-12-15 | 株式会社汤山制作所 | 药物充填装置及药物回收方法 |
JP7112500B2 (ja) * | 2018-08-31 | 2022-08-03 | 富士フイルム富山化学株式会社 | 対象物照合装置及び対象物照合方法 |
JP7035933B2 (ja) * | 2018-09-21 | 2022-03-15 | 東芝ライテック株式会社 | 検知装置 |
JPWO2020162263A1 (ja) | 2019-02-07 | 2021-11-04 | 富士フイルム富山化学株式会社 | 薬剤照合装置、薬剤照合方法及び薬剤照合システム |
EP3922232B1 (en) * | 2019-02-08 | 2022-11-23 | FUJIFILM Toyama Chemical Co., Ltd. | Medicine identification system, medicine identification device, medicine identification method, and program |
JP7143802B2 (ja) * | 2019-03-26 | 2022-09-29 | 沖電気工業株式会社 | 薬剤鑑別装置、薬剤撮影装置及び薬剤撮影方法 |
JP2020182525A (ja) * | 2019-04-26 | 2020-11-12 | 株式会社湯山製作所 | 薬剤撮影補助装置、薬剤撮影装置、薬剤鑑別方法及び薬剤鑑別システム |
JP7323156B2 (ja) * | 2019-06-06 | 2023-08-08 | 株式会社トーショー | 錠剤寸法測定プログラムおよび錠剤寸法測定システムおよび錠剤寸法測定方法 |
EP3767531A1 (de) * | 2019-07-19 | 2021-01-20 | Becton Dickinson Rowa Germany GmbH | Verfahren zum vermessen und verifizieren von arzneimittelportionen sowie computerprogrammprodukte |
US11195270B2 (en) | 2019-07-19 | 2021-12-07 | Becton Dickinson Rowa Germany Gmbh | Measuring and verifying drug portions |
JP7427684B2 (ja) * | 2019-10-01 | 2024-02-05 | 富士フイルム富山化学株式会社 | 薬剤照合システム、薬剤管理方法及びプログラム |
US20230060088A1 (en) | 2020-01-27 | 2023-02-23 | Nippon Suisan Kaisha, Ltd. | Noodle-shaped body aggregate and method of producing same |
US12027247B2 (en) | 2020-05-29 | 2024-07-02 | Cvs Pharmacy, Inc. | System and method for imaging pharmacy workflow in a virtual verification system |
JP2022021724A (ja) * | 2020-07-22 | 2022-02-03 | 株式会社トーショー | 薬剤判別ソフトウェア |
JP7424628B2 (ja) * | 2020-07-22 | 2024-01-30 | 株式会社トーショー | 薬剤判別ソフトウェア及び薬剤判別装置 |
JP7437259B2 (ja) * | 2020-07-29 | 2024-02-22 | 富士フイルム富山化学株式会社 | 画像処理装置、薬剤識別装置、画像処理方法及び薬剤識別方法 |
JP7374869B2 (ja) * | 2020-08-31 | 2023-11-07 | 富士フイルム富山化学株式会社 | 薬剤候補表示方法及びプログラム、薬剤識別装置、薬剤識別システム |
KR102594144B1 (ko) * | 2021-05-20 | 2023-10-24 | 연세대학교 원주산학협력단 | 어플리케이션을 이용한 약제 정보 제공장치 및 그 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012165876A (ja) * | 2011-02-14 | 2012-09-06 | Karon:Kk | 一包化薬剤の監査装置 |
WO2012147907A1 (ja) * | 2011-04-28 | 2012-11-01 | 株式会社湯山製作所 | 薬剤鑑査装置、及び薬剤分包装置 |
JP2013066533A (ja) * | 2011-09-21 | 2013-04-18 | Twin Life Kk | 薬剤照合装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05245186A (ja) | 1992-03-02 | 1993-09-24 | N T T Data Tsushin Kk | 製剤識別装置 |
JPH05337168A (ja) | 1992-06-10 | 1993-12-21 | N T T Data Tsushin Kk | 自動錠剤包装機 |
JPH0916681A (ja) | 1995-06-26 | 1997-01-17 | Bunkichi Kato | 薬剤鑑別装置 |
JPH09253163A (ja) | 1996-03-19 | 1997-09-30 | Tokyo Shokai:Kk | 薬剤監査支援システム |
US5960104A (en) * | 1996-08-16 | 1999-09-28 | Virginia Polytechnic & State University | Defect detection system for lumber |
JP4345148B2 (ja) * | 1999-07-30 | 2009-10-14 | 株式会社サタケ | 米粒品位判別装置 |
KR20000077034A (ko) * | 1999-04-22 | 2000-12-26 | 사따께 사또루 | 입상물의 품질을 평가하기 위한 장치 및 방법 |
JP3074756U (ja) * | 2000-06-23 | 2001-01-26 | 株式会社大谷口調剤薬局 | 薬剤用分包紙 |
US6850872B1 (en) * | 2000-08-30 | 2005-02-01 | Microsoft Corporation | Facial image processing methods and systems |
JP4923282B2 (ja) * | 2002-11-22 | 2012-04-25 | グローリー株式会社 | 薬剤認識装置 |
KR20060019606A (ko) * | 2003-06-19 | 2006-03-03 | 가부시키가이샤 유야마 세이사쿠쇼 | 약제감사장치 |
JP4256434B2 (ja) | 2006-06-14 | 2009-04-22 | 株式会社 タフティ | 分包薬剤の検薬方法と検薬装置 |
KR20090073125A (ko) | 2006-09-29 | 2009-07-02 | 가부시키가이샤 유야마 세이사쿠쇼 | 약제 관리 지도 지원 시스템 |
US7959763B2 (en) * | 2008-02-20 | 2011-06-14 | Honeywell International Inc. | Apparatus and method for correcting basis weight measurements using surface topology measurement data |
DE202008014487U1 (de) * | 2008-10-31 | 2009-01-22 | Mmi Ag | Petrischale für Zellkultivierung und Mikroskopie |
JP5163985B2 (ja) * | 2008-11-14 | 2013-03-13 | 学校法人早稲田大学 | 粒状物品種検査装置 |
US8345989B1 (en) | 2009-02-16 | 2013-01-01 | Parata Systems, Llc | Illumination station for use in pharmaceutical identification system and methods therefor |
KR20120012130A (ko) | 2010-07-30 | 2012-02-09 | 에스케이 텔레콤주식회사 | 복약관리 서비스 장치 및 방법, 복약관리 서비스를 위한 클라이언트 단말 및 서버 |
JP5645019B2 (ja) | 2011-03-04 | 2014-12-24 | 学校法人兵庫医科大学 | 薬剤を識別するための器具およびその利用 |
JP5725363B2 (ja) | 2011-09-27 | 2015-05-27 | 株式会社ダイフク | 調剤監査装置 |
CN102508356B (zh) * | 2011-09-30 | 2014-09-10 | 浙江大学 | 基于光学投影的无透镜显微成像方法及其装置 |
JP5033267B1 (ja) * | 2012-03-30 | 2012-09-26 | 株式会社Windy | 薬剤検査システム |
JP2014053791A (ja) * | 2012-09-07 | 2014-03-20 | Panasonic Corp | 画像処理装置、画像処理プログラムおよび画像撮影装置 |
JP2014221134A (ja) * | 2013-05-14 | 2014-11-27 | ファルメディコ株式会社 | 一包化薬剤鑑査装置 |
-
2015
- 2015-03-31 KR KR1020167027035A patent/KR102276711B1/ko active IP Right Grant
- 2015-03-31 JP JP2016511926A patent/JP6607185B2/ja active Active
- 2015-03-31 WO PCT/JP2015/060090 patent/WO2015152225A1/ja active Application Filing
- 2015-03-31 CN CN201580028679.8A patent/CN106415251B/zh active Active
- 2015-03-31 US US15/129,798 patent/US10969218B2/en active Active
- 2015-03-31 AU AU2015239178A patent/AU2015239178B2/en active Active
-
2019
- 2019-02-14 JP JP2019024898A patent/JP6753479B2/ja active Active
- 2019-10-24 JP JP2019193769A patent/JP6939865B2/ja active Active
-
2020
- 2020-05-29 JP JP2020093857A patent/JP2020157077A/ja active Pending
-
2021
- 2021-11-05 JP JP2021180746A patent/JP7238942B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012165876A (ja) * | 2011-02-14 | 2012-09-06 | Karon:Kk | 一包化薬剤の監査装置 |
WO2012147907A1 (ja) * | 2011-04-28 | 2012-11-01 | 株式会社湯山製作所 | 薬剤鑑査装置、及び薬剤分包装置 |
JP2013066533A (ja) * | 2011-09-21 | 2013-04-18 | Twin Life Kk | 薬剤照合装置 |
Also Published As
Publication number | Publication date |
---|---|
KR102276711B1 (ko) | 2021-07-13 |
AU2015239178B2 (en) | 2019-12-05 |
CN106415251A (zh) | 2017-02-15 |
JP7238942B2 (ja) | 2023-03-14 |
JP2020011122A (ja) | 2020-01-23 |
JP6753479B2 (ja) | 2020-09-09 |
US20170264867A1 (en) | 2017-09-14 |
WO2015152225A1 (ja) | 2015-10-08 |
AU2015239178A1 (en) | 2016-11-17 |
JPWO2015152225A1 (ja) | 2017-04-13 |
US10969218B2 (en) | 2021-04-06 |
JP6607185B2 (ja) | 2019-11-20 |
JP6939865B2 (ja) | 2021-09-22 |
JP2020157077A (ja) | 2020-10-01 |
CN106415251B (zh) | 2020-05-19 |
JP2019076787A (ja) | 2019-05-23 |
KR20160138079A (ko) | 2016-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6939865B2 (ja) | 薬剤撮影装置 | |
JP7381954B2 (ja) | 画像処理プログラム、および、画像処理装置 | |
JP2014067342A (ja) | 薬剤検査支援装置及び方法 | |
CN104077584B (zh) | 图像检查系统和图像检查方法 | |
WO2020045169A1 (ja) | 薬剤充填装置及び薬剤回収方法 | |
JP2024015271A (ja) | 薬剤撮影補助装置、薬剤撮影装置、薬剤鑑別方法及び薬剤鑑別システム | |
JP2023105994A (ja) | 薬剤判別ソフトウェア | |
JP2022027539A (ja) | 種類判別装置および薬剤仕分装置 | |
JP7424628B2 (ja) | 薬剤判別ソフトウェア及び薬剤判別装置 | |
JP7437259B2 (ja) | 画像処理装置、薬剤識別装置、画像処理方法及び薬剤識別方法 | |
EP4201389A1 (en) | Type discriminating device, type discriminating method, type discriminating program, and drug sorting device | |
JP2013009744A (ja) | 調剤監査支援装置 | |
JP2022021724A (ja) | 薬剤判別ソフトウェア |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7238942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |