E-Prescribing Collaboration in Massachusetts

J.Am Med Inform Assoc. 2006:13:239-244

Ten barriers for E-Prescibing

1. Previous Negative Technology Experience

2.   Inital and Long-Term Cost

3.  Lost Productivity

4. Competing Priorities

5. Change Management Issues

6. Interoperability limitations

7. Information Technology IT requirements

8. Standards Limitations

9. Waiting for an "All in One Solution"

10 Confusion about competing product offerings including hospital/Integrated Delivery System (IDN)

Equivalence, Superiority and Non-Inferiority

在新藥審查時,藥品的 Efficacy 的研究,時常使上面三個名詞,我的治療和原本的治療是 Equivalence, 是優於某種治療(Superiority),是不遜於那種治療的 (Not Inferiority)。

在統計學上,有單雙尾的問題,一篇 EMBA 的 Guidance 可以用來解說,這三種 Hypothesis and Analysis

 

95% CI, Mean 的落點,可以參考下面三個圖

 

 

 

 

 

研究的代工業

研究的生產流程中,某些部份如資料分析和整理,文稿的書寫這些部份是否可以外包給其它人來做?

在生產管理中,代工外包的思維,是否可以用在研究工作上,只要有一個簡單的 idea,其它就可以交給別人來做。經過多年 Running,基本上是不太可能,可能可以一起合作,透過高度的接觸,才能夠有 aggregation. 對這種高度的 coordination 的工作,分工基本上是一個不太可能

我們嘗試過利用討論的程序,討論研究的 Background, Hypothesis 甚至於也討論了資料結構和統計方法,但是資料處理人員,在下次討論時,呈現的結果和資料,卻是和預期有所差別。

這樣的密集溝通,都不能確保資訊的正確傳輸,無法完全整合所有人對主題和資訊的見解,那文稿書寫的外包,更是困難重重,你無法將你頭腦中對這主題豐富的資訊,完整的傳達給外包書寫的人。你對 Co-Author 寫的內容是否能完全讚同嗎,很困難吧!

因為所有參與者,要對所有的 Information 有相同的 proximity 和 depth 可能是一個很困難。
資訊的溝通是需要時間的,同一群參與者,不可能有長時間的溝通時間,而研究工作協調,也不可能有詳細的報表和記錄。 一些精簡的備忘錄,大家的解讀和認知,可能也大亦其趣。

過去把生產流程,簡單的分為 Design, Purchase, Assembly, logistics,

那研究就可以這樣分類,
Research Construct, Data Analysis,Article Writing, Journal Submission

Constructor 不知道資訊分析者可能遇到的 Data Black-hole 或是 Defect.
Data Analysis 的人,對於 Construct 想法和認知不了解,資料的分析時,Measure 的 Validity and Reliability 可能就會有問題。
Article Writing,可能會牛頭對馬嘴,寫出來的東西可能會和 Idea 差很多,在不相同的 Knowledge Domain下,你跟本不知道如何去通溝。
Submission 時,你的 Corresponding Author,沒有全程參與研究,在寫 Cover Letter 時可能完全和文章的內容,亳無相關。

今天和 Co-Author 的結論,凡事自己來,事事必躬親….

唉…..

辯證是研究的主軸

Debate & Prove

研究的過程,是個辯證的過程,提出你的推論 (Propositions) 或 假說 (Hypotheses),用任可的研究方法,來證實你的推論或假說,或資料分析,或實驗證明,或模形推導,在過程中重要的是你的證實,是否有足夠的強度,證實的構念和衡量所使用的變數,是右可以符合你的推論和假說的要求。

辯證中,最常見的問題是,你所舉出的事證偏離了你的推論,事證和推論無關,也可以說你的衡量的變數和須證實的構念無關。
內部效度的問題,是研究初學者常犯的錯誤。

另一種問題是推論和驗證相依強度夠,但是研究者過度解釋其推論,某些模型,資料無法解釋的部份,研究者做了過度的推導,就是研究者常見到的問題,外推性的效度不足,或選擇的架構過於簡單,無法包含相關的變數,過於自信的研究者,在導論和討論中,常犯此類錯誤。

Powered by ScribeFire.

小樣本和大樣本的迷思

健保次級資料的使用,是否可以證明某些醫療的決策行為,或者是醫院的策略活動,
經過了半年在這方面的努力,健保的資料庫,可以做某些的 Natural Experiment 的 Study.

知道了醫院內部策略,或者是健保政策修正的時間點,但是你不知道當時的資訊是否有提前,或臨時的公佈,是否有提前的反應,或者是要兩三個月後,醫師才會改應到醫療的行為上,這些的資訊,有些可以從健保的資料上得到,但是大多數的資訊和決策點是無法得知的。

大型資料的研究,某些上不能證明事情的真正故事,只能做為佐證,真正 寫出文章後,可能在 Discussion 上要例出一大堆的研究限制,要說明研究可能出現的缺陷。

小資料,實驗方法所收集到的,結果和資料,研究方法,統計方法,相對來說都是平易近人,我正思考著未來的研究如何做 …..

Powered by ScribeFire.

現象,故事和理論

事物外表的現象不是研究者所要追求的,

而是合情合理的故事和解釋現象的真理,才是研究者所熱衷的。

某些小故事,尋常道理,用大陣仗資料方法,複雜的研究方法,來證實這個故事,

不如某些要仔細推敲,深切思考,不為常人所知的道理,用小而美的資料來呈現。

理論之美在於合理的解釋故事,故事之美在令人驚艷讚嘆的表情。

追求真理而不是記錄現象,才是研究之路

研究的主題和成果

研究主題和社會有關,研究成果對社會有益。

我們要追求的是故事背後的真理,不僅只是專注於故事表面的數字波動。

希望每個故事都充滿著活躍的生命力,那種對研究的瘋狂和專注,那種對美好的渴望,

驅策著我往前挪動,研究就像釀酒發酵的過程,須要專心的看顧,必須要學習等待,

焦急和催促是無助於事,我正在學習,等待研究中 美,香,醇的感覺。

Powered by ScribeFire.

平行檢驗和順序檢驗所造成 Sensitivity, Specificity, False Negative Rate and False Postive Rate 的改變



假設檢定與偽陽性、偽陰性

虛無假設:陰性

對立假設:陽性

實際上為陽性

實際上為陰性

拒絕虛無假設、

判斷為陽性

正確

power

Type 1 error

偽陽性

接受虛無假設、

判斷為陰性

Type 2 error

偽陰性

正確

試劑一,各有其偽陽性(type 1 error)和偽陰性(type 2 error)的機率分別為alphabeta

若有試劑二,針對在試劑一中被判斷為陽性(拒絕虛無假設)的人,再做一次檢驗。由於偽陰性者已經在試劑二中被判斷為陰性,並不會進入試劑二的檢驗,所以試劑一所造成的偽陰性並無法透過試劑二而減少。

至於試劑二能否減少偽陽性或偽陰性的發生,則需視試驗二的性質而訂(例如更加敏感、或較不敏感)。

假設:若試劑二結果是判斷為陰性,則推翻試劑一的判斷、而改判斷為陰性。

那麼使得試劑二對陰性特質越敏銳(對陽性特質越不敏銳),則意味著擴大認定陰性的臨界點。於是原來那些偽陽性的人則有機會被改判為陰性,減少偽陽性(型一誤差)的發生;不過,仍有一些實際上為陽性的人、卻在試劑二被判為陰性。所以上述對陽性特質越不敏銳的試劑二,可能增加了偽陰性(型二誤差)的發生。

太乙真人

閱讀全文〈平行檢驗和順序檢驗所造成 Sensitivity, Specificity, False Negative Rate and False Postive Rate 的改變〉

統計迴歸的Reliability與Validity–指鹿為馬

統計迴歸的ReliabilityValidity–指鹿為馬

 

統計是一個檢驗 Reliability 的工具,而非檢測 Validity 的工具,而好的統計模型,也就是證實我們找到測量架構的 index (Measure)自變數應變數是有高度的相關性。

在研究設計上,我們找到的構念(Construct),卻用一些和鹿變數(Indexes)
去衡量,這個問題被其它的研究者描述為 “Construct Validity” 的強度。某些變數應變數的指標和自變數的結合,無法映射出一個良好的 Construct Validity

 

上述這些變數組合,用來型容鹿時Construct Validity相對於形容馬時,卻是不好的。,Construct
Validity
低,就出現了 指鹿為馬問題。

 

研究者時常犯了錯誤,就是曲解了這群變數所建立的統計Model,或過份解釋這個模型能代表的意思,這就是迴歸上指鹿為馬的故事。

 

如果出現指鹿為馬的情況,也就是這群變數所構成的組合,沒有 Discriminat Validity。也就我們要測量馬的構念和鹿的構念,是不能利用這組自變數組合來分析的。

 

當我們用 Step In, or Step off 的這種方法,來尋求高解釋能力的自變數,是不是真正找出了一群具有 Construct Validity 的模型組合。

 

                                             Migrate Alone

 

 

 

當人們面對未知事物時,為檢測該事物的存在與否、或希望透過可能影響因子的訊息以預測該事物的發生,便經常希望建立一套檢驗工具或準則。這就如同:

1)醫院並不知道患者是否「真的」罹患該疾病,醫院以某部檢驗儀器,判斷患者在某一疾病上呈現「陽性」或「陰性」;

2)學校不知道學生的智能如何,於是以某份智力測驗,評量學生的智能程度;

3)在統計學上,經常使用線性模型來說明某一應變數的可能影響因子、及其影響方向和程度,並以此迴歸的結果預測應變數的發生數值。但此一迴歸分析中的線性模型是研究者「設計」出來的,而分析目標(應變數)背後真實的模型是否為線性、是否納入多餘的自變數、是否漏掉其他未被納入的自變數,其實沒有人知道。

 

不過,該事物的真象為何是未知的,利用工具或準則所產生的結果,只能說是一種判斷,而它不見得等於真象。而人為設計工具所得到的判斷結果與預測與真象之間的誤差,可分為「系統性」和「非系統性」的誤差,系統所指的便是人為的設計工具。這兩種誤差會決定ReliabilityValidity的大小,Reliability描述每次的檢驗或判斷結果的穩定程度,Validity則是描述檢驗或判斷工具的準確程度。

 

如果造成誤差的並非因為系統設計,則是屬於「非系統性誤差」。若此一「系統」或「儀器」所得到的判斷或檢驗結果很穩定、具一致性,例如以同一部儀器對患者進行多次的檢驗,而每次的檢驗結果是很一致的,那麼這代表「非系統性誤差」很小,也就是「Reliability」很大。反之,因為系統設計所造成的誤差,則是屬於「系統性誤差」。若檢驗的工具或儀器,因為本身的設計與真象有所差異,使其得到的判斷或檢驗結果總是向上或向下偏誤,這就是「系統性誤差」。當「系統性誤差」越大時,就意味著「Validity」越小。Validity改善通常需透過其他外在的訊息,才得以進一步鑑別,例如醫院對檢驗儀器的調整;而且,會因為使用的外在訊息不同,而有不同的Validity指標。

 

 

利用「設計」的線性模型以最小平方法進行的迴歸,所使用的線性模型即是人為的檢驗工具或系統。應變數的真實值與估計值(利用係數估計結果推算而來的預測值)之間的差值,就是模型無法捕捉的部分,即是與系統設計無關的「非系統性的誤差」,而R-square的計算便是將應變數的全部變異程度排除「非系統性的誤差」。所以,當各個應變數觀察值的「非系統性的誤差」很小時,意味每次檢驗結果很穩定,所得到的R-square會很不錯,也代表Reliability大。不過,當迴歸模型有設計偏誤時,只要在既定的設計模型下,統計或迴歸分析的結果將永遠無法排除因模型設計所產生的誤差(也就是「系統性的誤差」)。因此,常見的R-square指標,並不能呈現Validity的大小(準確程度)。

 

可利用一個小故事進一步說明「系統性的誤差」和「非系統性的誤差」。我們知道「馬是一種四隻腳、有尾巴、有長毛、但沒有長角的動物」,由此敘述知道:「四隻腳」、「有尾巴」和「有長毛」三項特性和「馬」具有高度的相關性;「有長角」則與「馬」沒有相關性。於是設計了一套檢驗工具,其中包括「四隻腳」、「有尾巴」和「有長毛」三項特性,用作判斷眼前的動物「是不是馬」。

在此一包括「四隻腳」、「有尾巴」和「有長毛」三項特性的模型或系統下,人們會根據眼前的動物是否符合這些指標,就判斷牠是否為馬。若符合這三項特性,就「認定這動物是馬」;若未符合這三項特性,就「認定這動物不是馬」。

想一想這個系統會發生什麼結果:當一隻鹿出現時,鹿有四隻腳、有尾巴、有長毛,完全符合模型中的三項指標,於是這隻鹿會被認定為馬。—-「指鹿為馬」

 

而此一系統的ReliabilityValidity如何?首先,不論你進行多少次檢驗,在每一次判斷結果中,鹿都都會被認定為馬,判斷的結果是相當穩定的,顯然「非系統性的誤差」很小,系統的Reliability相當高。但其實鹿不是馬,牠之所以被「誤認」為馬,是因為鹿有長角、而模型中模型並未能把「有長角」的特性排除(設計的模型與真象之間有差距),只要模型設計是既定的三項特性,「指鹿為馬」的誤判必然發生,這種因模型設計有誤而產生「系統性的誤差」都無法被排除,而且「系統性的誤差」越大時Validity越小。

 

 

                                         太乙真人,

powered by performancing firefox