Time based reward maximization

Abstract

İnsanlar ve hayvanlar saniyelerden dakikalara kadar olan zaman aralıklarında yüksek doğruluğa ancak düşük kesinliğe sahiplerdir. Bundan dolayı zamana bağlı bütün kararlar kaçınılmaz olarak içsel zaman belirsizliğine sahip olmakta ve zamansal risk analizi gerektirmektedir. Birinci çalışmada insanlar ödül alabilmek için bir önceki tepkilerinden sonra bir başka tepki vermeden en az asgari bir sure beklemeleri gereken zamansal risk analizi deneyi ile test edilmişlerdir. İlk grupta asgari süreden önceki tepkiler cezalandırılmamış ancak ikinci grupta bu tepkiler katılımcıların toplam kazançlarının azalmasına neden olmuştur (birim ödül/2). Katılımcılar sekiz seans boyunca sabit oturum süresi içinde ödüllerini azamileştirmeye çalışmışlardır. Deneyin başlangıcında ve devamında katılımcılara yönerge verilmemiş veya deneyin parametreleri hakkında bilgilendirme yapılmamıştır. İki gruptaki katılımcılar da kazanabilecekleri azami ödüle yaklaşmış ve optimal sürelere çok yakın beklemiştirler. Deney kurallarının öğrenimi hızlı ve ani olmuştur, ilk öğrenmeden sonra iyileşme veya kötüleşme olmamıştır. İkinci çalışmada ise aynı deney paradigması kullanılmış ancak erken tepkilere verilen ceza kazanılan ödül miktarına eşitlenmiş ve adaptasyon süreçlerinin incelenebilmesi için dördüncü deneyde asgari bekleme süresi ilk üç oturumun yarısına indirilmiştir. Katılımcılara durumsal kaygı ölçeği, davranışsal inhibisyon ve davranışsal aktivasyon ölçeği, barratt dürtüsellik ölçeği ve Padua obsesif kompülsif bozukluk envanteri verilmiş, skorların deney performansı ile olan ilişkisine bakılmıştır. İkinci deney sonucunda çoğu katılımcının dördüncü oturumdaki azami süre değişikliğine uyum sağlayabildiği gösterilmiştir. Yüksek davranışsal inhibisyon ve yüksek Padua envanteri skorlarına sahip katılımcıların optimale daha yakın olduğu gözlenmiştir. Bu iki çalışmanın sonuçları yönergesiz DRL deneyinin zamansal karar verme literatürü için önemli bir araç olduğunu göstermiştir.

Humans and animals time intervals from seconds-to-minutes with high accuracy but limited precision. Consequently, time-based decisions are inevitably subject to our endogenous timing uncertainty and thus require temporal risk assessment. Study 1 tested the temporal risk assessment ability of humans when participants had to withhold each subsequent response for a minimum duration to earn reward and each response reset the trial time. Premature responses were not penalized in the first group but were penalized (reward/2) in the second group. Participants tried to maximize reward within a fixed session time (over 8 sessions) by pressing a key. No instructions were provided regarding the task rules/parameters. Participants nearly tracked the optimal target inter-response times (IRTs) that changed as a function of the level of timing uncertainty and maximized the reward rate in both experiments. Acquisition of optimal target IRT was rapid and abrupt without any further improvement or worsening. In Study 2 the same behavioral paradigm is used except the penalty was equated to reward, and the minimum withhold duration was halved in the 4th session to measure the adaptation to a new schedule after reaching the steady state. Participants were given trait anxiety scale, Barratt impulsivity scale, behavioral inhibition and behavioral activation scale, and Padua inventory for obsessive compulsive disorder to evaluate the relation between the personality and task performance. Most of the participants were able to adapt to the change in the fourth session. Participants with high behavioral inhibition and high Padua scores are shown to be closer to optimality. These results support the use of non-instructed differential reinforcement of low rates of responding (DRL) as a valuable tool in temporal decision-making literature.